Denoising Diffusion Probabilistic Models

Denne artikkelen, av Jonathan Ho, Ajay Jain og Pieter Abbeel, utvikler diffusjonsmodeller for å generere bilder. Treningen har to retninger. Forover tar du et virkelig bilde og legger gradvis til tilfeldig støy til det blir meningsløs snø. Bakover lærer modellen å gjøre dette om igjen, og fjerner støyen steg for steg.

Når modellen er ferdig trent, kan den starte fra fersk tilfeldig støy og gå den motsatte veien, rense den litt etter litt til et helt nytt, sammenhengende bilde trer fram.

Det er enklere å lære å fjerne en liten mengde støy enn å male et helt bilde i én omgang. Diffusjon deler det vanskelige problemet med å lage et bilde opp i mange små, varsomme steg, hvert bare en liten opprydding.

Fordi modellen bare noensinne lærer å fjerne støy litt etter litt, er oppgaven i hvert steg overkommelig, og stegene legger seg sammen til noe bemerkelsesverdig. Mange bittesmå korrigeringer gjør tilfeldig snø om til et detaljert bilde.

Diffusjon ble motoren bak mye av dagens KI-bildegenerering. Den steg-for-steg-baserte støyfjerningen gir resultater av høy kvalitet og stor variasjon, og den har spredt seg til lyd, video og videre.

Har du brukt et verktøy som gjør en tekstbeskrivelse om til et bilde, er det god sjanse for at diffusjon gjør jobben under panseret. For byggere er denne artikkelen det tilgjengelige fundamentet for moderne generativ bildebehandling.