Hur en GAN-modell bygger en bild
Ett generativt motstridigt nätverk (GAN) utgår från en liten vektor och skalar upp den upprepade gånger, varvid upplösningen fördubblas i varje lager tills full storlek nås. Ett andra nätverk bedömer resultatet, och de två tränas mot varandra.
Den upprepade uppskalningen är den avgörande delen. Varje fördubblingssteg introducerar ett regelbundet mönster, och dessa mönster ackumuleras till en periodisk struktur som blir synlig när bilden transformeras till frekvensdomänen.
Denna struktur fungerade nästan som en signatur. Tidiga detektorer kunde leta efter ett schackrutemönster i frekvensspektrumet och nå hög träffsäkerhet utan att förstå något om själva motivet. Det var ett fingeravtryck från arkitekturen snarare än från någon specifik modell.
Hur en diffusionsmodell bygger en bild
Diffusion fungerar tvärtom. Processen utgår från ett fält av rent brus i full målresolution och tar bort lite brus i varje steg, styrt av vad modellen har lärt sig, tills en bild framträder.
Det finns ingen uppskalningsstege, så det finns inga periodiska artefakter. Resultatet skiljer sig statistiskt från ett fotografi, och skillnaden är diffus snarare än strukturell. Ingenting i bilden framträder som ett tydligt mönster man kan leta efter.
GAN
- Liten vektor som skalas upp upprepade gånger
- Periodiska artefakter från varje fördubbling
- Går att upptäcka i frekvensdomänen
- Arkitekturen lämnar ett nästintill unikt avtryck
- Dominerande fram till cirka 2022
Diffusion
- Brus tas bort steg för steg i full storlek
- Ingen uppskalningsstege, inget periodiskt mönster
- Skillnaden är statistisk, inte strukturell
- Kräver en tränad modell för att upptäckas
- Dominerande sedan 2022
Varför äldre verktyg slutade fungera
Ett verktyg byggt för att hitta schackmönster i frekvensdomänen hittar ingenting i en diffusionsbild. Det rapporterar inte osäkerhet; det rapporterar att artefakten saknas, vilket tolkas som att bilden är äkta.
Det är därför träffsäkerheten över hela fältet verkade rasa mellan 2021 och 2023. Verktygen hade inte blivit sämre. Det de letade efter hade helt enkelt slutat produceras.
Vad som ersatte arkitekturspecifik detektering
Bredd. Snarare än att leta efter en enskild artefakt tränas dagens verktyg på material från så många olika generatorer som möjligt, så att modellen lär sig vad syntetisk textur har gemensamt istället för vad en enskild modellfamilj producerar.
Modellen som används här tränades på miljontals bilder från tusentals generatorer av just denna anledning. Täckning över många arkitekturer ger generalisering till nästa, och det är det enda tillvägagångssätt som har överlevt ett skifte av dominerande metod.
Kompromissen är att träffsäkerheten för en enskild, känd generator är lägre än vad en specialiserad modell skulle uppnå. Det är rätt kompromiss, eftersom en specialist blir oanvändbar den dag något nytt dyker upp.
Vad detta innebär framåt
Lärdomen från övergången från GAN till diffusion handlar inte om diffusion. Den handlar om att alla verktyg som är bundna till hur bilder skapas för stunden har en begränsad livslängd, och teknikskiften aviseras inte i förväg.
| Metod | Fungerade på | Fungerade inte när |
|---|---|---|
| Sökning efter frekvensartefakter | GAN | Diffusion introducerades |
| Ansiktsspecifik analys | Tidiga ansiktsbyten | Helscensgenerering introducerades |
| Inspektion av metadata | Filer direkt från ett verktyg | Plattformar rensade metadata |
| Error level analysis (ELA) | JPEG sparade en gång | Bilder började spridas och sparas om |
| Bred träning över flera generatorer | Majoriteten av dagens produktion | Okänt, och senare än de andra |
Spelar detta någon roll för användaren
Främst förklarar det två saker du kommer att märka. För det första, varför ett verktyg oftast inte kan ange vilket program som skapade en bild: det läser av en delad statistisk egenskap snarare än ett fingeravtryck från en specifik modell.
För det andra, varför äldre gratisverktyg presterar dåligt. Flera verktyg som fortfarande ligger uppe byggdes kring GAN-artefakter och har inte tränats om. De ger säkra, gröna resultat på modernt material, och ingenting i gränssnittet förklarar varför.
Hur ett hybridflöde påverkar resultatet
De flesta bilder som når dig har inte skapats med en enda metod. En diffusionsmodell genererar en bas, en GAN-baserad uppskalare förstorar den, en ansiktsförbättring fixar ögonen och en redigerare beskär och sparar om resultatet.
Varje steg skriver om texturen, vilket innebär att filen bär spår av flera överlappande processer. Det sista steget som rörde bilden dominerar oftast vad verktyget läser av, vilket är anledningen till att en uppskalad diffusionsbild statistiskt kan likna uppskalaren mer än själva generatorn.
Detta är den praktiska anledningen till att identifiering av arkitektur inte fungerar utanför laboratoriet. I ett kontrollerat test med rent material från en enda modell är det ett lösbart problem. På en bild som har gått igenom ett verkligt produktionsflöde är frågan felställd.
Det förklarar också ett resultat som ofta förvirrar: en helt maskingenererad bild som får lägre sannolikhet än ett kraftigt uppskalat fotografi. Båda har fått sin textur omskriven av programvara, och verktyget läser av omskrivningen snarare än ursprunget.