Alla sätt ett verktyg för AI-bilddetektering kan ha fel på

Fyra kategorier av fel: bilden har försämrats, generatorn var okänd för modellen, innehållet liknar syntetisk textur eller så har någon manipulerat filen medvetet. Varje kategori ger ett eget felaktigt svar.

Kategori ett: bilden har försämrats

Den absolut största kategorin. Signalen som verktyget läser av finns i fin textur, och den texturen är det första som försvinner vid komprimering, storleksändring och skärmdumpar.

Upprepade JPEG-sparningar. Träffsäkerheten sjunker från 91,3 procent på rena original till 84,6 procent vid kvalitet 40 i det publicerade prestandatestet, och ännu mer i praktiken.
Skärmdumpar. En omrendering i skärmupplösning där originalfilen kastas bort helt.
Nedskalning. Färre pixlar, mindre textur och under cirka 576 pixlar på kortsidan ingen regionkarta alls.
Omkodning på plattformar. Varje uppladdning innebär minst en omkodning, och de flesta bilder har gått igenom flera.
Kraftig beskärning. Ett litet utsnitt av en stor bild förlorar det sammanhang som modellen kalibrerades på.

Kvalitetsförsämring drar poängen mot mitten från båda hållen: äkta fotografier uppåt, genererade bilder nedåt. Ett medelresultat på en fil som uppenbart spridits och sparats om beror oftast på filens skick, inte motivet.

Kategori två: okänd generator

Ett verktyg känner igen det som det tränats på. En modell som släppts efter att träningen avslutades är okänd mark, och okänt material tenderar att få låg sannolikhet snarare än ett osäkert svar.

1 Generator släpps Inget system har sett dess bilder
2 Blint tidsfönster Nytt material klassas som äkta
3 Exempel samlas in Veckor av insamling och märkning
4 Verktyget uppdateras Fram till nästa släpp

Det blinda tidsfönstret är strukturellt. Omträning sker alltid efter ett släpp, aldrig före.

Detta ger tvärsäkra falska negativ, vilket är den farligaste feltypen. Verktyget signalerar inte osäkerhet; det rapporterar att bilden ser bra ut eftersom den inte liknar något det tränats att flagga.

Kategori tre: innehållet liknar syntetisk textur

Vissa äkta bilder är helt enkelt svåra. Inte för att någon försökt luras, utan för att texturen de innehåller liknar texturen som bildgenerering skapar.

Nattläge i mobiler och beräkningsfotografering. Flera exponeringar slås ihop och brusreduceras i mjukvara, vilket skriver om fina detaljer över hela bilden.
Kraftig retuschering. Hudutjämning och frekvensseparation bygger om texturen i ansikten.
Uppskalade bilder. Förstoring uppfinner pixlar, och uppfunna pixlar är genererade pixlar.
Illustrationer, 3D-renderingar och CGI. Har aldrig fotograferats, så ingenting i dem påminner om en kamerabild.
Stockfoton med kraftig brusreducering. Kommersiellt behandlade för att se rena ut, vilket tolkas som syntetiskt.
Mycket platta bilder. Tomma väggar, klar himmel och enkla bakgrunder innehåller väldigt lite signal i båda riktningar.

57 62 55 60 58 63 54 61 59

Jämför med en genererad bild på nittiotalet och en lokal redigering med en enda varm ruta. Detta mönster är ingetdera.

Ett äkta fotografi taget med nattläge. Inget extremt, men varje ruta är varm, vilket är kännetecknet för global bildbehandling.

Familj fyra: medvetet kringgående

Den minsta kategorin och den som folk oroar sig mest för. Alla tekniker som skriver om pixelrelationer sänker en poäng, och de flesta skadar bilden synligt medan de gör det.

Undantaget är montage. Ett genererat objekt som placerats i ett äkta fotografi behåller äkta textur över större delen av bildytan, vilket är anledningen till att regionkartan finns och varför ett helbildsvärde inte räcker för något som är manipulerat med avsikt.

Hur varje fel ser ut när det inträffar

Att analysera ett misstänkt resultat baklänges
Vad du ser	Mest sannolika orsak	Åtgärd
Äkta foto får höga poäng, jämnt varm karta	Bearbetning eller komprimering	Kontrollera originalfilen igen
Äkta foto får höga poäng, en varm ruta	En legitim redigering, eller en plan yta	Titta på vad som finns i den rutan
Genererad bild får låga poäng, försämrad fil	Komprimering eller en skärmdump	Behandla som uteblivet svar, inte ett rent resultat
Genererad bild får låga poäng, ren fil	En okänd generator	Luta dig mot proveniens och källkritik
Poängen hamnar i mellanintervallet	Inte tillräcklig signal åt något håll	Hitta en bättre kopia
Ingen regionkarta genererades	Bilden är för liten för att delas in i rutor	Hitta en större kopia

Vad inget av detta är

Det är värt att skilja begränsningar från saker en detektor aldrig försökte göra. Ett verktyg är inte felaktigt för att det inte gör något som ligger utanför dess tillämpningsområde.

Den kan inte säga vem som skapat en bild. Inget i pixlarna binder en fil till en person.
Den kan inte avgöra om innehållet är sant. Ett äkta fotografi kan ha en falsk bildtext, och det är det vanligare sättet att vilseleda.
Den kan inte namnge generatorn. Endast autentiseringsdata eller en markör i filen kan göra det.
Den kan inte markera konturerna av en redigering. Regionkartan visar var signalen koncentreras, inte gränsen för en manipulation.

Hur man bygger en process som tolererar detta

Felen ovan är permanenta egenskaper snarare än buggar som väntar på en fix, så den relevanta frågan är hur man bygger rutiner kring dem snarare än hur man undviker dem.

Använd fler än en typ av signal. Pixlar, proveniens och publiceringshistorik brister på olika sätt, och en bild som verkar felaktig enligt alla tre är ett mycket starkare fynd än en som bara avviker i en av dem.

Skicka flaggningar till en person snarare än till en automatisk åtgärd. Varje allvarligt fel ovan blir hanterbart om konsekvensen av att ha fel är att någon granskar noggrannare, och oacceptabelt om konsekvensen är en automatisk avvisning.

Be om originalet innan du drar några slutsatser. En anmärkningsvärd andel felaktiga resultat löser sig i detta enda steg, eftersom filen du fick nästan aldrig är den bästa kopian som finns.

Frågor som ställs

Vad är det vanligaste sättet en detektor gör fel på?

Ett äkta fotografi som flaggas på grund av att filen har försämrats. Skärmdumpar, upprepad komprimering och telefoners nattläge skriver alla om den textur som en detektor läser av, och alla tre är vanliga saker som händer med bilder utan att någon har för avsikt att vilseleda.

Vilket fel är farligast?

Ett säkert falskt negativt resultat på material från en ny generator. Verktyget rapporterar bilden som ren snarare än osäker, så inget signalerar att svaret är otillförlitligt. Det är därför proveniens och källkontroll spelar roll även när en pixelanalys ger låga poäng.

Kan jag veta i förväg om ett resultat kommer att vara tillförlitligt?

Ofta, ja. En stor originalfil direkt från en kamera med gott om textur ger en avläsning du kan luta dig mot. En liten skärmdump av en plan yta som vidarebefordrats genom två appar gör det inte, och att veta det innan du tittar på siffran är det mesta av färdigheten.

Gäller dessa begränsningar alla detektorer?

De tre första familjerna gäller alla verktyg som läser pixlar, eftersom de är egenskaper hos metoden snarare än hos en specifik produkt. Det som skiljer verktygen åt är vilka generatorer de har tränats på och var de sätter gränsvärdet för beslut.

Kommer dessa problem att lösas?

Försämringsproblemet är inneboende: förstörd information kan inte återskapas. Problemet med okända generatorer är strukturellt, eftersom omträning sker efter lansering. Träffsäkerheten på rena bilder kommer att fortsätta förbättras, och inget av dessa två problem kommer att försvinna.

Så när är en detektor faktiskt användbar?

På en rimligt intakt fil, som en signal bland flera, för att avgöra var man ska titta noggrannare. Det är en genuint värdefull uppgift. Den slutar vara användbar i samma ögonblick som någon behandlar siffran som svaret snarare än som skälet att fortsätta undersöka.