Kan ChatGPT avgöra om en bild är AI-genererad?

Nej. En språkmodell beskriver hur en bild ser ut och resonerar kring den i text. Den saknar ett kalibrerat tröskelvärde, referensmätningar och tillgång till den pixelstatistik som detektion bygger på.

Vad en chattbot egentligen gör

En multimodal språkmodell omvandlar en bild till en semantisk beskrivning och resonerar sedan kring den beskrivningen i text. Den svarar på frågan: ser den här bilden ut som de AI-bilder jag läste om under träningen?

Det är en fråga om innehåll och komposition. Detektion handlar om textur: hur närliggande pixelvärden förhåller sig till varandra, på en detaljnivå långt under vad en semantisk beskrivning bevarar.

Informationen som en detektor läser av rensas bort innan en språkmodell ens börjar bearbeta underlaget. Det beror inte på att chattbotar är dåliga på uppgiften. De utgår från en representation som helt saknar bevisen.

Vad det leder till i praktiken

Självsäkra svar utan tröskelvärde. En chattbot kan säga "troligen AI-genererad" utan någon underliggande skala för ordet "troligen". Det finns ingen siffra, inget intervall och inget att jämföra mot en annan bild.
Resonemang baserat på föråldrade tecken. Modellerna hänvisar till fingrar, tänder, vaxartad hud och förvrängd text, eftersom det är vad träningstexterna nämner. De bristerna åtgärdades för flera år sedan.
Bekräftar din frågeställning. Om du frågar om en bild är falsk är det mer sannolikt att du får svaret ja än om du ställer en neutral fråga. Det beror på gränssnittet, inte på bilden.
Ingen reproducerbarhet. Ställer du frågan två gånger kan du få två olika svar om samma fil, med lika självsäkra förklaringar för båda.
Ingen regioninformation. Den kan inte visa att ett hörn av ett fotografi beter sig annorlunda än resten, vilket oftast är det fynd som har betydelse.

Funktion	Chattbot	Pixeldetektor
Läser av textur på pixelnivå	No	Yes
Kalibrerat resultat med publicerade intervall	No	Yes
Samma svar varje gång	No	Yes
Uppdelning på regionnivå	No	Yes
Mätt mot ett prestandatest	No	Yes
Förklarar sitt resonemang i löpande text	Yes med god formuleringsförmåga	Partly som signaler
Beskriver vad bilden föreställer	Yes	No

Vad respektive metod faktiskt kan leverera. Mittenkolumnen är den som ofta förväxlas med den högra.

De två sista raderna är de som är värda att spara. En språkmodell är genuint bra på att beskriva en bild och resonera kring om en scen är rimlig. Det är användbart, men det är inte detektering.

Där en chattbot faktiskt är användbar

Att helt avfärda verktyget vore fel slutsats. Använt för det den faktiskt klarar av kompletterar den ett detekteringsverktyg snarare än att ersätta det.

Be den beskriva scenen i detalj
En noggrann beskrivning lyfter ofta fram saker du inte lade märke till medvetet, som föremål som inte hör ihop eller skyltar du inte hade läst.
Fråga om scenen är fysiskt rimlig
Skuggor, reflektioner, proportioner och perspektiv är resonemangsproblem, och resonemang är vad modellen är byggd för. Detta fångar upp montage som pixelanalys kan missa.
Fråga vad som skulle bekräfta eller motbevisa det
Att omvandla en misstanke till en lista med kontrollpunkter är en bra användning av en språkmodell, och listan är ofta bättre än den du själv hade skrivit.
Kör sedan ett riktigt detekteringsverktyg
För pixelanalysen bör du använda ett verktyg byggt för ändamålet och läsa av värdet mot en publicerad skala.

Därför är vältaligheten en fara

Ett detekteringsverktyg som är osäkert ger ett medelhögt värde, och själva siffran förmedlar osäkerheten. En språkmodell som är osäker ger ett stycke text, och textstycken har inga felmarginaler.

Samma välstrukturerade förklaring visas oavsett om modellen har identifierat något verkligt eller skapat en trovärdig beskrivning av ingenting. Läsare anpassar sitt förtroende efter textens kvalitet, vilket är precis den signal som inte bär någon information här.

Det är därför en chattbot är en sämre utgångspunkt än att granska bilden själv. Din egen osäkerhet är åtminstone synlig för dig.

Samma problem i andra verktyg

Detta handlar inte egentligen om en enskild produkt. Alla system som resonerar semantiskt kring en bild har samma begränsning, och flera verktyg som nu marknadsförs som detektorer gör exakt det under ytan.

Ett användbart test: fråga vad verktyget skulle visa för ett fotografi av ett fotografi, eller för en bild helt utan igenkännbart motiv. En pixeldetektor ger ett värde oavsett, eftersom textur finns oberoende av innehåll. Ett semantiskt system har inget att resonera kring och kommer antingen att vägra eller hitta på något.

Ett andra test: kör samma fil två gånger. En pixelmodell är deterministisk och ger samma siffra. En språkmodell gör slumpmässiga urval och två körningar kan skilja sig åt. Om ett verktyg ger olika svar för samma bytes mäter det ingenting.

Inget av testerna kräver förståelse för hur verktyget fungerar. Båda tar en minut, och tillsammans skiljer de mätning från beskrivning mer tillförlitligt än att läsa en marknadsföringssida.

Frågor som ställs

Kan ChatGPT upptäcka AI-genererade bilder?

Nej, inte på något mätbart sätt. Den genererar en självsäker bedömning baserad på vad bilden föreställer snarare än hur pixlarna skapades. Det finns inget kalibrerat tröskelvärde bakom svaret, inget benchmark, och att fråga två gånger kan ge två olika svar.

Men den hade rätt om en bild jag testade.

Den har rätt ofta, särskilt i uppenbara fall där även du hade haft rätt. Problemet är att den låter identisk när den har fel, så ett korrekt svar ger dig inget sätt att veta vilket utfall du får vid nästa bild.

Vad händer om jag ber den analysera pixlarna?

Den kan inte det. Bilden omvandlas till en semantisk representation innan modellen resonerar kring den, och den fina textur som detektering bygger på försvinner i den konverteringen. Att be om en pixelanalys ger bara en beskrivning av hur en pixelanalys skulle se ut.

Finns det multimodala modeller byggda för detektering?

Det pågår forskning inom området och det är inte vad en generell assistent gör. En specialbyggd detektor tränas på par av äkta och genererade bilder med ett kalibrerat utdata; en generell modell tränas för att vara hjälpsam inom allt. De två är inte utbytbara.

Bör jag använda en chattbot över huvud taget vid granskning av en bild?

Ja, för beskrivning och resonemang. Fråga vad som finns i bilden, om ljussättningen är konsekvent och vad som skulle bekräfta eller motbevisa din misstanke. Använd sedan ett detekteringsverktyg för pixelfrågan och håll isär de två svaren.

Varför frågar så många en chattbot först?

För att den är öppen i en annan flik och alltid svarar. Bekvämlighet vinner över träffsäkerhet när kostnaden för att ha fel är osynlig, och vid bildverifiering är kostnaden oftast osynlig tills någon redan har agerat på svaret.