De fyra orsakerna till att resultaten skiljer sig åt
Ett analysvärde är slutpunkten på en lång rad metodval. Ändra en enstaka länk i kedjan och siffran ändras, även om själva bilden är densamma.
- Olika träningsdata. En detektor känner igen det den har exponerats för under träning. En modell som tränats på tusentals öppna generatorer hanterar ovanliga modeller väl. En som tränats på de fyra största kommersiella verktygen hanterar just dessa fyra bättre och allt annat sämre.
- Olika tröskelvärden. Ett verktyg sätter gränsen för misstanke vid 60, ett annat vid 75. Samma mätvärde passerar den ena gränsen men inte den andra, vilket ger två olika slutsatser från en och samma mätning.
- Olika definitioner. Vissa verktyg flaggar för all form av generativ inblandning, inklusive uppskalning eller generativ fyllning. Andra reagerar endast på helt syntetiska bilder. Ett retuscherat porträtt klassas som AI av det första och som äkta av det andra.
- Olika förbehandling. Verktyg skalar om, beskär och kodar om bildfiler före analys. En detektor som analyserar en ruta på 224 pixlar i bildens mitt ser en helt annan bild än en som analyserar 384 pixlar av hela bildytan.
Verktyg D är inte mer känsligt än de övriga. Det besvarar en bredare fråga. Om din frågeställning är huruvida ett fotografi är helt genererat, överrapporterar D. Om din frågeställning är huruvida någon form av AI har påverkat filen, är D det enda verktyget som ger svar.
Ta reda på vilken fråga varje verktyg besvarar
| Frågan | Vad som ger utslag | Typisk användning |
|---|---|---|
| Är den här bilden helt genererad från grunden? | Syntetisk textur över hela bildytan | Nyheter, marknadsplatser, dejtingprofiler |
| Har någon del av bilden redigerats med AI? | Ett enskilt område över tröskelvärdet | Försäkring, skadereglering, bevisgranskning |
| Har AI över huvud taget påverkat den här filen? | Uppskalning, brusreducering, generativ fyllning | Bildbyråer, tävlingsregler |
De flesta avvikelser mellan verktyg beror i själva verket på vilken av dessa tre frågor man ställt. Bestäm vilken fråga som är relevant för dig innan du jämför resultat, och tolka sedan varje verktyg utifrån det.
Hur man jämför två resultat korrekt
-
Mata båda verktygen med exakt samma fil
Inte en fil som laddats ner på nytt, inte en skärmdump och inte en kopia från en chattapp. Ändrad bilddata innebär en annan bild och ger helt naturligt ett annat mätvärde.
-
Jämför intervall, inte siffror
Ett värde på 61 på en skala med gränsen vid 50 och ett värde på 58 på en skala med gränsen vid 65 ger olika slutsatser trots att den underliggande mätningen är närmast identisk.
-
Leta efter ett publicerat tröskelvärde
Ett verktyg som inte redovisar var dess gräns går kan inte jämföras med något annat. Betrakta ett sådant värde som icke tolkningsbart snarare än som ett underlag.
-
Välj verktyget som visar hur beräkningen gått till
En regionkarta, ett angivet intervall och ett redovisat benchmark gör det möjligt att granska resonemanget. Ett kategoriskt påstående utan underlag tillåter inte det.
-
Se samstämmighet som den starka signalen
Att två oberoende verktyg hamnar i samma intervall väger tyngre än vardera verktyg för sig. Om två verktyg visar helt olika resultat betyder det osäkerhet – man kan inte bara välja medelvärdet.
När själva avvikelsen är observationen
Det finns ett mönster som är värt att känna till: ett verktyg som visar ett lågt helbildsvärde parallellt med ett som visar ett högt värde tyder ofta på ett äkta fotografi med en lokal redigering.
Det första verktyget jämnar ut redigeringen över en i övrigt autentisk bildyta. Det andra lägger störst vikt vid det område som ger starkast utslag. Båda mätningarna stämmer utifrån vad de mäter, och själva skillnaden ger mer information än vad siffrorna gör var för sig.
Ett segment över tröskelvärdet i en i övrigt neutral bildyta. Inget enskilt tal kan beskriva detta korrekt.
Vad som skulle få detektorer att visa samma resultat
Ett gemensamt benchmark, publicerade tröskelvärden och en enhetlig definition av vad som räknas som AI-inblandning skulle ta bort merparten av skillnaderna. Inget av detta finns i dag, och det kommersiella incitamentet är lågt – ett verktyg som öppet redovisar sina svagheter framstår som sämre än ett som döljer dem.
Fram till dess bör varje analysvärde betraktas som sprunget ur en sluten skala. Granska det underlag verktyget faktiskt visar och lägg större vikt vid det än vid den säkerhet som påstås i märkningen.
Versionsproblemet som sällan nämns
En detektor förblir inte densamma över tid. Leverantörer tränar om modeller, justerar tröskelvärden och byter ut arkitekturer utan förvarning, och nästan ingen versionshanterar sina resultat. Det värde du fick i mars och det värde du får i dag kan komma från helt olika modeller med olika kalibrering.
Detta har stor betydelse om resultat dokumenteras. Ett skadeärende, en modereringslogg eller en akademisk utredning som hänvisar till ett mätvärde från arton månader tillbaka baseras på ett mätinstrument som inte längre existerar. Resultatet går varken att återskapa eller att i efterhand kontrollera vad det faktiskt betydde.
Där du sparar resultat, spara även underlaget: regionpoängen, intervallet, beslutsgränsen och datumet. De förblir begripliga även efter att modellen bakom dem har uppdaterats, vilket en ren procentsats inte gör.