Varför automatiserade åtgärder inte fungerar här
Med 91 procents balanserad träffsäkerhet under laboratorieförhållanden är ungefär vart elfte beslut felaktigt. För användargenererat innehåll, som ofta är skärmdumpat, omkomprimerat och beskuret, är den verkliga felmarginalen ännu sämre.
Tillämpat på hundratusen objekt om dagen innebär det tusentals felaktiga åtgärder. Varje sådan leder till en överklagan, och överklaganden kostar mer per ärende än den granskning som automatiseringen ersatte. Kalkylen går inte ihop, redan innan man väger in förtroendeförlusten av att ta bort äkta inlägg.
Det finns ett andra problem som är specifikt för moderering. Åtgärdsbeslut granskas i efterhand. En tillsynsmyndighet eller en domstol som frågar varför ett konto togs bort kommer inte att acceptera en modellbedömning med ett opublicerat tröskelvärde som motivering.
Sätt poäng för att sortera, inte för att agera
Det mest användbara perspektivet är köprioritering. Ni har fler ärenden än granskare. En poäng avgör vilka ärenden en människa ser först, och det är en uppgift verktyget klarar väl även vid 85 procents träffsäkerhet, eftersom ett misstag bara innebär att någon tittar på ett ärende i onödan.
- 1 Över 90 Högst upp i granskningskön
- 2 65 till 90 Granskas inom normal tidsram
- 3 45 till 65 Endast vid användaranmälan
- 4 Under 45 Ingen åtgärd, stickprov för kvalitetskontroll
Att ta stickprov i den lägsta nivån är viktigare än det verkar. Det är det enda sättet att mäta andelen falska negativ, och utan den siffran kan ni inte avgöra om systemet fungerar eller om det i det tysta har slutat fånga upp fall.
Vad era riktlinjer behöver innehålla
De flesta plattformar har numera en regel för syntetiska medier, och de flesta är dåligt formulerade. Det vanligaste misstaget är att förbjuda AI-innehåll generellt, vilket är omöjligt att upprätthålla och träffar sådant som ingen hade för avsikt att stoppa.
| Möjliga att upprätthålla | Inte möjliga att upprätthålla | Varför |
|---|---|---|
| Icke-deklarerade syntetiska medier föreställande en verklig person | Alla AI-genererade bilder | Det senare förbjuder illustrationer och designarbete |
| Genererade bilder som presenteras som dokumentära bevis | Allt som får över 65 poäng | Ett tröskelvärde är inte en policy |
| Syntetiska medier som används för ekonomiskt bedrägeri | Bilder som ser AI-genererade ut | Subjektiva bedömningar är ingen standard |
| Underlåtenhet att märka upp innehåll på begäran | Icke-deklarerad AI i alla former | Går inte att bevisa, och användare kan inte följa det |
Formulera regeln kring skada och transparens snarare än kring teknik. En genererad illustration i ett fiktivt inlägg skadar ingen. Ett genererat fotografi av en produkt, en person eller en händelse som presenteras som äkta är det ni faktiskt vill stoppa.
De tre fall som områdeskartan särskiljer
En samlad poäng för hela bilden slår ihop tre situationer som kräver olika hantering. Kartvyn särskiljer dem, och skillnaden avgör oftast utfallet.
- Högt utslag på alla rutor. En helt genererad bild. Om den presenteras som ett fotografi av något verkligt är detta ert tydligaste fall.
- Högt utslag på en ruta. Ett äkta fotografi där något har lagts till eller tagits bort. På en marknadsplats eller i ett nyhetssammanhang är detta ofta allvarligare än en helgenererad bild, eftersom den är utformad för att framstå som trovärdig.
- Jämnt förhöjt, inget högt utslag. Kraftig efterbehandling. Oftast ett äkta foto som passerat genom ett filter eller en uppskalare. Nästan aldrig värt att vidta åtgärder mot.
Ett äkta fotografi med ett infogat element. En kösortering baserad enbart på totalpoängen hade aldrig fångat upp det.
Att mäta om det fungerar
-
Följ precisionen i den högsta nivån
Av de objekt med över 90 poäng som en moderator öppnade, hur många ledde till en åtgärd? Om den siffran är låg skapar verktyget merarbete i stället för att spara tid.
-
Ta veckovisa stickprov i den lägsta nivån
Välj ut hundra slumpmässiga objekt med under 45 poäng och granska dem. Det är den enda mätningen av vad ni missar, och det är den kontroll som team oftast hoppar över.
-
Håll koll på andelen överklaganden
En ökning av bifallna överklaganden gällande syntetiska medier innebär att tröskelvärdet har förskjutits eller att en ny generator har lanserats som ger låga poäng.
-
Kalibrera om efter varje modelländring
Uppdateringar av detektorn förändrar poängen. Ett tröskelvärde som justerades för sex månader sedan mot en annan modellversion är inte längre det tröskelvärde du tror att det är.
Resursfördela för kön som verktyget skapar
Att införa ett detekteringsverktyg i ett modereringsflöde minskar inte personalbehovet, och team som planerar för det får ofta problem. Vad det förändrar är ordningen som ärendena anländer i, vilket ökar värdet på varje granskningstimme utan att minska antalet timmar som krävs.
Räkna med att den flaggade kön tar längre tid per ärende än den allmänna kön. En granskare som tittar på ett flaggat inlägg gör en svårare bedömning av mer svårtolkat material, och att stressa igenom det är så felaktiga åtgärder uppstår. Två minuter per ärende är realistiskt; trettio sekunder är det inte.
Ge granskarna områdeskartan i stället för bara poängen. En moderator som ser att ett hörn av en bild ger utslag fattar ett bättre beslut än en som bara får en siffra, och kan motivera beslutet i efterhand för ett överklagandeteam eller en tillsynsmyndighet.
Rotera bort personal från granskning av syntetiska medier. Det är ett repetitivt arbete med en hög andel gränsfall, och träffsäkerheten sjunker märkbart under ett långt skift. Detta är samma lärdom som modereringsverksamheter redan dragit inom andra områden.