Защо автоматичното прилагане се проваля тук
При 91 процента балансирана точност при лабораторни условия, приблизително едно от единадесет обаждания е грешно. При съдържание, генерирано от потребителите, което пристига на екранни снимки, прекомпресирано и изрязано, реалният процент е по-лош.
Приложено към сто хиляди елемента на ден, това са хиляди погрешни действия. Всяко от тях е обжалване, а обжалванията струват повече на случай, отколкото прегледът, който автоматизацията е заместила. Математиката не излиза, дори преди да вземете предвид репутационните разходи за премахване на истински публикации.
Има втори проблем, специфичен за модерирането. Решенията за прилагане се одитират. Регулатор или съд, който пита защо даден акаунт е бил премахнат, няма да приеме изход от модел с непубликуван праг като основание.
Оценявайте, за да сортирате, а не за да действате
Полезното рамкиране е подреждането на опашката. Имате повече елементи, отколкото рецензенти. Една оценка определя кои от тях човек вижда първи и това е работа, която тя може да върши добре дори при 85 процента точност, защото това да грешиш просто означава, че някой гледа нещо ненужно.
- 1 Над 90 Началото на опашката за преглед
- 2 65 до 90 Прегледано в рамките на нормалния прозорец
- 3 45 до 65 Само ако е докладвано от потребител
- 4 Под 45 Без действие, взети са проби за проверки на качеството
Вземането на проби от долния диапазон е по-важно, отколкото изглежда. Това е единственият начин да измерите процента си на фалшиво отрицателни резултати и без това число не можете да разпознаете дали системата работи или тихо е спряла да улавя каквото и да било.
Какво трябва да казва вашата политика
Повечето платформи вече имат правило за синтетични медии и повечето от тях са написани лошо. Често срещаният провал е забраната на AI съдържанието като цяло, което е невъзможно за прилагане и улавя неща, които никой не е искал да хване.
| Приложимо | Неприложимо | Защо |
|---|---|---|
| Неоповестени синтетични медии на реално лице | Всички генерирани от AI изображения | Второто забранява илюстрациите и дизайнерската работа |
| Генерирани изображения, представени като документални доказателства | Всичко, което има резултат над 65 | Прагът не е политика |
| Синтетични медии, използвани за измама с цел пари | Изображения, които изглеждат генерирани от AI | Гледането не е стандарт |
| Непосочване при поискване | Необявен AI под каквато и да е форма | Недоказуемо и потребителите не могат да го спазват |
Напишете правилото около вредата и оповестяването, а не около техниката. Генерираната илюстрация в публикация с художествена литература на никого не вреди. Генерираната фотография на продукт, човек или събитие, представена като истинска, е нещото, което всъщност искате да спрете.
Трите случая, които картата на регионите разделя
Оценките за цял кадър обединяват три ситуации, които се нуждаят от различно третиране. Изгледът с плочки ги отличава и разликата обикновено определя изхода.
- Всяка плочка е висока. Изцяло генерирано изображение. Ако то е представено като фотография на нещо реално, това е вашият най-ясен случай.
- Една плочка е висока. Истинска фотография с нещо добавено или премахнато. В контекста на пазар или новини това често е по-сериозно от пълното генериране, защото е предназначено да му се вярва.
- Равномерно топло, нито едно високо. Тежка обработка. Обикновено истинска снимка през филтър или мащабатор. Почти никога не си струва да се предприемат действия.
Истинска фотография с вметнат елемент. Подреждането на опашката само по основната оценка никога нямаше да я изведе на повърхността.
Измерване дали работи
-
Проследявайте прецизността в горния диапазон
От елементите с оценка над 90, които модератор е отворил, колко са били подложени на действие? Ако този брой е нисък, инструментът създава работа, вместо да я спестява.
-
Взимайте проби от долния диапазон седмично
Издърпайте произволни сто от под 45 и ги прегледайте. Това е единственото измерване на това, което пропускате, и е това, което екипите пропущат.
-
Наблюдавайте процента на обжалване
Ръстът на успешните обжалвания на решения за синтетични медии означава, че прагът се е изместил или е пристигнал нов генератор с нисък резултат.
-
Задавайте нов базов ред след всяка промяна на модела
Актуализациите на детектора променят оценките. Праг, настроен преди шест месеца срещу различна версия на модела, вече не е прагът, който смятате, че е.
Окомплектоване на опашката, която инструментът създава
Добавянето на детектор към работен процес за модериране не намалява броя на служителите и екипите, които планират това да стане, се оказват в по-лошо положение. Това, което той променя, е редът, в който работата пристига, което повишава стойността на всеки час на рецензента, без да намалява броя на хората, от които се нуждаете.
Заложете в бюджета маркираната опашка да бъде по-бавна за артикул от общата опашка. Рецензент, който разглежда маркирана публикация, взима по-трудно решение по по-двусмислен материал и бързането с това води до грешно правоприлагане. Две минути на артикул е реалистично; тридесет секунди не са.
Дайте на рецензентите картата на регионите, а не оценката. Модератор, който вижда, че единият ъгъл на изображението е „горещ“, взима по-добро решение от този, на когото е дадено число, и те могат да обяснят това решение след това на екип по обжалванията или на регулатор.
Ротирайте хората извън прегледа на синтетични медии. Това е повтаряща се работа с висок дял на двусмислени случаи и точността спада забележимо в рамките на дълга смяна. Това е същият урок, който всяка функция за модериране вече е научила за други категории.