Почему старый чек-лист перестал работать
У каждого популярного списка признаков одна проблема: он описывает слабости моделей, существовавших в момент написания. Эти слабости публичны, измеримы и неловки, что делает их именно тем, что исправляют в следующем обновлении.
Руки — самый яркий пример. Пересчет пальцев был полезен около полутора лет, а потом стал способом уверенно ошибаться в обе стороны: сгенерированные руки сейчас обычно верны, а реальные руки в движении размываются в формы, которые кажутся неправильными тому, кому сказали считать.
То же самое произошло с бликами в глазах, асимметрией ушей и геометрией зубов, примерно в таком порядке. Все, что можно описать в виральном посте, попадает в бенчмарки, а все, что в бенчмарках, исправляется.
-
2019
Фоны растворились Ранние генераторы лиц создавали четкое лицо на размытом фоне. Проблема была решена, когда модели научились прорабатывать сцены целиком.
-
2022
Несоответствие ушей и сережек Асимметричные украшения были веским признаком, пока тренировочные данные их не покрыли.
-
2023
Руки и пальцы Самый цитируемый признак из всех. В значительной степени решен в течение двух циклов обновлений.
-
2024
Текст в кадре Вывески и этикетки стали читаемыми, что устранило простой способ проверки.
-
2026
Остается статистический анализ Оставшиеся различия кроются в текстуре и шуме, которые глаз не различает.
Смотрите не только на лицо
Усилия генерации концентрируются там, где концентрируется внимание. Модель, обученная на портретах, очень хорошо прорабатывает область, на которую смотрят люди, и остается слабее во всем, что тренировочный сигнал рассматривал как фон.
Именно там находятся надежные индикаторы. Проверьте, что написано на бейдже, продолжается ли узор на рубашке правильно за рукой, проходит ли цепочка ожерелья за шеей и выходит ли в нужном месте, и является ли комната за плечом местом, которое могло бы существовать.
Повторяющиеся детали — еще одно надежное семейство признаков. Обои, кирпичная кладка, листва и лица в толпе дорого обходятся в генерации, поэтому они имеют тенденцию повторяться, смещаться или терять точку схода так, что глаз может это заметить, даже если портрет перед ним безупречен.
- Текст вдали от центра. Бейджи, вывески, корешки книг, упаковка. Центральный текст теперь обычно правильный; периферийный текст все еще выдает подделку.
- Целостность при перекрытии. Ремешок, цепочка или полоса, которые уходят за что-то и появляются неправильно.
- Толпы и повторяющиеся объекты. Второй и третий ряд толпы или четвертый стул в ряду получают меньше внимания, чем первый.
- Кожа при сильном увеличении. Настоящая кожа имеет поры, отдельные волоски и асимметричные дефекты. Сгенерированная кожа часто бывает гладкой так, как не объяснимо никаким освещением.
- Места соприкосновения волос с другими объектами. Граница между волосами и фоном остается одной из самых сложных областей для согласованного рендеринга.
Что видит детектор, чего не видите вы
Причина проводить проверку, а не полагаться на осмотр, заключается в том, что оставшиеся различия находятся ниже порога человеческого зрения. Сенсор камеры создает особый вид шума; процесс генерации — другой, и ни один из них не виден при нормальном размере просмотра.
Это также причина, почему детектор и ваши глаза могут расходиться во мнениях. Снимок с очевидной визуальной ошибкой может получить низкий балл, потому что его текстура фотореалистична, а снимок, который выглядит идеально, может получить высокий балл, потому что его текстура — нет. Оба показания информативны, и ни одно не отменяет другое.
| Визуальный осмотр | Анализ пикселей | |
|---|---|---|
| Работает на | Ошибки композиции и логики | Текстура и структура шума |
| Выдерживает сжатие | Да | Деградирует |
| Переживает скриншот | Да | Сильно деградирует |
| Обнаруживает небольшое редактирование | Только если вы его заметите | Да, через карту областей |
| Ухудшается со временем | Быстро | Постепенно |
Последняя строка — самая полезная. Визуальные признаки деградируют с каждым релизом модели; детектор, обученный на множестве генераторов, деградирует медленнее, потому что он изучил, что общего у синтетической текстуры, а не то, в чем один продукт ошибся в одном году.
Самый важный случай: настоящее лицо, измененное
Большинство значимых подделок — это не полностью сгенерированные портреты. Это фотографии реальных людей с одним измененным элементом: другое лицо на том же теле, добавленный предмет в руке, измененный бейдж, удаленный из кадра человек.
Общий балл для всего кадра плохо справляется с этим по определению, потому что девяносто процентов изображения действительно являются фотографией, и среднее значение отражает это. Карта областей — это то, что выявляет проблему, и чтение карты, а не числа, — это единственный навык, который больше всего улучшает точность при анализе лиц.
Одиннадцать плиток распознаны как фото. Одна — нет, и это та, что покрывает лицо.
Рабочий навык
Уделите портрету пять секунд периферийного осмотра: текст, целостность, повторяющийся узор, граница волос. Затем запустите проверку и прочитайте карту. Вместе они обнаруживают гораздо больше, чем по отдельности, и все это занимает меньше минуты.
Там, где ставки высоки, добавьте шаг, который не заменит никакой пиксельный анализ: найдите это же лицо где-то еще с историей. Профиль с трехлетней историей публикаций, отмеченными фотографиями других людей и постоянным работодателем — это доказательство того типа, который не создает ни один генератор.
Признаки, которые не изменились
Две вещи сопротивлялись четырем годам улучшений, и обе касаются целостности на расстоянии, а не локальных деталей. Первая — освещение: освещена ли каждая поверхность в кадре одними и теми же источниками, с одних и тех же направлений, с тенями одинаковой мягкости.
Сгенерированный портрет обычно правильно передает лицо, а окружение — примерно, и несоответствие проявляется в тенях. Резкая тень под подбородком рядом с мягкой тенью на стене позади описывает две разные комнаты.
Вторая — глубина. Отражающие поверхности, стекло, вода и зеркала должны согласовываться с геометрией всего остального, и часто это не так. Окно за субъектом, показывающее сцену, которой там быть не могло, — это вид ошибки, который выживает после обновления модели, потому что требует модели мира, а не модели лиц.
Ни то, ни другое нельзя проверить механически, и оба занимают больше времени, чем пересчет пальцев. Таков обмен: проверки, которые все еще работают, — это те, что требуют мышления о картине как о месте, а не сканирования ее на предмет дефектов.