Что на самом деле делает апскейлер
Традиционное изменение размера использует интерполяцию. Оно вычисляет промежуточные значения пикселей на основе соседних, создает изображение большего размера, но более мягкое, и не добавляет никакой новой информации.
Современный апскейлер генерирует. Это модель, обученная на парах маленьких и больших изображений, и она создает детали, которые выглядят правдоподобно для данного объекта, а не извлечены из него: поры на коже, нити в ткани, листья на далеком дереве.
Это различие — суть всей статьи. Эти поры не были сфотографированы. Это лучшее предположение модели о том, как поры должны выглядеть в этом месте, что является той же операцией, которую генератор выполняет по всему кадру.
Таким образом, изображение, прошедшее через апскейлер, содержит подлинно синтетическую текстуру, и детектор, считывая текстуру, сообщает именно об этом. Результат верен, но выводы, которые люди из него делают, — нет.
Почему это дает так много ложноположительных результатов
Апскейлинг повсюду и по большей части незаметен для того, кто его использует. Камеры телефонов применяют его при цифровом зуме, редакторы предлагают его как функцию улучшения, видеозвонки используют его для компенсации ширины канала, а платформы применяют его при отображении изображений в размерах, превышающих оригинал.
Архивная и реставрационная работа — крайний случай. Старая фотография, отсканированная в низком разрешении и улучшенная для печати, сильно переработана в процессе, и она будет иметь такие же показатели, как нечто созданное моделью, потому что многое из того, что вы видите, таковым и является.
Верхняя правая область — это проблема. Эти изображения изображают реальные вещи и содержат искусственные пиксели, и никакой балл не может разделить эти два свойства, потому что модель измеряет только одно из них.
Как их различить
Карта областей — первый инструмент, и он работает, потому что апскейлинг и генерация распределяют придуманную текстуру по-разному.
- Апскейлинг однороден. Каждая часть кадра была увеличена одним и тем же процессом, поэтому сетка теплая и плоская.
- Генерация тоже однородна, поэтому одна только карта не решает проблему.
- Выборочное улучшение — нет. Восстановление лица, примененное к одному человеку на групповом фото, создает локализованный нагрев, что информативно.
- Композиция сохраняется. Апскейленная фотография имеет геометрию, перспективу и освещение реальной сцены, потому что она ей была.
- Детали можно проверить. Увеличьте придуманные области: апскейленный текст превращается в правдоподобную бессмыслицу, а настоящий текст остается читаемым.
Последний пункт — практический. Увеличьте вывески, этикетки или мелкий шрифт. Апскейлер, столкнувшись с нечитаемым текстом, создает уверенные знаки в форме букв, которые ничего не означают, и этот сбой виден человеку, даже если оценка нет.
| Сигнал | Апскейленная фотография | Сгенерированное изображение |
|---|---|---|
| Балл по всему кадру | Высокий | Высокий |
| Карта областей | «Тепло» и ровно | «Тепло» и ровно |
| Мелкий текст при увеличении | Правдоподобная бессмыслица | Правдоподобная бессмыслица |
| Геометрия сцены | Согласована, это было реально | Обычно согласована сейчас |
| Существует ранняя, меньшая копия | Часто | Нет |
| Оригинальный файл доступен | Да, запросите его | Его нет |
Две нижние строки — это то, что действительно решает проблему, и ни одна из них не является измерением пикселей. Поиск по изображению, находящий меньшую раннюю копию, или источник, который может предоставить файл до улучшения, напрямую решает вопрос.
Что это значит на практике
Для любого, кто оценивает изображение, рабочее правило — спрашивать об улучшении, прежде чем рассматривать высокий балл как вывод. Это один вопрос, он ничего не стоит и объясняет большую часть запутанных результатов.
Для любого, кто публикует контент, это аргумент в пользу хранения оригиналов. Фотограф, специалист по претензиям или журналист, который может предоставить файл до улучшения, имеет полный ответ на вопрос, на который иначе ответа нет.
А для архивов и реставрационных работ это проблема маркировки, а не обнаружения. Улучшенная историческая фотография — это законный и полезный артефакт, который всегда будет получать плохие оценки, поэтому честный ответ — сказать, что с ней было сделано.
Где это причиняет реальный вред
Три ситуации превращают это из любопытного факта в проблему, и все три объединяет одна особенность: кто-то принимает решение о человеке на основе изображения, которое он сам не снимал.
Страховые случаи — самый очевидный пример. Заявитель фотографирует ущерб на телефон, изображение маленькое, и кто-то увеличивает его, чтобы увидеть детали. Увеличенная версия получает высокий балл, и реальная претензия получает пометку о возможной манипуляции, которую теперь никто не может удалить.
В журналистике ситуация похожая. Фотография из источника апскейлится для печати, улучшенная версия распространяется, и последующая проверка этой версии помечает ее. Оригинал был в порядке, но теперь это не та версия, которая у всех на руках.
Юридические и дисциплинарные контексты наиболее серьезны, потому что улучшенная копия часто является той, которая приобщается к делу. Когда на изображение собираются полагаться, файлом, который должен использоваться, должен быть тот, что был до любого улучшения, а само улучшение должно быть задокументировано отдельно.
Заметка для тех, кто выстраивает рабочий процесс
Если изображения проходят через вашу организацию и подлежат оценке, самое дешевое доступное улучшение — это поле, фиксирующее, был ли файл улучшен. Это стоит одной галочки при получении и устраняет целую категорию неразрешимых споров в будущем.
Второе самое дешевое — правило, что улучшение применяется к копии. Сохраняйте файл в полученном виде, улучшайте дубликат для просмотра и убедитесь, что в деле используется оригинал, а не улучшенная версия.
Здесь есть более широкий урок о том, что измеряет балл. Модель сообщает, какая часть текстуры перед ней была создана программным обеспечением, что является реальным свойством, но это не то же самое свойство, которое нужно людям: фиксирует ли снимок нечто, что произошло на самом деле.
Большинство запутанных результатов в этой области возникают из-за этого разрыва. Апскейлинг — самый ясный пример, потому что два свойства указывают в противоположных направлениях: сильно синтетическая текстура, полностью подлинный объект.