Upscaled por IA vs gerado por IA

O que um upscaler faz na realidade

Um redimensionamento tradicional faz uma interpolação. Calcula valores de pixéis intermédios a partir dos que estão de um lado e do outro, produz uma imagem maior e mais suave, e não adiciona nenhuma informação que já não estivesse lá.

Um upscaler moderno gera. É um modelo treinado com pares de imagens pequenas e grandes, e produz detalhes plausíveis para o assunto em vez de derivados dele: poros num rosto, fios num tecido, folhas numa árvore distante.

Essa distinção é o artigo inteiro. Os poros não foram fotografados. São o melhor palpite do modelo sobre o aspeto que os poros teriam ali, o que é a mesma operação que um gerador executa em todo o fotograma.

Portanto, uma imagem que passou por um upscaler contém textura genuinamente sintética, e um detetor que lê a textura reporta exatamente isso. A conclusão está correta; a conclusão que as pessoas tiram dela é que não.

Porque é que isto produz tantos falsos positivos

O upscaling está em todo o lado e é, na sua maioria, invisível para quem o está a fazer. As câmaras dos telemóveis aplicam-no ao zoom digital, os editores de imagem oferecem-no como melhoria, as chamadas de vídeo utilizam-no para compensar a largura de banda e as plataformas aplicam-no quando servem imagens em tamanhos superiores ao original.

O trabalho de arquivo e restauro é o caso extremo. Uma fotografia antiga digitalizada a baixa resolução e melhorada para impressão é fortemente reescrita por construção, e terá uma pontuação semelhante à de algo produzido por um modelo, porque muito do que está a ver é isso mesmo.

A região superior direita é o problema. Essas imagens retratam coisas reais e contêm pixéis inventados, e nenhuma pontuação consegue separar as duas propriedades porque o modelo está a medir apenas uma delas.

Como distingui-las

O mapa de regiões é a primeira ferramenta e funciona porque o upscaling e a geração distribuem a respetiva textura inventada de forma diferente.

• O upscaling é uniforme. Todas as partes do fotograma foram ampliadas pelo mesmo processo, pelo que a grelha é uniforme e plana.
• A geração também é uniforme, razão pela qual o mapa por si só não resolve a questão.
• A melhoria seletiva não o é. O restauro de rostos aplicado a uma pessoa numa foto de grupo produz calor localizado, o que é informativo.
• A composição mantém-se. Uma fotografia upscaled tem a geometria, perspetiva e iluminação de uma cena real, porque foi uma.
• Os detalhes podem ser verificados. Amplie as regiões inventadas: o texto upscaled transforma-se num disparate plausível e o texto real permanece legível.

O último ponto é o aspeto prático. Faça zoom em sinalética, rótulos ou letras pequenas. Um upscaler confrontado com texto ilegível produz marcas com aspeto de letras confiantes que não formam nenhuma palavra, e essa falha é visível para uma pessoa mesmo quando uma pontuação não o é.

As duas linhas inferiores são as que resolvem verdadeiramente a questão, e nenhuma delas é uma medição de pixéis. Uma pesquisa de imagem inversa que encontre uma cópia anterior mais pequena, ou uma fonte que possa fornecer o ficheiro pré-melhoria, resolve a questão diretamente.

O que isto significa na prática

Para quem avalia uma imagem, a regra de funcionamento é perguntar sobre a melhoria antes de tratar uma pontuação alta como uma descoberta. É uma única pergunta, não custa nada e explica uma grande parte dos resultados confusos.

Para quem publica, é um argumento a favor da conservação dos originais. Um fotógrafo, um gestor de sinistros ou um jornalista que consiga produzir o ficheiro antes da melhoria tem uma resposta completa para uma questão que, de outro modo, não teria nenhuma.

E para trabalhos de arquivo e restauro, trata-se de um problema de rotulagem e não de deteção. Uma fotografia histórica melhorada é um artefacto legítimo e útil que terá sempre uma pontuação fraca, pelo que a resposta honesta é dizer o que lhe foi feito.

Onde isto causa danos reais

Três cenários transformam isto de uma curiosidade num problema, e os três partilham uma caraterística: alguém está a tomar uma decisão sobre uma pessoa com base numa imagem que não capturou.

Os sinistros de seguros são o exemplo mais evidente. Um reclamante fotografa danos num telemóvel, a imagem é pequena e alguém a amplia para ver os detalhes. A versão ampliada obtém uma pontuação alta e um sinistro genuíno adquire uma nota sobre uma possível manipulação que ninguém consegue agora remover.

O jornalismo tem a mesma forma. Uma fotografia de uma fonte sofre upscaling para impressão, a versão melhorada circula e uma verificação posterior da cópia em circulação sinaliza-a. O original estava correto e já não é a versão que alguém possui.

Os contextos legais e disciplinares são os mais graves, porque a cópia melhorada é frequentemente a que é incluída no processo. Quando se vai confiar numa imagem, o ficheiro que deve circular é o anterior a qualquer melhoria, e a melhoria deve ser documentada separadamente.

Uma nota para quem está a criar um fluxo de trabalho

Se as imagens passam pela sua organização e são avaliadas, a melhoria mais barata disponível é um campo que registe se um ficheiro foi melhorado. Custa uma caixa de seleção na receção e elimina mais tarde toda uma categoria de litígios irresolúveis.

A segunda mais barata é uma regra segundo a qual a melhoria é feita numa cópia. Mantenha o ficheiro tal como foi recebido, melhore um duplicado para visualização e certifique-se de que o ficheiro que acompanha o registo é o original em vez do mais bonito.

Existe aqui uma lição mais vasta sobre o que uma pontuação mede. O modelo relata quanta textura à sua frente foi produzida por software, o que é uma propriedade real e não é a mesma propriedade que as pessoas pretendem, que é saber se a imagem regista algo que aconteceu.

A maioria dos resultados confusos neste campo provém dessa lacuna. O upscaling é o exemplo mais claro porque as propriedades apontam em direções opostas: textura fortemente sintética, sujeito inteiramente genuíno.