Todas as maneiras pelas quais um detector de imagem AI pode estar errado

Quatro famílias de falha: a imagem foi degradada, o gerador não foi visto, o conteúdo se assemelha à textura sintética ou alguém a lavou deliberadamente. Cada uma produz uma resposta errada diferente.

Família um: a imagem foi degradada

A maior categoria por uma larga margem. O sinal que um detector lê vive na textura fina, e essa textura é a primeira coisa que toda compressão, redimensionamento e captura de tela descarta.

Salvamentos repetidos em JPEG. A precisão cai de 91,3 por cento em originais limpos para 84,6 por cento na qualidade 40 no benchmark publicado, e ainda mais no mundo real.
Capturas de tela. Uma nova renderização na resolução da tela com o arquivo original totalmente descartado.
Redimensionamento para baixo. Menos pixels, menos textura e, abaixo de cerca de 576 pixels no lado mais curto, nenhum mapa de região.
Re-codificação da plataforma. Todo upload é pelo menos uma re-codificação, e a maioria das imagens passou por várias.
Cortes agressivos. Um pequeno corte de uma imagem grande perde o contexto no qual o modelo foi calibrado.

A degradação empurra as pontuações para o meio em ambas as direções: fotografias genuínas para cima, imagens geradas para baixo. Um resultado mediano em um arquivo claramente compartilhado geralmente significa o arquivo, não a imagem.

Família dois: o gerador não foi visto

Um detector reconhece no que foi treinado. Um modelo lançado após o término do treinamento é um território desconhecido, e a saída desconhecida tende a pontuar baixo em vez de incerto.

1 Gerador lançado Nada viu sua saída
2 Janela cega Nova saída pontua como real
3 Amostras coletadas Semanas de coleta e rotulagem
4 Detector atualizado Até o próximo lançamento

A janela cega é estrutural. O retreinamento sempre segue um lançamento, em vez de precedê-lo.

Isso produz falsos negativos confiantes, que são o tipo mais perigoso. A ferramenta não está sinalizando incerteza; ela está relatando que uma imagem parece boa porque não se assemelha a nada que ela foi ensinada a sinalizar.

Família três: o conteúdo se assemelha à textura sintética

Algumas imagens genuínas são simplesmente difíceis. Não porque algo foi feito para enganar, mas porque a textura que contêm se parece com a textura que a geração produz.

Modo noturno do telefone e fotografia computacional. Vários quadros mesclados e com redução de ruído por software, que reescreve detalhes finos em toda a imagem.
Retoque pesado. Suavização de pele e separação de frequência reconstroem a textura em rostos.
Imagens com upsampling. O aumento inventa pixels, e pixels inventados são pixels gerados.
Ilustração, renderizações 3D e CGI. Nunca fotografado, então nada neles se assemelha a uma captura de câmera.
Fotografia de banco de imagens com redução de ruído pesada. Processada comercialmente para parecer limpa, o que é lido como sintético.
Imagens muito planas. Paredes em branco, céus claros e fundos simples carregam pouco sinal em qualquer direção.

57 62 55 60 58 63 54 61 59

Compare com um quadro gerado nos anos noventa e uma edição local com um bloco quente. Este padrão não é nenhum dos dois.

Uma fotografia genuína em modo noturno. Nada dramático, mas cada bloco é quente, que é a assinatura do processamento global.

Família quatro: evasão deliberada

A menor categoria e a que mais preocupa as pessoas. Qualquer técnica que reescreva as relações entre pixels reduz a pontuação, e a maioria delas danifica visivelmente a imagem ao fazer isso.

A exceção é a composição. Um objeto gerado colocado em uma fotografia genuína mantém a textura real na maior parte do quadro, e é por isso que o mapa de regiões existe e por que um número para o quadro inteiro não é suficiente para nada adversarial.

Como cada falha se apresenta

Lendo um resultado suspeito de trás para frente
O que você vê	Causa mais provável	O que fazer
Foto genuína pontua alto, mapa uniformemente quente	Processamento ou compressão	Verifique novamente o arquivo original
Foto genuína pontua alto, um bloco quente	Uma edição legítima ou uma região plana	Observe o que está nesse bloco
Imagem gerada pontua baixo, arquivo degradado	Compressão ou captura de tela	Trate como sem resposta, não como um resultado limpo
Imagem gerada pontua baixo, arquivo limpo	Um gerador não identificado	Recorra à procedência e ao fornecimento
A pontuação fica na faixa intermediária	Sinal insuficiente para ambos os lados	Encontre uma cópia melhor
Nenhum mapa de regiões produzido	Imagem muito pequena para dividir em blocos	Encontre uma cópia maior

O que tudo isso não é

Vale a pena separar as limitações das coisas que um detector nunca tentou fazer. Uma ferramenta não está errada por falhar ao fazer algo fora de seu escopo.

Ele não pode dizer quem fez uma imagem. Nada nos pixels vincula um arquivo a uma pessoa.
Ele não pode dizer se o conteúdo é verdadeiro. Uma fotografia genuína pode carregar uma legenda falsa, e esse é o engano mais comum.
Ele não pode nomear o gerador. Apenas uma credencial ou um marcador no arquivo pode fazer isso.
Ele não pode delinear uma edição. O mapa de regiões mostra onde o sinal se concentra, não o limite de uma manipulação.

Como criar um processo que tolera isso

As falhas acima são características permanentes em vez de bugs aguardando correção, portanto, a pergunta útil é como projetar em torno delas em vez de como evitá-las.

Use mais de um tipo de sinal. Pixels, procedência e histórico de publicação falham em lugares diferentes, e uma imagem que parece errada para os três é uma descoberta muito mais forte do que uma que parece errada para qualquer um deles sozinho.

Encaminhe sinalizações para uma pessoa, não para uma ação. Toda falha grave acima torna-se tolerável se a consequência de estar errado for que alguém examine com mais atenção, e intolerável se a consequência for uma rejeição automática.

Peça o original antes de concluir qualquer coisa. Uma proporção notável de resultados errados é resolvida nesta única etapa, porque o arquivo que lhe foi entregue quase nunca é a melhor cópia existente.

Perguntas que as pessoas fazem

Qual é a maneira mais comum de um detector errar?

Uma fotografia genuína sinalizada porque o arquivo foi degradado. Capturas de tela, compressão repetida e o modo noturno do telefone reescrevem a textura que um detector lê, e todos os três são coisas comuns que acontecem às imagens sem que ninguém pretenda enganar.

Qual falha é a mais perigosa?

Um falso negativo confiante em resultados de um novo gerador. A ferramenta relata a imagem como limpa em vez de incerta, portanto, nada sinaliza que a resposta não é confiável. É por isso que a procedência e o fornecimento importam mesmo quando uma verificação de pixels retorna baixa.

Posso saber com antecedência se um resultado será confiável?

Muitas vezes, sim. Um arquivo original grande, direto de uma câmera com bastante textura, fornece uma leitura na qual você pode confiar. Uma pequena captura de tela de uma cena plana encaminhada por dois aplicativos não fornece, e saber disso antes de olhar o número é a maior parte da habilidade.

Essas limitações se aplicam a todos os detectores?

As três primeiras famílias se aplicam a qualquer ferramenta que leia pixels, porque são propriedades do método e não de um produto. O que difere entre as ferramentas é quais geradores elas viram e onde definem a linha de decisão.

Esses problemas serão resolvidos?

O problema da degradação é inerente: informações destruídas não podem ser recuperadas. O problema do gerador não visto é estrutural, porque o retreinamento segue o lançamento. A precisão em imagens limpas continuará melhorando, e nenhum desses dois desaparecerá.

Então, quando um detector é realmente útil?

Em um arquivo razoavelmente intacto, como um sinal entre vários, para decidir onde olhar com mais atenção. Esse é um trabalho genuinamente valioso. Ele deixa de ser útil no momento em que alguém trata o número como a resposta em vez de como o motivo para continuar investigando.