Precisão do detector de imagens por IA: o que 91% realmente significa

91,3% de precisão balanceada significa que aproximadamente uma imagem em onze cai no lado errado da linha de decisão, sob condições de laboratório em arquivos limpos. Sua imagem não é uma condição de laboratório.

O que a precisão balanceada mede

A precisão simples é fácil de inflar. Alimente um detector com um conjunto de teste que é 90 por cento imagens geradas e um modelo que diz sim para tudo pontua 90 por cento, sendo inútil.

A precisão balanceada corrige isso ponderando imagens reais e geradas igualmente, de modo que a figura é a média de duas taxas: com que frequência fotografias autênticas são corretamente liberadas e com que frequência imagens geradas são corretamente sinalizadas. Uma ferramenta que cita precisão simples sem nomear sua mistura de teste não está lhe dizendo muito.

Precisão balanceada por qualidade JPEG

Originais limpos

91.3 %

Qualidade JPEG 60

87.3 %

Qualidade JPEG 40

84.6 %

O eixo começa em 80% para que a inclinação seja legível. Um eixo completo de 0-100 esconderia o efeito inteiramente.

Os valores publicados para o modelo usado aqui, medidos em seu benchmark de pesquisa.

As duas maneiras pelas quais um detector erra

Um número esconde duas falhas muito diferentes, e elas trazem custos muito diferentes.

Falso positivo

Uma fotografia autêntica pontuou acima da linha
Causado por redimensionamento, retoque, modo noturno, capturas de tela
Custo: uma acusação contra uma pessoa real
A falha que causa dano real

Falso negativo

Uma imagem gerada pontuou abaixo da linha
Causado por novos geradores, pequenas edições, arquivos lavados
Custo: um falso passa sem ser contestado
A falha que as pessoas notam menos

Uma única figura de precisão faz a média dessas duas. Elas não são intercambiáveis, e a maioria das pessoas se importa muito mais com uma delas.

Mover a linha de decisão implica trocar um pelo outro. Baixá-la deteta mais falsificações e sinaliza mais fotografias reais. Elevá-la protege imagens genuínas e deixa passar mais falsificações. Não existe uma configuração que melhore ambos, razão pela qual a linha é publicada em 65 em vez de ser ajustada silenciosamente.

Porque é que os números de referência sobrestimam o desempenho real

A diferença entre um conjunto de teste e uma imagem que alguém lhe envia
Imagem de referência	A sua imagem	Efeito na pontuação
Ficheiro original, nunca regravado	Comprimido duas ou três vezes	A precisão cai vários pontos
Resolução total	Cortada ou redimensionada para uma aplicação de chat	Menos detalhes para ler, mais incerteza
Geradores conhecidos no momento do treino	Um modelo lançado no mês passado	A fraqueza persistente de todos os detetores
Fotografia limpa ou renderização limpa	Foto real com uma edição de IA	A pontuação de toda a moldura subestima-a
Sem processamento contraditório	Deliberadamente lavada para passar	Concebida para derrotar a medição

Nenhum destes são casos invulgares. Eles descrevem como as imagens viajam realmente. Uma imagem que chega até si através de duas plataformas e uma captura de ecrã já perdeu grande parte do sinal no qual o benchmark foi medido.

Como ler uma reivindicação de precisão

Pergunte qual o conjunto de teste. Um número sem uma referência nomeada é marketing. Um número num benchmark público pode ser verificado por outra pessoa.
Pergunte se é equilibrado ou simples. A precisão simples num conjunto de teste desequilibrado é o número mais fácil de inflacionar.
Pergunte onde se situa a linha de decisão. A precisão não tem sentido sem saber o limiar em que foi medida.
Pergunte que geradores foram incluídos. Qualquer detetor pontua bem nos modelos em que foi treinado e pior naquele lançado depois.
Peça a taxa de falsos positivos separadamente. Esse é o número que decide se a ferramenta é segura para usar em pessoas reais.

O que a precisão não lhe pode dizer

Um benchmark mede a frequência com que um modelo está certo numa população de imagens. Não diz nada sobre se está certo na sua. Não existe intervalo de confiança associado a um único resultado, e um detetor não pode saber qual dos seus erros está a cometer.

É por isso que o mapa de regiões e as provas do ficheiro importam mais do que o número principal. A concordância entre sinais independentes vale mais do que um número forte de um deles, e a discordância é uma descoberta por si só.

Como testar um detetor você mesmo

Não tem de confiar na figura de ninguém. Um teste útil leva uma tarde e diz-lhe mais sobre uma ferramenta do que qualquer benchmark publicado, porque utiliza imagens que parecem as suas.

Construa um conjunto para o qual já sabe a resposta
Vinte fotografias que tirou você mesmo, e vinte imagens que gerou. Mantenha os originais intocados. Vinte de cada é suficiente para expor uma ferramenta obviamente fraca.
Inclua o meio termo difícil
Adicione capturas de ecrã das suas próprias fotos, fotos em modo noturno, um corte ampliado e um retrato fortemente retocado. É aqui que os detetores falham, e é a parte que o benchmark de qualquer fornecedor deixa de fora.
Registe a pontuação e a banda, não um veredito
Anote o que cada ferramenta devolveu. Comparar bandas é mais informativo do que comparar números, porque duas ferramentas podem colocar as suas linhas de decisão em locais diferentes.
Conte os dois tipos de erro separadamente
Quantas das suas fotos reais foram sinalizadas, e quantas das suas imagens geradas foram ignoradas. Uma ferramenta que nunca falha uma falsificação ao sinalizar um terço das suas próprias fotografias não é utilizável em pessoas.

O número que importa é o primeiro: a frequência com que chama falso ao seu próprio trabalho. Essa é a falha com um custo associado, e é a que uma figura de precisão principal dilui.

Perguntas que as pessoas fazem

A precisão de 91% é boa para um detetor de imagens de IA?

É um número razoável para um detetor baseado em píxeis num benchmark limpo, e não é suficientemente alto para agir sozinho. Nove chamadas erradas em cem é muito quando cada uma pode ser uma acusação. Trate-o como uma ferramenta de rastreio que lhe diz onde procurar em vez de um teste que resolve a questão.

Que detetor de imagens de IA é o mais preciso?

A resposta honesta é que os números publicados não são comparáveis. Ferramentas diferentes usam conjuntos de teste diferentes, linhas de decisão diferentes e definições de precisão diferentes, por isso os números medem coisas diferentes. Compare o que uma ferramenta lhe mostra em vez disso: bandas publicadas, um mapa de regiões e uma taxa de falsos positivos declarada.

A precisão melhora à medida que os modelos melhoram?

A deteção e a geração melhoram em conjunto, por isso a diferença mantém-se praticamente constante. Cada novo gerador é um dado não visto para cada detetor existente, e o re-treino segue o lançamento em vez de o preceder. Espere um atraso permanente em vez de um problema resolvido.

Porque é que a mesma ferramenta dá pontuações diferentes para a mesma imagem?

Não deveria, e se o faz, os dois ficheiros diferem. Uma cópia que foi regravada, redimensionada ou passada por uma plataforma é um ficheiro diferente com píxeis diferentes. Compare o original com o original, não o original com uma descarga de si próprio.