As quatro razões pelas quais os resultados diferem
Uma pontuação é o fim de uma longa cadeia de escolhas. Mude qualquer elo e o número se move, embora nada na imagem tenha mudado.
- Dados de treinamento diferentes. Um detector reconhece o que já viu. Um treinado em milhares de geradores abertos lida bem com modelos incomuns. Um treinado nas quatro maiores ferramentas comerciais lida melhor com essas quatro e pior com todo o resto.
- Linhas de decisão diferentes. Uma ferramenta chama 60 de suspeito, outra chama 75 de suspeito. A mesma leitura cruza um limite e não o outro, então você obtém dois vereditos de uma medição.
- Definições diferentes. Algumas ferramentas contam qualquer envolvimento generativo, incluindo aumento de escala ou preenchimento generativo. Outras marcam apenas quadros totalmente sintéticos. Um retrato retocado é IA para a primeira e real para a segunda.
- Pré-processamento diferente. Ferramentas redimensionam, cortam e recodificam antes de pontuar. Um detector lendo um quadrado de 224 pixels do centro vê uma imagem diferente de um que lê 384 pixels de todo o quadro.
A ferramenta D não é mais sensível que as outras. Ela responde a uma pergunta mais ampla. Se sua preocupação é se uma fotografia foi encenada por um gerador, D está relatando excessivamente. Se sua preocupação é se alguma IA tocou no arquivo, D é a única respondendo a você.
Pergunte qual pergunta cada ferramenta responde
| A pergunta | O que marca | Uso típico |
|---|---|---|
| Este quadro foi gerado do nada? | Textura sintética de quadro inteiro | Notícias, listagens de mercado, perfis de namoro |
| Alguma parte disso foi editada por IA? | Uma região acima da linha | Seguros, reclamações, revisão de evidências |
| Alguma IA tocou neste arquivo? | Aumento de escala, redução de ruído, preenchimento generativo | Bibliotecas de banco de imagens, regras de competição |
A maior parte da discordância entre ferramentas é, na verdade, uma discordância sobre qual dessas três você perguntou. Antes de comparar os resultados, decida qual pergunta é importante para você, então leia cada ferramenta em relação a ela.
Como comparar dois resultados corretamente
-
Alimente ambas as ferramentas com o arquivo idêntico
Não um novo download, não uma captura de tela, não uma cópia que passou por um aplicativo de chat. Bytes diferentes são uma imagem diferente e pontuarão legitimamente de forma diferente.
-
Compare bandas, não números
Um 61 em uma escala com linha em 50 e um 58 em uma escala com linha em 65 discordam sobre o veredito enquanto concordam sobre a leitura.
-
Procure por um limite publicado
Uma ferramenta que não diz onde sua linha está não pode ser comparada com nada. Trate o número como ininterpretável em vez de como evidência.
-
Prefira a ferramenta que mostra seu funcionamento
Um mapa de região, uma banda nomeada e um benchmark declarado permitem que você verifique o raciocínio. Um rótulo confiante sem nada por trás não permite.
-
Trate a concordância como o sinal forte
Duas ferramentas independentes chegando à mesma banda valem mais do que qualquer uma sozinha. Duas discordando significa incerto, não tirar a média.
Quando a discordância é a conclusão
Um padrão vale a pena aprender a reconhecer. Uma ferramenta que relata uma pontuação baixa de quadro inteiro ao lado de uma que relata uma pontuação alta geralmente significa que a imagem é uma fotografia real com uma edição local.
A primeira ferramenta está nivelando a edição em um quadro majoritariamente genuíno. A segunda está pesando a região mais forte. Ambas estão corretas sobre o que mediram, e a própria discordância disse a você mais do que qualquer número.
Um bloco acima da linha de decisão dentro de um quadro, de outra forma, frio. Nenhum número único captura isso.
O que faria os detectores concordarem
Um benchmark compartilhado, linhas de decisão publicadas e uma definição acordada do que conta como envolvimento de IA removeriam a maior parte da dispersão. Nada disso existe ainda, e há pouca pressão comercial para criá-los, porque uma ferramenta que publica suas fraquezas parece pior do que uma que não o faz.
Até que isso mude, trate cada pontuação como vinda de uma escala privada. Leia a evidência que uma ferramenta mostra e pondere isso mais fortemente do que a confiança em seu rótulo.
O problema da versão que ninguém menciona
Um detector não é a mesma coisa ao longo do tempo. Os fornecedores retreinam, ajustam limites e trocam modelos sem aviso, e quase nenhum deles faz o versionamento de sua saída. A pontuação que você obteve em março e a pontuação que você obtém hoje podem vir de modelos diferentes com calibração diferente por trás deles.
Isso importa se você registrar resultados. Um arquivo de sinistro, um registro de moderação ou um caso acadêmico que cite uma pontuação de dezoito meses atrás está citando uma medição cujo instrumento não existe mais. Não há como reproduzi-la e não há como verificar o que ela significava na época.
Onde você guarda os resultados, guarde as evidências junto: as pontuações da região, a faixa, a linha de decisão e a data. Esses dados permanecem interpretáveis depois que o modelo por trás deles for atualizado, o que uma simples porcentagem não permite.