Les quatre raisons pour lesquelles les résultats diffèrent
Un score est l'aboutissement d'une longue chaîne de choix. Modifiez un seul maillon et le chiffre change, alors que rien n'a changé sur l'image.
- Données d'entraînement différentes. Un détecteur reconnaît ce qu'il a vu. Un outil entraîné sur des milliers de générateurs ouverts gère bien les modèles inhabituels. Un autre entraîné sur les quatre plus grands outils commerciaux gère mieux ces quatre-là et moins bien le reste.
- Lignes de décision différentes. Un outil qualifie 60 de suspect, un autre 75. La même lecture franchit un seuil et pas l'autre, vous obtenez donc deux verdicts pour une seule mesure.
- Définitions différentes. Certains outils comptent toute intervention générative, y compris une mise à l'échelle ou un remplissage génératif. D'autres ne signalent que les images entièrement synthétiques. Un portrait retouché relève de l'IA pour le premier et du réel pour le second.
- Prétraitement différent. Les outils redimensionnent, recadrent et ré-encodent avant d'attribuer un score. Un détecteur qui lit un carré de 224 pixels au centre voit une image différente de celui qui lit 384 pixels de l'ensemble de l'image.
L'outil D n'est pas plus sensible que les autres. Il répond à une question plus vaste. Si votre préoccupation est de savoir si une photo a été créée par un générateur, l'outil D surestime. Si votre préoccupation est de savoir si une IA a touché au fichier, l'outil D est le seul à vous répondre.
Demandez à quelle question chaque outil répond
| La question | Ce qui le signale | Utilisation typique |
|---|---|---|
| Cette image a-t-elle été générée à partir de rien ? | Texture synthétique sur toute l'image | Actualités, annonces de marché, profils de rencontres |
| Une partie de ceci a-t-elle été modifiée par l'IA ? | Une zone au-dessus de la ligne | Assurance, sinistres, examen de preuves |
| Une IA a-t-elle touché à ce fichier ? | Mise à l'échelle, réduction du bruit, remplissage génératif | Banques d'images, règles de concours |
La plupart des désaccords entre les outils proviennent en réalité d'un désaccord sur laquelle de ces trois questions vous avez posée. Avant de comparer les résultats, décidez quelle question vous importe, puis évaluez chaque outil en fonction de celle-ci.
Comment comparer correctement deux résultats
-
Fournissez le fichier identique aux deux outils
Pas un re-téléchargement, pas une capture d'écran, pas une copie passée par une appli de messagerie. Des octets différents constituent une image différente et obtiendront légitimement des scores différents.
-
Comparez les tranches, pas les chiffres
Un score de 61 sur une échelle avec un seuil à 50 et un score de 58 sur une échelle avec un seuil à 65 sont en désaccord sur le verdict tout en étant d'accord sur la lecture.
-
Recherchez un seuil publié
Un outil qui ne révèle pas où se situe sa ligne ne peut être comparé à rien. Traitez ce nombre comme ininterprétable plutôt que comme une preuve.
-
Préférez l'outil qui montre sa méthode
Une carte des régions, une tranche nommée et un benchmark indiqué vous permettent de vérifier le raisonnement. Un label affirmatif sans rien derrière ne le permet pas.
-
Considérez l'accord comme un signal fort
Deux outils indépendants atteignant la même tranche valent mieux que l'un d'eux seul. S'ils sont en désaccord, cela signifie incertitude, et non une moyenne des deux.
Quand le désaccord est la conclusion
Un schéma mérite d'être appris et reconnu. Un outil qui indique un score faible pour l'ensemble de l'image parallèlement à un outil qui indique un score élevé signifie souvent que l'image est une vraie photo comportant une modification locale.
Le premier outil moyenne la modification sur une image majoritairement authentique. Le second pondère la zone la plus marquée. Les deux ont raison sur ce qu'ils ont mesuré, et le désaccord lui-même vous en dit plus que n'importe quel chiffre.
Une zone au-dessus de la ligne de décision au sein d'une image par ailleurs froide. Aucun chiffre unique ne peut capturer cela.
Qu'est-ce qui amènerait les détecteurs à être d'accord
Un benchmark partagé, des lignes de décision publiées et une définition convenue de ce qui compte comme intervention de l'IA élimineraient la majeure partie des écarts. Rien de tout cela n'existe encore, et il y a peu de pression commerciale pour les créer, car un outil qui publie ses faiblesses a l'air moins bon que celui qui ne le fait pas.
Jusqu'à ce que cela change, considérez chaque score comme provenant d'une échelle privée. Lisez les preuves qu'un outil vous montre et accordez-leur plus de poids qu'à la confiance affichée par son label.
Le problème des versions dont personne ne parle
Un détecteur n'est pas un outil figé dans le temps. Les fournisseurs réentraînent, ajustent les seuils et changent de modèle sans préavis, et presque aucun d'eux ne versionne ses résultats. Le score obtenu en mars et celui d'aujourd'hui peuvent provenir de modèles différents dotés d'un étalonnage différent.
Cela compte si vous archivez des résultats. Un dossier de sinistre, un journal de modération ou un cas académique qui cite un score vieux de dix-huit mois cite une mesure dont l'instrument n'existe plus. Il n'y a aucun moyen de le reproduire ni de vérifier ce qu'il signifiait à l'époque.
Conservez les preuves avec vos résultats : les scores des régions, la bande, la ligne de décision et la date. Ces éléments restent interprétables une fois que le modèle sous-jacent a évolué, contrairement à un simple pourcentage brut.