Deux choses différentes que l'on désigne par le même terme
Une image entièrement générée part de rien. Il n'y a pas de photographie sous-jacente, pas de lecture de capteur, pas de moment qui s'est produit. Chaque pixel a été produit par un modèle, et la personne qui s'y trouve n'a aucune identité à diffamer puisqu'il n'y a personne.
Un deepfake part de quelque chose de réel. Il y a une photographie ou une vidéo sous-jacente, une capture authentique d'un moment authentique, et un modèle a remplacé une région spécifique de celle-ci, généralement un visage, par le rendu de quelqu'un d'autre.
Cette distinction revêt une importance juridique, éditoriale et technique. Une photo d'illustration générée d'un médecin inexistant relève du droit d'octroi de licence. Une photographie d'un vrai médecin dont le visage a été collé sur un corps auquel il n'a jamais appartenu relève de la diffamation, et potentiellement du pénal.
Pourquoi le deepfake est plus difficile à repérer
Un détecteur lit la texture statistique d'une image et indique dans quelle mesure elle ressemble à ce qu'un modèle a produit. Lorsque toute l'image est synthétique, ce signal est omniprésent et le score ne prête pas à confusion.
Une permutation de visage inverse le problème. Quatre-vingt-dix pour cent de l'image est une vraie photographie, avec un vrai bruit de capteur et un historique de compression réel, et la moyenne de l'image entière reflète cela. Une permutation convaincante peut produire un score autour de trente sur une image qui est pourtant trompeuse.
Ce n'est pas tant un échec du modèle qu'un échec de la question. Demander si l'image est générée n'a pas de sens lorsque la réponse honnête est que la majeure partie ne l'est pas, mais qu'une partie importante l'est.
La moyenne qui a produit 33 est précisément ce qui cache la seule zone qui compte.
La carte des régions est la réponse à ce problème de formulation. Analyser des zones qui se chevauchent séparément signifie qu'un remplacement localisé est mesuré par rapport à son propre voisinage plutôt que d'être dilué dans une image à laquelle il n'appartient pas.
Le vocabulaire, dans l'ordre d'apparition
| Terme | Ce que cela signifie | Le sujet est-il réel ? |
|---|---|---|
| Deepfake | L'apparence d'une personne réelle transposée dans une autre séquence | Oui |
| Permutation de visage | La forme courante d'un deepfake, sur une image fixe ou une vidéo | Oui |
| Généré par IA | Produit à partir d'une consigne sans photographie source | Non |
| Modifié par IA | Une vraie photo avec un élément ajouté ou supprimé | Généralement |
| Média synthétique | Terme générique englobant tout ce qui précède | Dépend |
| Cheapfake | Média réel détourné par une légende, un recadrage ou une date ancienne | Oui |
La dernière ligne mérite que l'on s'y attarde, car c'est la forme la plus courante de désinformation visuelle et celle qu'aucun détecteur ne traite. Une photographie authentique et non modifiée prise dans un autre pays il y a trois ans, présentée comme l'actualité d'aujourd'hui, obtiendra le score de la vraie photographie qu'elle est.
Que faire concrètement, selon les cas
- Vous suspectez que toute l'image est inventée. Effectuez une vérification globale de l'image. Un score élevé avec une carte uniforme est on ne peut plus clair.
- Vous suspectez qu'une personne a été insérée ou permutée. Lisez d'abord la carte des régions. Le chiffre sous-estimera la situation.
- Vous suspectez qu'un document a été altéré. Idem que ci-dessus, et attendez-vous exactement à une zone chaude sur le champ modifié.
- Vous suspectez que la légende ment. Un détecteur ne peut pas aider. Faites une recherche d'image inversée, puis vérifiez la date et le lieu.
- Il s'agit d'une vidéo. C'est un outil entièrement différent. L'analyse d'images fixes image par image rate les artefacts temporels qui trahissent les permutations en temps réel.
Pourquoi cette distinction protège les personnes
Traiter chaque image synthétique avec le même degré de gravité entraîne deux échecs à la fois. Cela gaspille de l'attention sur des choses inoffensives, comme quelqu'un qui utilise un portrait généré faute de pouvoir s'offrir un photographe, et cela minimise le cas qui nuit réellement à une personne.
Le préjudice ne réside pas dans le fait que les pixels sont artificiels. Il réside dans le fait qu'une personne réelle et nommée est montrée en train de faire quelque chose qu'elle n'a pas fait. C'est cela qu'il faut signaler, et c'est le cas où un score moyen est le moins digne de confiance en tant que résumé.
Concevoir une politique interne autour de l'identité plutôt qu'autour de la technologie permet également de mieux traverser le temps. Les méthodes continueront de changer ; la question de savoir si une personne spécifique est présentée de manière erronée ne changera pas.
Comment une permutation de visage est réellement réalisée
Comprendre la production aide à expliquer la détection. Une permutation commence par une photographie cible et un ensemble d'images de la personne dont le visage sera utilisé. Un modèle apprend à restituer ce visage sous l'éclairage, l'angle et l'expression déjà présents dans la cible.
Le visage rendu est ensuite intégré dans l'image d'origine, et la jointure est la partie difficile. Les deux moitiés ont un bruit différent, un historique de compression différent et souvent une réponse des couleurs légèrement différente, de sorte que l'étape de fusion adoucit la limite jusqu'à ce que l'œil ne remarque plus le raccord.
C'est cet adoucissement que lit une carte des régions. La fusion supprime la texture haute fréquence produite par un capteur, et la zone obtenue est statistiquement différente de tout ce qui l'entoure, même lorsque le raccord est invisible. La jointure est invisible et mesurable à la fois.
Cela explique également pourquoi une permutation réussit si facilement une vérification globale de l'image. La zone manipulée est petite, délibérément fondue dans son environnement et entourée d'une photographie authentique qui domine toute moyenne prise sur l'ensemble de l'image.
L'erreur qui se répète sans cesse
Les gens passent un deepfake suspect dans un détecteur, voient un score dans les trente et en concluent que l'image est authentique. C'est la mauvaise déduction à partir du bon chiffre : le score est correct et la question à laquelle il répond n'a jamais été celle que l'on se posait.
L'habitude qui corrige cela est simple. Sur toute image où l'on s'interroge sur une personne spécifique, ouvrez la carte des régions avant de lire le chiffre principal, et traitez la zone la plus élevée plutôt que la moyenne comme le résultat sur lequel agir.