Comment un GAN construit une image
Un réseau génératif adversarial (GAN) part d'un petit vecteur et le suréchantillonne de manière répétée, en doublant la résolution à chaque couche jusqu'à atteindre sa taille maximale. Un second réseau évalue le résultat, et les deux s'entraînent mutuellement.
Le suréchantillonnage répété est l'élément important. Chaque étape de doublement introduit un motif régulier, et ces motifs s'accumulent pour former une structure périodique visible lorsque l'image est transformée dans le domaine fréquentiel.
Cette structure frôlait la signature. Les premiers détecteurs pouvaient rechercher un motif en damier dans le spectre des fréquences et atteindre une grande précision sans rien comprendre à l'image. Il s'agissait d'une empreinte de l'architecture plutôt que d'un modèle particulier.
Comment un modèle de diffusion en construit une
La diffusion fonctionne dans l'autre sens. Elle part d'un champ de bruit pur à la pleine résolution cible et en supprime une petite partie à chaque étape, guidée par ce que le modèle a appris, jusqu'à ce qu'une image émerge.
Il n'y a pas d'échelle de suréchantillonnage, il n'y a donc pas d'artefact périodique. Le résultat est statistiquement différent d'une capture d'appareil photo, et la différence est diffuse plutôt que structurelle. Rien en lui n'apparaît comme un motif net que l'on peut rechercher.
GAN
- Petit vecteur suréchantillonnable de manière répétée
- Artefacts périodiques provenant de chaque doublement
- Détectable dans le domaine fréquentiel
- L'architecture laisse une quasi-signature
- Dominant jusqu'aux environs de 2022
Diffusion
- Bruit supprimé étape par étape en taille réelle
- Pas d'échelle de suréchantillonnage, pas de motif périodique
- La différence est statistique, non structurelle
- Nécessite un modèle entraîné pour être détecté
- Dominant depuis 2022
Pourquoi les anciens détecteurs ont cessé de fonctionner
Un outil conçu pour trouver des damiers dans le domaine fréquentiel ne détecte rien sur une image de diffusion. Il n'indique pas d'incertitude ; il signale que l'artefact est absent, ce qui donne un résultat propre.
C'est pourquoi la précision de la détection dans le domaine a semblé s'effondrer entre 2021 et 2023. Les outils ne s'étaient pas dégradés. Ce qu'ils cherchaient avait cessé d'être produit.
Ce qui a remplacé la détection spécifique à une architecture
Diversité. Plutôt que de chercher un seul artefact, les détecteurs actuels sont entraînés sur les sorties d'autant de générateurs différents que possible, afin que le modèle apprenne ce que la texture synthétique a en commun au lieu de ce qu'une seule famille produit.
Le modèle utilisé ici a été entraîné sur des millions d'images provenant de milliers de générateurs exactement pour cette raison. La couverture de différentes architectures est ce qui garantit la généralisation à la suivante, et c'est la seule approche qui a survécu à un changement de méthode dominante.
Le compromis est que la précision sur un seul générateur connu est inférieure à celle qu'un détecteur spécialisé obtiendrait. C'est le bon compromis, car un spécialiste est inutile le jour où quelque chose de nouveau arrive.
Ce que cela permet de prédire
La leçon de la transition du GAN vers la diffusion ne concerne pas la diffusion. Elle montre que tout détecteur lié à la manière dont les images sont actuellement fabriquées a une durée de vie limitée, et que la transition ne sera pas annoncée à l'avance.
| Approche | Fonctionnait sur | A échoué lorsque |
|---|---|---|
| Recherche d'artefacts fréquentiels | GANs | La diffusion est arrivée |
| Analyse spécifique des visages | Premiers échanges de visages | La génération de scènes entières est arrivée |
| Inspection des métadonnées | Fichiers issus directement d'un outil | Les plateformes ont supprimé les métadonnées |
| Analyse du niveau d'erreur | JPEG enregistrés une seule fois | Les images ont commencé à circuler |
| Large entraînement multi-générateur | La plupart des sorties actuelles | Inconnu, et plus récent que les autres |
Est-ce que tout cela importe pour un utilisateur
Surtout, cela explique deux choses que vous remarquerez. Premièrement, pourquoi un détecteur ne peut généralement pas nommer l'outil qui a produit une image : il lit une propriété statistique partagée plutôt qu'une empreinte propre à chaque modèle.
Deuxièmement, pourquoi les anciens vérificateurs gratuits fonctionnent mal. Plusieurs outils encore en ligne ont été construits autour des artefacts des GAN et n'ont pas été réentraînés. Ils renvoient des résultats propres avec assurance sur les sorties actuelles, sans qu'aucun élément de l'interface n'en explique la raison.
Ce qu'un pipeline hybride fait à un résultat
La plupart des images qui vous parviennent n'ont pas été produites par une seule méthode. Un modèle de diffusion génère une base, un suréchantillonneur basé sur les GAN l'agrandit, une passe de restauration faciale corrige les yeux, et un éditeur recadre et réenregistre le résultat.
Chaque étape réécrit la texture, de sorte que le fichier porte les traces de plusieurs processus superposés. Le dernier à toucher l'image domine généralement ce que lit un détecteur, ce qui explique pourquoi une image de diffusion suréchantillonnée peut sembler statistiquement plus proche du suréchantillonneur que du générateur.
C'est la raison pratique pour laquelle l'identification de l'architecture ne fonctionne pas en dehors d'un laboratoire. Lors d'un test contrôlé avec un résultat propre issu d'un seul modèle, c'est un problème soluble. Sur une image qui est passée par un véritable pipeline de production, la question est mal posée.
Cela explique également un résultat que les gens trouvent confus : une image véritablement générée qui obtient un score inférieur à une photographie fortement suréchantillonnée. Dans les deux cas, la texture a été réécrite par un logiciel, et le détecteur lit cette réécriture plutôt que l'origine.