Ce que fait réellement un upscaler
Un redimensionnement traditionnel effectue une interpolation. Il calcule des valeurs de pixels intermédiaires à partir de ceux de part et d'autre, produit une image plus grande et plus douce, et n'ajoute aucune information qui n'y était pas déjà.
Un upscaler moderne génère. C'est un modèle entraîné sur des paires de petites et de grandes images, et il produit des détails qui sont plausibles pour le sujet plutôt que d'en découler : pores sur un visage, fils dans un tissu, feuilles sur un arbre distant.
Cette distinction constitue tout l'article. Les pores n'ont pas été photographiés. Ils correspondent à la meilleure estimation du modèle de ce à quoi des pores devraient ressembler à cet endroit, ce qui est la même opération qu'un générateur effectue sur l'ensemble d'une image.
Par conséquent, une image qui est passée par un upscaler contient une texture véritablement synthétique, et un détecteur analysant la texture rapporte exactement cela. Le résultat est correct ; la conclusion que les gens en tirent ne l'est pas.
Pourquoi cela produit-il autant de faux positifs
L'upscaling est omniprésent et largement invisible pour la personne qui l'effectue. Les appareils photo des téléphones l'appliquent au zoom numérique, les suites de retouche le proposent sous forme d'amélioration, les appels vidéo l'utilisent pour compenser la bande passante, et les plateformes l'appliquent lorsqu'elles diffusent des images dans des tailles supérieures à l'original.
Le travail d'archives et de restauration constitue le cas extrême. Une vieille photographie numérisée à basse résolution et améliorée pour l'impression est largement réécrite par construction, et elle obtiendra un score similaire à ce qu'une intelligence artificielle a produit, car une grande partie de ce que vous regardez l'a été.
La région supérieure droite pose problème. Ces images représentent des choses réelles et contiennent des pixels inventés, et aucun score ne peut séparer ces deux propriétés car le modèle n'en mesure qu'une seule.
Comment les différencier
La carte de la région est le premier outil, et elle fonctionne parce que l'upscaling et la génération répartissent différemment leur texture inventée.
- L'upscaling est uniforme. Chaque partie de l'image a été agrandie par le même processus, de sorte que la grille est homogène et plane.
- La génération est également uniforme, ce qui explique pourquoi la carte à elle seule ne tranche pas.
- L'amélioration sélective ne l'est pas. La restauration de visage appliquée à une personne dans une photo de groupe produit des zones de chaleur localisées, ce qui est instructif.
- La composition tient toujours. Une photographie ayant subi un upscaling possède la géométrie, la perspective et l'éclairage d'une scène réelle, car c'en était une.
- Les détails peuvent être vérifiés. Agrandissez les régions inventées : le texte ayant subi un upscaling devient un non-sens plausible, et le texte réel reste lisible.
Ce dernier point est le point pratique. Zoomez sur la signalétique, les étiquettes ou les petits caractères. Un upscaler confronté à du texte illisible produit des marques confiantes en forme de lettres qui ne signifient rien, et cet échec est visible pour une personne même lorsqu'un score ne l'est pas.
| Signal | Photographie avec upscaling | Image générée |
|---|---|---|
| Score global du cadre | Élevé | Élevé |
| Carte des régions | Tiède et plat | Tiède et plat |
| Petits caractères lors de l'agrandissement | Non-sens plausible | Non-sens plausible |
| Géométrie de la scène | Cohérente, c'était réel | Généralement cohérente désormais |
| Une copie antérieure et plus petite existe | Souvent | Non |
| Fichier original disponible | Oui, demandez-le | Il n'y en a aucun |
Les deux dernières lignes sont celles qui résolvent réellement le problème, et aucune des deux ne correspond à une mesure de pixels. Une recherche d'image inversée trouvant une copie plus petite et plus ancienne, ou une source capable de fournir le fichier avant amélioration, règle la question directement.
Ce que cela signifie en pratique
Pour quiconque évalue une image, la règle opérationnelle est de se renseigner sur l'amélioration avant de traiter un score élevé comme une conclusion. C'est une question unique, cela ne coûte rien et cela explique une grande partie des résultats déroutants.
Pour quiconque publie, c'est un argument en faveur de la conservation des originaux. Un photographe, un gestionnaire de sinistres ou un journaliste capable de produire le fichier avant amélioration dispose d'une réponse complète à une question qui, autrement, n'en aurait pas.
Et pour les archives ainsi que le travail de restauration, il s'agit d'un problème de signalement plutôt que de détection. Une photographie historique améliorée est un artefact légitime et utile qui obtiendra toujours un mauvais score, la réaction honnête consiste donc à indiquer ce qui lui a été fait.
Où cela cause-t-il un réel préjudice
Trois situations transforment ce phénomène d'une curiosité en un problème, et toutes trois partagent une caractéristique : quelqu'un prend une décision concernant une personne sur la base d'une image qu'il n'a pas capturée.
Les demandes d'indemnisation d'assurance constituent l'exemple le plus évident. Un demandeur photographie des dommages avec un téléphone, l'image est petite et quelqu'un l'agrandit pour en voir les détails. La version agrandie obtient un score élevé, et une réclamation authentique se voit affubler d'une note concernant une manipulation possible que personne ne peut plus supprimer.
Le journalisme présente la même configuration. Une photographie provenant d'une source est soumise à un upscaling pour l'impression, la version améliorée circule, et une vérification ultérieure de la copie en circulation la signale. L'original était correct et n'est plus la version en possession de quiconque.
Les contextes juridiques et disciplinaires sont les plus graves, car la copie améliorée est souvent celle versée au dossier. Lorsqu'un recours doit être fait à une image, le fichier qui doit circuler est celui antérieur à toute amélioration, et l'amélioration doit être documentée séparément.
Une note pour quiconque élabore un flux de travail
Si des images transitent par votre organisation et sont évaluées, l'amélioration la moins coûteuse disponible consiste à consigner dans un champ si un fichier a été amélioré. Cela ne coûte qu'une case à cocher lors de la réception et élimine plus tard toute une catégorie de litiges impossibles à résoudre.
La deuxième option la plus économique consiste à appliquer une règle selon laquelle l'amélioration s'effectue sur une copie. Conservez le fichier tel qu'il a été reçu, améliorez un duplicata pour l'affichage, et assurez-vous que celui qui est joint au dossier est l'original plutôt que la version embellie.
Il y a ici un enseignement plus large sur ce qu'un mesure un score. Le modèle indique quelle quantité de texture sous ses yeux a été produite par un logiciel, ce qui constitue une propriété réelle mais ne correspond pas à la propriété recherchée par les gens, à savoir si l'image consigne un événement qui s'est produit.
La plupart des résultats déroutants dans ce domaine proviennent de cet écart. L'upscaling en est l'exemple le plus clair car les deux propriétés vont dans des directions opposées : texture fortement synthétique, sujet entièrement authentique.