Pourquoi l'IA a encore du mal avec les mains, et quand ce n'est plus le cas

Pourquoi les mains étaient un véritable défi

Ce n'était pas un hasard. Une main possède plus d'articulations indépendantes que presque n'importe quelle autre partie du corps, et le nombre de configurations distinctes qu'elle peut adopter est énorme par rapport, disons, à un visage, qui varie dans des proportions bien plus restreintes.

De plus, les mains s'occultent constamment. Des doigts passent derrière d'autres, une prise cache l'essentiel de la paume, et le contour visible change du tout au tout avec une simple rotation. Un modèle qui apprend à partir de photographies observe une immense variété de formes partielles pour un seul objet.

Et les données d'entraînement n'étaient d'aucun secours. Les photographies sont composées autour des visages, et les mains apparaissent en bord de cadre, floutées par le mouvement, recadrées ou tenant un objet qui les dissimule. Les exemples étaient nombreux et de piètre qualité, exactement là où cela compte.

Mis bout à bout, cela a produit l'échec que l'on connaît : un modèle qui savait que des éléments en forme de doigts étaient attachés à une main, mais n'avait aucune idée fiable de leur nombre, de leur disposition ou de leur échelle.

Ce qui a réglé le problème

Rien d'exotique. Davantage de données, mieux annotées, combinées à des modifications architecturales qui ont amélioré la gestion globale de la structure spatiale par les modèles, ainsi qu'à une attention explicite de la part d'équipes fatiguées par les critiques.

La dernière ligne est le cœur de tout cet article. L'indice a été corrigé il y a des années et le conseil continue de circuler, ce qui signifie que les gens interprètent mal les images en l'appliquant.

Pourquoi le comptage échoue désormais dans les deux sens

Un faux négatif pour commencer : des mains correctes ne prouvent rien. Les modèles actuels les restituent correctement la plupart du temps, si bien qu'une image qui réussit le test des doigts réussit un test que presque tout réussit.

Un faux positif ensuite, et celui-ci fait davantage de dégâts. De vraies mains photographiées en mouvement produisent des formes floues, fusionnées et apparemment déformées. Une véritable photographie de quelqu'un qui fait des gestes lors d'une fête peut sembler, à une personne conditionnée pour compter, exactement semblable à ce dont on l'avait mise en garde.

Cette asymétrie a son importance car le coût est inégalement réparti. Rejeter à tort une image générée en la croyant réelle est généralement sans grande conséquence ; accuser à tort une véritable photographie, et la personne qui y figure, ne l'est pas.

C'est également un phénomène auto-entretenu. Quelqu'un à qui l'on a dit que les mains constituaient l'indice révélateur repère une main qui a l'air bizarre, conclut que l'image est fausse et répète le conseil qui a produit l'erreur, expliquant ainsi comment une heuristique obsolète survit des années à son utilité.

Ce que cet épisode enseigne sur tous les autres indices

Les mains constituent un exemple concret d'un modèle général, et ce modèle est plus utile que n'importe quelle astuce spécifique.

• Un défaut visible est un étalon public. Tout ce qui peut être nommé est mesuré, et tout ce qui est mesuré est optimisé.
• La popularité accélère la correction. Plus un indice est répété, plus il y a d'incitations à le supprimer.
• Les conseils survivent au défaut pendant des années. La correction ne se propage jamais aussi vite que l'astuce d'origine.
• Les correctifs varient selon les outils. Un indice supprimé sur un modèle phare peut persister sur un modèle plus ancien ou plus petit.
• Le résidu se déplace vers le bas. Ce qui subsiste ne relève pas de défauts visibles mais d'une texture statistique, située en deçà du seuil de résolution de l'œil.

Ce dernier point explique pourquoi les outils de détection existent. Si les différences étaient encore visibles, personne aurait besoin d'un modèle pour les trouver, et tout le domaine se résumerait à une liste de choses à observer.

Ce qui reste valable

Deux familles de vérifications ont résisté à ce schéma, et toutes deux concernent la cohérence à l'échelle de l'ensemble de l'image plutôt que le détail local.

L'éclairage est la première. Chaque surface d'une photographie est éclairée par les mêmes sources, si bien que la direction des ombres, leur netteté et la température de couleur concordent. Une scène générée réussit souvent son sujet et approche correctement le décor, mais le désaccord se manifeste dans les ombres.

La continuité physique est la seconde. Une lanière qui passe derrière une épaule et réapparaît au mauvais endroit, un reflet montrant une pièce qui ne saurait exiger d'être là, un motif qui ne s'aligne pas au travers d'une occlusion. Celles-ci exigent un modèle du monde plutôt qu'un modèle des apparences.

Aucune de ces vérifications n'est un test rapide, et c'est la conclusion honnête à en tirer. Les vérifications qui fonctionnent encore exigent d'observer l'image comme un lieu, et celles qui étaient rapides sont précisément celles qui ont été corrigées.

Ce que cela implique pour les formateurs

Une grande quantité de supports d'éducation aux médias commence toujours par le comptage des doigts, ce qui enseigne désormais un test produisant des erreurs assurées. Quiconque rédige une formation, un guide ou un cours scolaire à ce sujet fait face à un problème de version plutôt qu'à un problème de contenu.

La version durable de la leçon porte sur la méthode plutôt que sur les caractéristiques. Enseignez que les défauts visibles sont temporaires, que tout indice assez populaire pour être enseigné l'est assez pour être corrigé, et que les questions fiables concernent la source et le contexte.

Il est également utile d'enseigner explicitement ce mode d'échec. Quelqu'un qui sait que de vraies mains en mouvement ont l'air fausses est beaucoup moins susceptible de porter l'accusation qui cause de réels dommages, à savoir qualifier de truquée une authentique photographie d'une vraie personne.

Le titre honnête pour ce type de matériel est qu'aucun test visuel rapide ne résiste au contact des modèles actuels, et que les compétences utiles consistent à se demander d'où vient une image et à qui profite sa crédibilité.