Dlaczego dawne listy błędów przestały działać
Każda popularna lista błędów ma tę samą wadę: opisuje słabości modeli z momentu jej publikacji. Owe słabości są jawne, mierzalne i kłopotliwe dla twórców, co sprawia, że każda kolejna wersja jest projektowana właśnie pod kątem ich eliminacji.
Najlepszym przykładem są dłonie. Liczenie palców było przydatne przez około półtora roku, po czym stało się źródłem pomyłek w obie strony: dłonie generowane są dziś zazwyczaj poprawne, a prawdziwe dłonie w ruchu rozmywają się w sposób, który osobie liczącej palce wyda się podejrzany.
To samo dotyczy odbić w oczach, asymetrii uszu i układu zębów — mniej więcej w tej kolejności. Każdy element opisywany w wiralowych postach staje się przedmiotem benchmarków, a wszystko, co podlega testom, zostaje szybko naprawione.
-
2019
Rozmyte tła Wczesne generatory twarzy tworzyły ostry portret na jednolitym tle. Problem zniknął, gdy modele nauczyły się generować całe sceny.
-
2022
Niedopasowane uszy i kolczyki Asymetryczna biżuteria była wyraźnym sygnałem, dopóki zbiory treningowe nie uwzględniły tych detali.
-
2023
Dłonie i palce Najczęściej wymieniany defekt. W dużej mierze wyeliminowany w ciągu dwóch wydań modeli.
-
2024
Tekst w kadrze Napisy i etykiety stały się czytelne, usuwając łatwą wskazówkę.
-
2026
To, co zostało, to statystyka Pozostałe różnice tkwią w teksturze i szumie, poniżej rozdzielczości ludzkiego oka.
Odwróć wzrok od twarzy
Wysiłek generowania skupia się tam, gdzie skupia się uwaga. Model wytrenowany na portretach staje się bardzo dobry w obszarze, na który patrzą ludzie, a pozostaje słabszy we wszystkim, co sygnał treningowy potraktował jako tło.
To tam kryją się trwałe punkty kontrolne. Zwróć uwagę na to, co jest napisane na smyczy, czy wzór na koszuli biegnie prawidłowo za ramieniem, czy łańcuszek naszyjnika przechodzi za szyją i pojawia się we właściwym miejscu oraz czy pokój za plecami mógłby w ogóle istnieć.
Powtarzające się detale to kolejna niezawodna grupa. Tapety, mury z cegły, roślinność i twarze w tłumie są trudne do wygenerowania w spójny sposób, więc mają tendencję do powtórzeń, rozmywania się lub gubienia zbiegu perspektywy w sposób, który oko może wychwycić, nawet gdy portret na pierwszym planie jest bezbłędny.
- Tekst poza centrum kadru. Identyfikatory, szyldy, grzbiety książek, opakowania. Tekst w centrum jest już zazwyczaj poprawny; tekst na peryferiach nadal zdradza błędy.
- Ciągłość za przeszkodą. Pasek, łańcuszek lub linia, która chowa się za obiektem i wyłania ze zniekształceniem.
- Tłum i powtarzające się obiekty. Drugi i trzeci rząd tłumu lub czwarte krzesło w rzędzie otrzymują mniej uwagi niż pierwszy plan.
- Skóra w dużym powiększeniu. Prawdziwa skóra ma pory, pojedyncze włoski i asymetryczne niedoskonałości. Wygenerowana skóra jest często gładka w sposób, którego nie wyjaśnia żadne oświetlenie.
- Granica włosów z otoczeniem. Linia między włosami a tłem pozostaje jednym z najtrudniejszych obszarów do spójnego wyrenderowania.
Co widzi detektor, czego Ty nie możesz
Powodem, dla którego warto wykonać analizę zamiast polegać na własnym wzroku, jest fakt, że pozostałe różnice znajdują się poniżej rozdzielczości ludzkiego oka. Matryca aparatu tworzy specyficzny rodzaj szumu; proces generatywny tworzy inny, a żaden z nich nie jest widoczny przy standardowym powiększeniu.
Dlatego też detektor i twoje oczy mogą dojść do odmiennych wniosków. Obraz z oczywistym błędem wizualnym może uzyskać niski wynik, ponieważ jego tekstura jest fotograficzna, a obraz wyglądający idealnie może uzyskać wysoki wynik, ponieważ jego tekstura fotograficzna nie jest. Oba odczyty niosą wartość i żaden nie unieważnia drugiego.
| Weryfikacja wzrokowa | Analiza pikseli | |
|---|---|---|
| Działa na | Błędy kompozycji i logiki | Teksturę i strukturę szumu |
| Wytrzymuje kompresję | Tak | Degraduje się |
| Działa w przypadku zrzutu ekranu | Tak | Mocno się degraduje |
| Wychwytuje drobną edycję | Tylko jeśli ją zauważysz | Tak, za pomocą mapy obszarów |
| Traci skuteczność z czasem | Gwałtownie | Stopniowo |
Ostatni wiersz jest kluczowy. Wizualne wskazówki znikają z każdym nowym wydaniem modeli; detektor wytrenowany na wielu generatorach traci skuteczność wolniej, ponieważ nauczył się cech wspólnych dla syntetycznych tekstur, a nie tego, co jeden produkt robił źle w danym roku.
Przypadek najważniejszy: prawdziwa twarz, zmodyfikowana
Najbardziej brzemienne w skutkach manipulacje to nie całkowicie wygenerowane portrety. To zdjęcia prawdziwych ludzi z jednym zmienionym elementem: inną twarzą na tym samym ciele, obiektem dodanym do dłoni, zmienionym identyfikatorem, usuniętą drugą osobą z kadru.
Wynik dla całego kadru z założenia radzi sobie z tym słabo, ponieważ dziewięćdziesiąt procent obrazu to wciąż prawdziwe zdjęcie, a średnia to odzwierciedla. To mapa obszarów ujawnia ingerencję, a czytanie mapy zamiast ogólnej liczby to nawyk, który najbardziej poprawia trafność oceny twarzy.
Jedenaście kafelków wskazuje na zdjęcie. Jeden nie – i jest to właśnie ten pokrywający twarz.
Sprawdzona praktyka
Poświęć pięć sekund na sprawdzenie peryferii portretu: tekstu, ciągłości linii, powtarzalnych wzorów, krawędzi włosów. Następnie uruchom analizę i odczytaj mapę. Połączenie obu metod pozwala wykryć znacznie więcej niż każda z nich osobno, a całość zajmuje mniej niż minutę.
Gdy stawka jest wysoka, dodaj krok, którego nie zastąpi żadna analiza pikseli: znajdź tę samą twarz w źródle z historią. Profil z trzyletnią historią postów, oznaczonymi zdjęciami od innych osób i stałym pracodawcą to dowód, jakiego nie wygeneruje żaden model.
Ślady, które nie zniknęły
Dwa elementy opierają się czterem latom rozwoju technologii i oba dotyczą spójności w przestrzeni, a nie lokalnych detali. Pierwszym jest oświetlenie: czy każda powierzchnia w kadrze jest oświetlona przez te same źródła, z tych samych kierunków, z cieniami o tej samej miękkości.
Wygenerowany portret zwykle poprawnie oddaje twarz i w przybliżeniu poprawnie otoczenie, a rozbieżność widać w cieniach. Ostry cień pod brodą obok miękkiego cienia na ścianie w tle opisuje dwa różne pomieszczenia.
Drugim jest głębia. Powierzchnie odbijające światło, szkło, woda i lustra muszą zgadzać się z geometrią całej reszty, a często tak nie jest. Okno za postacią, w którym widać scenę niemożliwą w danym układzie, to rodzaj błędu, który przetrwa kolejne wersje modeli, ponieważ wymaga modelu świata, a nie modelu twarzy.
Żadnego z tych testów nie da się przeprowadzić mechanicznie i oba zajmują więcej czasu niż liczenie palców. Taki jest kompromis: metody, które nadal działają, wymagają myślenia o obrazie jak o fizycznej przestrzeni, a nie tylko skanowania go w poszukiwaniu pojedynczych wad.