Diffusion kontra GAN: dlaczego detektory radzą sobie z nimi inaczej

Modele GAN pozostawiają powtarzający się artefakty wynikający ze skalowania w górę, który stanowi niemal podpis cyfrowy. Modele typu diffusion tego nie robią, przez co wykrywanie stało się trudniejsze w 2022 roku, a sztuczki specyficzne dla danej architektury przestały działać.

Jak model GAN buduje obraz

Generatywna sieć przeciwstawna zaczyna od małego wektora i wielokrotnie zwiększa jego rozdzielczość, podwajając ją w każdej warstwie, aż osiągnie pełny rozmiar. Druga sieć ocenia wynik, a obie trenują przeciwko sobie.

Cykliczne skalowanie w górę to kluczowy element. Każdy krok podwojenia wprowadza regularny wzorzec, a te wzorce kumulują się w strukturę okresową, która jest widoczna, gdy obraz zostanie przekształcony do dziedziny częstotliwości.

Struktura ta była bliska odciskowi palca. Wczesne detektory mogły szukać wzoru szachownicy w widmie częstotliwości i osiągać wysoką dokładność bez rozumienia czegokolwiek na temat zdjęcia. Był to wręcz podpis samej architektury, a nie konkretnego modelu.

Jak model diffusion buduje obraz

Diffusion działa w odwrotny sposób. Zaczyna od pola czystego szumu w pełnej docelowej rozdzielczości i usuwa z niego odrobinę na każdym kroku, kierując się tym, czego nauczył się model, aż wyłoni się obraz.

Nie ma drabiny upsamplingu, więc nie występuje periodyczny artefakt. Wynik różni się statystycznie od zdjęcia z aparatu, a różnica ma charakter rozproszony, a nie strukturalny. Nic w nim nie pojawia się jako czysty wzorzec, którego można by szukać.

GAN

Mały wektor upsamplowany wielokrotnie
Periodyczne artefakty z każdego podwojenia
Wykrywalne w domenie częstotliwości
Architektura pozostawia niemal sygnaturę
Dominuje do około 2022 roku

Dyfuzja

Szum usuwany krok po kroku w pełnej rozdzielczości
Brak drabiny upsamplingu, brak periodycznego wzorca
Różnica ma charakter statystyczny, a nie strukturalny
Wymaga nauczonego modelu do wykrycia
Dominuje od 2022 roku

Dwa procesy i to, co każdy z nich pozostawia. Kolumna po prawej stronie wyjaśnia, dlaczego wykrywanie musiało zostać przebudowane.

Dlaczego starsze detektory przestały działać

Narzędzie stworzone do znajdowania szachownicy w domenie częstotliwości nie znajduje niczego w obrazie dyfuzyjnym. Nie zgłasza niepewności; zgłasza brak artefaktu, co jest interpretowane jako czysty wynik.

Dlatego wydawało się, że dokładność wykrywania w całej dziedzinie załamała się między 2021 a 2023 rokiem. Narzędzia nie uległy pogorszeniu. To, czego szukały, przestało być produkowane.

Co zastąpiło wykrywanie specyficzne dla architektury

Szerokość. Zamiast szukać jednego artefaktu, obecne detektory są trenowane na danych wyjściowych z jak największej liczby różnych generatorów, dzięki czemu model uczy się tego, co wspólne dla syntetycznej tekstury, zamiast tego, co produkuje jedna rodzina.

Zastosowany tutaj model został przeszkolony na milionach obrazów z tysięcy generatorów dokładnie z tego powodu. Zasięg obejmujący różne architektury zapewnia generalizację na kolejną i jest to jedyne podejście, które przetrwało zmianę dominującej metody.

Minusem jest to, że dokładność dla każdego pojedynczego znanego generatora jest niższa, niż osiągnąłby detektor specjalistyczny. Jest to właściwy wybór, ponieważ specjalista staje się bezużyteczny w dniu pojawienia się czegoś nowego.

Co to przewiduje

Lekcja płynąca z przejścia od GAN do dyfuzji nie dotyczy samej dyfuzji. Oznacza ona, że każdy detektor powiązany ze sposobem, w jaki obraz jest aktualnie tworzony, ma ograniczony czas życia, a przejście nie zostanie zapowiedziane z góry.

Jak starzała się każda generacja wykrywania
Podejście	Działało na	Zadziałało nie dotyczy / Zepsuło się, gdy
Wyszukiwanie artefaktów częstotliwości	GAN	Nadeszła dyfuzja
Analiza specyficzna dla twarzy	Wczesne zamiany twarzy	Nadeszło generowanie całej sceny
Inspekcja metadanych	Pliki prosto z narzędzia	Platformy usunęły metadane
Analiza poziomu błędów	Pojedynczo zapisane JPEG	Obrazy zaczęły krążyć
Szeroki trening wielogeneratorowy	Większość obecnych wyników	Nieznany i późniejszy niż pozostałe

Czy cokolwiek z tego ma znaczenie dla użytkownika

Głównie wyjaśnia to dwie rzeczy, które zauważysz. Po pierwsze, dlaczego detektor zazwyczaj nie potrafi wymienić narzędzia, które wyprodukowało obraz: odczytuje wspólną właściwość statystyczną, a nie odcisk palca konkretnego modelu.

Po drugie, dlaczego starsze darmowe narzędzia sprawdzające radzą sobie słabo. Kilka wciąż działających w sieci narzędzi zostało zbudowanych wokół artefaktów GAN i nie zostało ponownie przeszkolonych. Zwracają pewne, czyste wyniki dla obecnych danych wyjściowych, a interfejs nie wyjaśnia dlaczego.

Co hybrydowy pipeline robi z wynikiem

Większość obrazów, które do Ciebie docierają, nie została wyprodukowana jedną metodą. Model dyfuzyjny generuje bazę, upscaler oparty na GAN ją powiększa, przepust przywracania twarzy naprawia oczy, a edytor przycina i ponownie zapisuje wynik.

Każdy etap przepisuje teksturę, więc plik nosi ślady kilku procesów nałożonych na siebie. Ten, który dotyka obrazu jako ostatni, zazwyczaj dominuje w tym, co odczytuje detektor, dlatego przeskalowany obraz dyfuzyjny może wyglądać statystycznie bardziej jak upscaler niż jak generator.

To praktyczny powód, dla którego identyfikacja architektury nie działa poza laboratorium. W kontrolowanym teście z czystym wynikiem pojedynczego modelu jest to problem do rozwiązania. W przypadku obrazu, który przeszedł przez rzeczywisty potok produkcyjny, pytanie nie jest postawione właściwie.

Wyjaśnia to również wynik, który ludzie uznają za mylący: autentycznie wygenerowany obraz, który uzyskuje niższy wynik niż mocno powiększona fotografia. W obu przypadkach ich tekstura została przepisana przez oprogramowanie, a detektor odczytuje ponowne pisanie, a nie pochodzenie.

Często zadawane pytania

Czy obrazy GAN są łatwiejsze do wykrycia niż obrazy dyfuzyjne?

Były, a teraz jest ich znacznie mniej. Upsampling GAN pozostawiał periodyczny artefakt, który prosta analiza częstotliwości mogła wykryć. Dyfuzja nie pozostawia żadnej równoważnej struktury, więc wykrywanie wymaga wytrenowanego modelu odczytującego teksturę statystyczną zamiast celowego wyszukiwania jednego wzorca.

Czy detektor może mi powiedzieć, czy obraz pochodzi z GAN, czy z modelu dyfuzyjnego?

Zazwyczaj nie na podstawie pikseli. Szeroki detektor informuje, jak prawdopodobny jest udział elementów generatywnych, a nie która rodzina je wyprodukowała. Identyfikacja architektury to osobny problem badawczy i jest ona znacznie mniej niezawodna niż wykrywanie.

Czy GAN są nadal używane?

Tak, w określonych miejscach. Pozostają szybkie i wydajne w wąskich zadaniach, takich jak synteza twarzy i niektóre upsamplingu, gdzie dyfuzja byłaby wolniejsza. Niektóre narzędzia używają obu na różnych etapach, co oznacza, że obraz może nosić ślady każdego z nich.

Czy kolejna architektura ponownie zepsuje wykrywanie?

Obniży dokładność zamiast ją zepsuć, co jest poprawą, jaką przyniosło szerokie szkolenie. Model, który nauczył się, co ma wspólnego syntetyczna tekstura w tysiącach generatorów, degradowany jest stopniowo w obliczu czegoś nowego, podczas gdy detektor pojedynczego artefaktu zawodzi całkowicie.

Dlaczego niektóre narzędzia nadal deklarują bardzo wysoką dokładność?

Zazwyczaj dlatego, że dokonują pomiarów na zestawie testowym zbudowanym z generatorów, na których były trenowane. Ta liczba jest prawdziwa i nie opisuje wydajności na modelu wydanym w zeszłym miesiącu. Zapytaj, jakie generatory znajdowały się w benchmarku, zanim porównasz liczby między narzędziami.

Czy to wpływa na to, jak powinienem odczytywać wynik?

Tylko w jeden sposób. Traktuj czysty wynik na obrazie, co do którego masz inne powody do wątpliwości, jako słabszy dowód niż wynik oznaczony, ponieważ trybem awarii niewidzianej architektury jest pewny niski wynik, a nie niepewny.