Diffusion ve GAN: tespit ediciler neden onları farklı ele alıyor?

GAN'lar, yukarı örnekleme (upsampling) işleminden neredeyse bir imza gibi olan tekrarlayan bir yapay iz bırakır. Diffusion modelleri bunu yapmaz; bu yüzden 2022'de tespit zorlaştı ve mimariye özel püf noktaları işlevini yitirdi.

Bir GAN görseli nasıl oluşturur

Bir üretken çekişmeli ağ (GAN), küçük bir vektörden başlar ve çözünürlüğe ulaşana kadar her katmanda ikiye katlayarak tekrar tekrar yukarı örnekleme yapar. İkinci bir ağ sonucu değerlendirir ve ikisi birbirine karşı eğitilir.

Tekrarlanan yukarı örnekleme önemli kısımdır. Her ikiye katlama adımı düzenli bir örüntü getirir ve bu örüntüler, görsel frekans alanına dönüştürüldüğünde görülebilen periyodik bir yapıda birikir.

Bu yapı bir imzaya yakındı. İlk tespit ediciler, frekans spektrumunda bir dama tahtası örüntüsü arayabilir ve resim hakkında hiçbir şey anlamadan yüksek doğruluk oranına ulaşabilirdi. Bu, herhangi bir modelin değil, mimarinin bir parmak iziydi.

Bir diffusion modeli nasıl görsel oluşturur

Diffusion tam tersi şekilde çalışır. Tam hedef çözünürlüğünde saf bir gürültü alanı ile başlar ve modelin öğrendikleri rehberliğinde, bir görsel ortaya çıkana kadar her adımda gürültünün bir kısmını kaldırır.

Upsampling basamağı olmadığı için periyodik bir yapaylık bulunmaz. Çıktı, bir kamera çekiminden istatistiksel olarak farklıdır ve bu fark yapısal olmaktan ziyade yaygındır. Bunun hiçbir yanı, arayabileceğiniz temiz bir desen olarak ortaya çıkmaz.

GAN

Tekrarlanan küçük vektör ölçekleme
Her katlamadan gelen periyodik yapaylıklar
Frekans alanında tespit edilebilir
Mimari, imzaya yakın bir iz bırakır
Yaklaşık 2022'ye kadar baskındı

Diffusion

Gürültü tam boyutta adım adım kaldırılır
Upsampling basamağı yok, periyodik desen yok
Fark istatistikseldir, yapısal değildir
Tespit etmek için öğrenilmiş bir model gerekir
2022'den beri baskın

İki süreç ve her birinin ardında bıraktıkları. Sağdaki sütun, tespit mekanizmasının neden yeniden inşa edilmesi gerektiğini açıklar.

Eski tespit araçlarının neden çalışmayı bıraktığı

Frekans alanındaki dama tahtası etkisini bulmak için geliştirilmiş bir araç, bir diffusion görüntüsünde hiçbir şey bulamaz. Belirsizlik rapor etmez; yapaylığın olmadığını rapor eder, bu da temiz bir sonuç olarak okunur.

İşte bu yüzden, 2021 ile 2023 yılları arasında alan genelindeki tespit doğruluğu çökmüş gibi görünüyordu. Araçlar bozulmamıştı. Aradıkları şey artık üretilmiyordu.

Mimariye özel tespitin yerini ne aldı

Kapsam. Mevcut tespit araçları, tek bir yapaylık aramak yerine, toplanabildiği kadar çok farklı oluşturucudan elde edilen çıktılar üzerinde eğitilir; böylece model, tek bir ailenin ürettiklerini değil, sentetik dokunun ortak noktalarını öğrenir.

Burada kullanılan model, tam da bu nedenle binlerce oluşturucudan gelen milyonlarca görüntü üzerinde eğitildi. Mimari genelindeki kapsayıcılık, bir sonrakine geçişte genelleme yapabilmeyi sağlar ve baskın yöntemin değiştiği durumlarda hayatta kalan tek yaklaşım budur.

Bunun bedeli, bilinen herhangi bir oluşturucudaki doğruluğun, uzman bir tespit aracının elde edebileceğinden daha düşük olmasıdır. Bu doğru bir dengedir, çünkü yeni bir şey geldiğinde uzman bir araç işe yaramaz hale gelir.

Bunun neyi öngördüğü

GAN'dan diffusion'a geçişten alınacak ders, diffusion hakkında değildir. Herhangi bir tespit aracının, görüntülerin mevcut üretim biçimine bağlı olması halinde ömrünün sınırlı olduğu ve geçişin önceden duyurulmayacağıdır.

Her nesil tespitin nasıl yaşlandığı
Yaklaşım	Üzerinde çalıştı	Başarısız oldu
Frekans yapaylığı arama	GAN'lar	Diffusion geldiğinde
Yüze özel analiz	Erken dönem yüz takasları	Tüm sahne üretimi geldiğinde
Meta veri incelemesi	Doğrudan araçtan çıkan dosyalar	Platformlar meta veriyi temizlediğinde
Hata düzeyi analizi	Tek seferde kaydedilen JPEG'ler	Görüntüler dolaşıma girdiğinde
Geniş kapsamlı çoklu oluşturucu eğitimi	En güncel çıktıların çoğu	Bilinmiyor ve diğerlerinden daha sonra

Bunun kullanıcı için bir önemi var mı

Çoğunlukla fark edeceğiniz iki şeyi açıklar. Birincisi, bir tespit aracının genellikle bir görüntüyü hangi aracın ürettiğini neden söyleyemediğidir: model bazlı bir parmak izinden ziyade, paylaşılan istatistiksel bir özelliği okumaktadır.

İkincisi, eski ücretsiz kontrol araçlarının neden kötü performans gösterdiğidir. Hâlâ çevrimiçi olan birkaç araç, GAN yapaylıkları etrafında oluşturulmuştur ve yeniden eğitilmemiştir. Güncel çıktılar üzerinde güvenle temiz sonuçlar verirler ve arayüzde bunun nedenine dair hiçbir açıklama yoktur.

Hibrit bir iş akışının sonuca etkisi

Size ulaşan görüntülerin çoğu tek bir yöntemle üretilmemiştir. Bir diffusion modeli tabanı oluşturur, GAN tabanlı bir ölçekleyici onu büyütür, yüz iyileştirme aşaması gözleri düzeltir ve bir editör görüntüyü kırpıp yeniden kaydeder.

Her aşama dokuyu yeniden yazar, bu nedenle dosya, üst üste binmiş birkaç sürecin izlerini taşır. Görüntüye son dokunan şey genellikle tespit aracının okuduğunu belirler; bu yüzden ölçeklenmiş bir diffusion görüntüsü, istatistiksel olarak oluşturucudan çok ölçekleyiciye daha çok benziyor olabilir.

Mimari tanımlamanın laboratuvar dışında çalışmamasının pratik nedeni budur. Temiz, tek modelli çıktıların olduğu kontrollü bir testte bu çözülebilir bir sorundur. Gerçek bir üretim hattından geçmiş bir görüntüde ise soru, doğru şekilde sorulmuş değildir.

Ayrıca insanların kafa karıştırıcı bulduğu bir sonucu da açıklar: gerçekten oluşturulmuş bir görüntü, yoğun şekilde ölçeklenmiş bir fotoğraftan daha düşük puan alabilir. Her ikisinin de dokusu yazılım tarafından yeniden yazılmıştır ve tespit aracı, kökeni yerine bu yeniden yazılma işlemini okumaktadır.

İnsanların sorduğu sorular

GAN görüntülerini tespit etmek, diffusion görüntülerinden daha mı kolay?

Öyleydi ve artık bunlardan çok daha az var. GAN ölçekleme, basit bir frekans analizinin bulabileceği periyodik bir yapaylık bırakıyordu. Diffusion ise eşdeğer bir yapı bırakmaz, bu yüzden tespit işlemi, belirli bir deseni hedefleyen bir aramadan ziyade istatistiksel dokuyu okuyan eğitilmiş bir model gerektirir.

Bir tespit aracı, görüntünün bir GAN'dan mı yoksa diffusion modelinden mi geldiğini söyleyebilir mi?

Genel olarak piksellerden söyleyemez. Geniş kapsamlı bir tespit aracı, üretken bir öğenin dahil olma olasılığının ne olduğunu rapor eder, hangi ailenin ürettiğini değil. Mimari tanımlama ayrı bir araştırma problemidir ve tespitten çok daha az güvenilirdir.

GAN'lar hâlâ kullanılıyor mu?

Evet, belirli alanlarda. Diffusion'ın daha yavaş kalacağı yüz sentezi ve bazı ölçekleme işlemleri gibi dar kapsamlı görevler için hızlı ve verimli olmaya devam ediyorlar. Bazı araçlar farklı aşamalarda her ikisini de kullanır, bu da görüntünün her ikisinden de izler taşıyabileceği anlamına gelir.

Bir sonraki mimari tespiti tekrar bozacak mı?

Geniş kapsamlı eğitimin getirdiği iyileştirme sayesinde, tespiti bozmaktan ziyade doğruluğu azaltacaktır. Binlerce oluşturucuda sentetik dokunun ortak noktalarını öğrenmiş bir model, yeni bir şey karşısında kademeli olarak zayıflar; oysa tek bir yapaylığa odaklanan tespit aracı tamamen başarısız olur.

Bazı araçlar neden hâlâ çok yüksek doğruluk iddia ediyor?

Genellikle kendi eğittikleri oluşturuculardan oluşan bir test kümesi üzerinde ölçüm yaptıkları için. Bu rakam gerçektir ancak geçen ay çıkan modeldeki performansı tanımlamaz. Araçlar arasında sayıları karşılaştırmadan önce kıyaslamada hangi oluşturucuların olduğunu sorun.

Bu, bir puanı nasıl okumam gerektiğini etkiler mi?

Sadece bir yönden. Şüphe duymak için başka nedenleriniz olan bir görüntüdeki temiz bir sonucu, işaretlenmiş bir sonuçtan daha zayıf bir kanıt olarak görün; çünkü görülmemiş bir mimarinin başarısızlık modu, belirsiz bir sonuçtan ziyade güvenli bir düşük puandır.