Dokładność detektora obrazu AI: co tak naprawdę oznacza 91%

Zbalansowana dokładność na poziomie 91,3% oznacza, że mniej więcej co jedenasty obraz ląduje po niewłaściwej stronie linii decyzyjnej, w warunkach laboratoryjnych na czystych plikach. Twoje zdjęcie nie spełnia warunków laboratoryjnych.

Co mierzy zbalansowana dokładność

Zwykłą dokładność łatwo sztucznie podbić. Jeśli podasz detektorowi zestaw testowy składający się w 90 procentach z wygenerowanych obrazów, model, który na wszystko odpowiada twierdząco, uzyska 90 procent dokładności, pozostając bezużytecznym.

Zbalansowana dokładność naprawia ten problem, traktując prawdziwe i wygenerowane obrazy z równą wagą, dzięki czemu podawana wartość jest średnią dwóch wskaźników: jak często autentyczne fotografie są poprawnie uznawane za czyste oraz jak często wygenerowane obrazy są poprawnie oznaczane. Narzędzie podające zwykłą dokładność bez podania składu swojego zestawu testowego nie mówi Ci zbyt wiele.

Zbalansowana dokładność według jakości JPEG

Czyste oryginały

91.3 %

Jakość JPEG 60

87.3 %

Jakość JPEG 40

84.6 %

Oś zaczyna się od 80%, aby nachylenie było czytelne. Pełna oś od 0 do 100 całkowicie ukryłaby ten efekt.

Opublikowane dane dla modelu użytego tutaj, zmierzone na jego benchmarku badawczym.

Dwa sposoby, w które detektor może się pomylić

Jedna liczba ukrywa dwa zupełnie różne błędy, które wiążą się z całkowicie odmiennymi kosztami.

Fałszywy alarm

Autentyczna fotografia uzyskała wynik powyżej linii
Spowodowane skalowaniem, retuszem, trybem nocnym, zrzutami ekranu
Koszt: oskarżenie skierowane wobec prawdziwej osoby
Błąd, który wyrządza rzeczywistą szkodę

Fałszywie ujemny

Wygenerowany obraz uzyskał wynik poniżej linii
Spowodowane przez nowe generatory, drobne edycje, pliki poddane praniu
Koszt: fałszywka przechodzi bez przeszkód
Błąd, który ludzie rzadziej zauważają

Pojedyncza wartość dokładności uśrednia te dwa zjawiska. Nie są one wymienne, a dla większości ludzi jedno z nich ma znacznie większe znaczenie.

Przesunięcie progu decyzyjnego to zawsze wymiana jednego za drugie. Obniżenie go wykrywa więcej fałszywek, ale oznacza też więcej prawdziwych zdjęć. Podniesienie go chroni autentyczne obrazy, lecz przepuszcza więcej fałszywek. Nie ma ustawienia, które poprawia oba parametry naraz – dlatego ustaliliśmy próg na poziomie 65 jawnie, zamiast dostrajać go po cichu.

Dlaczego wyniki testów zawyżają rzeczywistą skuteczność

Różnica między zestawem testowym a obrazem, który ktoś Ci przesyła
Obraz z testu porównawczego	Twój obraz	Wpływ na wynik
Plik oryginalny, nigdy niezapisywany ponownie	Skompresowany dwa lub trzy razy	Trafność spada o kilka punktów procentowych
Pełna rozdzielczość	Przycięty lub pomniejszony w komunikatorze	Mniej szczegółów do analizy, większa niepewność
Generatory znane na etapie trenowania	Model wydany w zeszłym miesiącu	Stała słabość każdego detektora
Czyste zdjęcie lub czysty render	Prawdziwe zdjęcie z jedną modyfikacją AI	Wynik dla całego kadru zaniża ocenę zmian
Brak manipulacji maskujących	Celowo przetworzony, aby przejść test	Zaprojektowany, aby oszukać pomiar

To nie są odosobnione przypadki. Właśnie tak w praktyce krążą obrazy w sieci. Zdjęcie, które trafia do Ciebie przez dwie platformy i w formie zrzutu ekranu, straciło już większość sygnałów, na których opierał się benchmark.

Jak interpretować deklarowaną skuteczność

Zapytaj o zestaw testowy. Liczba bez podania konkretnego benchmarku to tylko marketing. Wynik na publicznym zestawie danych może zweryfikować każdy.
Zapytaj, czy trafność jest zrównoważona. Zwykła trafność liczona na niesymetrycznym zestawie testowym to najprostszy sposób na sztuczne zawyżenie wyniku.
Zapytaj o próg decyzyjny. Trafność jest bez znaczenia bez znajomości progu odcięcia, dla którego została zmierzona.
Zapytaj, jakie generatory uwzględniono. Każdy detektor radzi sobie dobrze z modelami, na których był trenowany, i gorzej z tymi wydanymi później.
Poproś o odrębny odsetek fałszywie pozytywnych wyników. To ta liczba decyduje, czy narzędzie można bezpiecznie stosować w sprawach dotyczących ludzi.

Czego trafność Ci nie powie

Benchmark mierzy, jak często model ma rację w całej populacji obrazów. Nie mówi nic o tym, czy ma rację w przypadku Twojego pliku. Pojedynczy wynik nie ma przedziału ufności, a detektor nie wie, który ze swoich typowych błędów właśnie popełnia.

Dlatego mapa obszarów i dowody w samym pliku mają większe znaczenie niż ogólna liczba. Zgodność niezależnych sygnałów jest warta więcej niż wysoki wynik z jednego źródła, a rozbieżność między nimi sama w sobie stanowi istotną informację.

Jak samodzielnie przetestować detektor

Nie musisz wierzyć nikomu na słowo. Wartościowy test zajmuje jedno popołudnie i powie Ci o narzędziu więcej niż jakikolwiek opublikowany benchmark – ponieważ korzysta ze zdjęć zbliżonych do Twoich.

Przygotuj zestaw ze znanym wynikiem
Dwadzieścia zdjęć zrobionych samodzielnie i dwadzieścia obrazów wygenerowanych przez siebie. Zachowaj nienaruszone oryginały. Po dwadzieścia sztuk z każdego rodzaju wystarczy, by obnażyć ewidentnie słabe narzędzie.
Uwzględnij przypadki niejednoznaczne
Dodaj zrzuty ekranu własnych zdjęć, ujęcia w trybie nocnym, przeskalowane kadry i mocno wyretuszowany portret. Na tym detektory zawodzą najczęściej i to te przypadki są pomijane w materiałach dostawców.
Zapisuj wynik i przedział, a nie sam werdykt
Zanotuj, co zwróciło każde narzędzie. Porównywanie przedziałów mówi więcej niż porównywanie samych liczb, ponieważ różne narzędzia mogą mieć inaczej ustawione progi decyzyjne.
Licz oba typy błędów osobno
Ile Twoich prawdziwych zdjęć oznaczono jako fałszywe, a ile wygenerowanych obrazów pominięto. Narzędzie, które wykrywa każdą fałszywkę, ale oznacza przy tym jedną trzecią Twoich własnych zdjęć, nie nadaje się do weryfikacji ludzi.

Najważniejsza jest pierwsza liczba: jak często narzędzie uznaje Twoją własną pracę za fałszywkę. To błąd niosący realne konsekwencje – i ten, który ogólna trafność w materiałach promocyjnych zwykle zaciera.

Często zadawane pytania

Czy trafność 91% to dobry wynik dla detektora obrazów AI?

To przyzwoity wynik dla detektora analizującego piksele na czystym zestawie testowym, ale niewystarczający, by podejmować na jego podstawie wiążące decyzje. Dziewięć pomyłek na sto to dużo, gdy każda może być bezpodstawnym oskarżeniem. Traktuj go jako narzędzie wstępnej selekcji, które wskazuje, gdzie szukać, a nie jako ostateczny dowód.

Który detektor obrazów AI jest najdokładniejszy?

Uczciwa odpowiedź brzmi: publikowane dane nie są porównywalne. Narzędzia stosują różne zestawy testowe, inne progi decyzyjne i odmienne definicje trafności, więc te liczby mierzą różne rzeczy. Zamiast tego porównaj to, co narzędzie Ci pokazuje: jawne przedziały, mapę obszarów oraz deklarowany odsetek fałszywych trafień.

Czy trafność rośnie wraz z rozwojem modeli?

Detekcja i generowanie rozwijają się równolegle, więc dystans między nimi pozostaje zbliżony. Każdy nowy generator to nieznane dane dla istniejących detektorów, a dotrenowanie następuje po premierze modelu, a nie przed nią. Należy spodziewać się stałego opóźnienia, a nie ostatecznego rozwiązania problemu.

Dlaczego to samo narzędzie daje różne wyniki dla tego samego zdjęcia?

Nie powinno – a jeśli tak się dzieje, pliki się różnią. Kopia ponownie zapisana, przeskalowana lub przesłana przez platformę internetową to inny plik o innych pikselach. Zawsze porównuj oryginał z oryginałem, a nie oryginał z jego pobraną kopią.