Akurasi detektor gambar AI: apa arti sebenarnya dari 91%

Akurasi berimbang 91.3% berarti kira-kira satu dari sebelas gambar berada di sisi garis keputusan yang salah, di bawah kondisi laboratorium pada file bersih. Gambar Anda bukan dalam kondisi laboratorium.

Apa yang diukur oleh akurasi berimbang

Akurasi biasa mudah dilambungkan. Beri detektor kumpulan pengujian yang 90 persen berupa gambar yang dihasilkan dan model yang menjawab ya untuk semuanya akan mencetak skor 90 persen padahal tidak berguna.

Akurasi berimbang memperbaiki hal tersebut dengan menimbang gambar nyata dan gambar yang dihasilkan secara setara, sehingga angkanya merupakan rata-rata dari dua tingkat: seberapa sering foto asli diloloskan dengan benar, dan seberapa sering gambar yang dihasilkan ditandai dengan benar. Alat yang mengutip akurasi biasa tanpa menyebutkan campuran pengujiannya tidak memberi tahu Anda banyak hal.

Akurasi berimbang berdasarkan kualitas JPEG

Gambar asli bersih

91.3 %

Kualitas JPEG 60

87.3 %

Kualitas JPEG 40

84.6 %

Sumbu dimulai pada 80% agar kemiringannya dapat dibaca. Sumbu 0-100 penuh akan menyembunyikan efek tersebut sepenuhnya.

Angka yang dipublikasikan untuk model yang digunakan di sini, diukur pada tolok ukur penelitiannya.

Dua cara detektor bisa salah

Satu angka menyembunyikan dua kegagalan yang sangat berbeda, dan keduanya membawa biaya yang sangat berbeda.

Positif palsu

Foto asli mendapat skor di atas garis
Disebabkan oleh peningkatan resolusi, perbaikan foto, mode malam, tangkapan layar
Biaya: tuduhan terhadap orang yang nyata
Kegagalan yang menimbulkan bahaya nyata

Negatif palsu

Gambar yang dihasilkan mendapat skor di bawah garis
Disebabkan oleh generator baru, pengeditan kecil, file yang dicuci
Biaya: gambar palsu lolos tanpa dipertanyakan
Kegagalan yang kurang disadari orang

Satu angka akurasi merata-ratakan keduanya. Keduanya tidak dapat dipertukarkan, dan kebanyakan orang jauh lebih peduli pada salah satunya.

Mengubah batas keputusan akan mengorbankan salah satunya. Menurunkannya mendeteksi lebih banyak kepalsuan dan menandai lebih banyak foto asli. Menaikkannya melindungi gambar asli dan meloloskan lebih banyak kepalsuan. Tidak ada pengaturan yang memperbaiki keduanya, itulah sebabnya batas tersebut dipublikasikan pada angka 65 daripada disesuaikan secara diam-diam.

Mengapa angka tolok ukur melebih-lebihkan performa sebenarnya

Kesenjangan antara set pengujian dan gambar yang dikirimkan seseorang kepada Anda
Gambar tolok ukur	Gambar Anda	Pengaruh pada skor
File asli, tidak pernah disimpan ulang	Dikompresi dua atau tiga kali	Akurasi turun beberapa poin
Resolusi penuh	Dipotong atau diperkecil untuk aplikasi obrolan	Lebih sedikit detail untuk dibaca, lebih banyak ketidakpastian
Generator yang diketahui pada saat pelatihan	Model yang dirilis bulan lalu	Kelemahan tetap dari setiap detektor
Foto bersih atau render bersih	Foto asli dengan satu editan AI	Skor bingkai penuh kurang menggambarkannya
Tidak ada pemrosesan adversarial	Sengaja disamarkan agar lolos	Dirancang untuk mengalahkan pengukuran

Ini semua bukan kasus yang tidak biasa. Ini menggambarkan bagaimana gambar sebenarnya berpindah. Sebuah gambar yang sampai kepada Anda melalui dua platform dan tangkapan layar telah kehilangan banyak sinyal yang diukur pada tolok ukur tersebut.

Cara membaca klaim akurasi

Tanyakan set pengujian apa. Angka tanpa tolok ukur yang disebutkan adalah pemasaran. Angka pada tolok ukur publik dapat diperiksa oleh orang lain.
Tanyakan seimbang atau biasa. Akurasi biasa pada set pengujian yang timpang adalah angka yang paling mudah digelembungkan.
Tanyakan di mana batas keputusan berada. Akurasi tidak ada artinya tanpa mengetahui ambang batas pengukurannya.
Tanyakan generator mana yang disertakan. Detektor apa pun mencetak skor baik pada model pelatihannya dan lebih buruk pada model yang dirilis setelahnya.
Tanyakan tingkat positif palsu secara terpisah. Itu adalah angka yang menentukan apakah alat ini aman digunakan pada orang sungguhan.

Apa yang tidak bisa diceritakan oleh akurasi kepada Anda

Tolok ukur mengukur seberapa sering model benar di seluruh populasi gambar. Itu tidak menjelaskan apakah itu benar pada gambar Anda. Tidak ada interval kepercayaan yang dilampirkan pada hasil tunggal, dan detektor tidak dapat mengetahui kesalahan mana yang sedang dibuatnya.

Inilah sebabnya mengapa peta wilayah dan bukti file lebih penting daripada angka tajuk utama. Kesesuaian antara sinyal independen lebih berharga daripada angka kuat dari salah satunya, dan ketidaksesuaian adalah temuan itu sendiri.

Cara menguji detektor sendiri

Anda tidak perlu mempercayai angka siapa pun. Tes yang berguna membutuhkan waktu satu sore dan memberi tahu Anda lebih banyak tentang suatu alat daripada tolok ukur yang dipublikasikan, karena ia menggunakan gambar yang mirip dengan milik Anda.

Buat set yang sudah Anda ketahui jawabannya
Dua puluh foto yang Anda ambil sendiri, dan dua puluh gambar yang Anda hasilkan. Biarkan aslinya tidak tersentuh. Dua puluh untuk masing-masing sudah cukup untuk mengungkap alat yang jelas-jelas lemah.
Masukkan bagian tengah yang janggal
Tambahkan tangkapan layar foto Anda sendiri, bidikan mode malam, potongan yang diperbesar, dan potret yang banyak diedit. Di sinilah detektor gagal, dan ini adalah bagian yang dilewatkan oleh setiap tolok ukur vendor.
Catat skor dan rentangnya, bukan putusannya
Tuliskan apa yang dikembalikan setiap alat. Membandingkan rentang lebih informatif daripada membandingkan angka, karena dua alat dapat menempatkan batas keputusan mereka di tempat yang berbeda.
Hitung dua jenis kesalahan secara terpisah
Berapa banyak foto asli Anda yang ditandai, dan berapa banyak gambar yang Anda hasilkan terlewat. Alat yang tidak pernah melewatkan kepalsuan dengan menandai sepertiga dari foto Anda sendiri tidak dapat digunakan pada orang.

Angka yang penting adalah yang pertama: seberapa sering ia menyebut karya Anda sendiri palsu. Itu adalah kegagalan dengan konsekuensi, dan itulah yang dirata-ratakan oleh angka akurasi tajuk utama.

Pertanyaan yang diajukan orang

Apakah akurasi 91% bagus untuk detektor gambar AI?

Ini adalah angka yang masuk akal untuk detektor berbasis piksel pada tolok ukur yang bersih, dan tidak cukup tinggi untuk diandalkan sendiri. Sembilan keputusan salah dari seratus adalah banyak ketika masing-masing bisa menjadi tuduhan. Anggap itu sebagai alat penyaringan yang memberi tahu Anda di mana harus mencari, bukan sebagai ujian yang menyelesaikan masalah.

Detektor gambar AI mana yang paling akurat?

Jawaban jujurnya adalah angka yang dipublikasikan tidak dapat dibandingkan. Alat yang berbeda menggunakan set pengujian yang berbeda, batas keputusan yang berbeda, dan definisi akurasi yang berbeda, sehingga angkanya mengukur hal yang berbeda. Bandingkan apa yang ditunjukkan suatu alat kepada Anda: rentang yang dipublikasikan, peta wilayah, dan tingkat positif palsu yang dinyatakan.

Apakah akurasi meningkat seiring dengan membaiknya model?

Deteksi dan generasi membaik bersamaan, sehingga kesenjangannya tetap kira-kira konstan. Setiap generator baru adalah data yang belum terlihat untuk setiap detektor yang ada, dan pelatihan ulang mengikuti perilisan daripada mendahuluinya. Perkirakan jeda permanen daripada masalah yang terpecahkan.

Mengapa alat yang sama memberikan skor yang berbeda untuk gambar yang sama?

Seharusnya tidak, dan jika ya, kedua file tersebut berbeda. Salinan yang telah disimpan ulang, diubah ukurannya, atau dipindahkan melalui platform adalah file berbeda dengan piksel berbeda. Bandingkan yang asli dengan yang asli, bukan yang asli dengan unduhan dari aslinya.