Ketepatan pengesan imej AI: maksud sebenar di sebalik 91%

Ketepatan seimbang 91.3% bermakna kira-kira satu daripada sebelas imej berada pada bahagian garis keputusan yang salah, di bawah keadaan makmal pada fail yang bersih. Imej anda bukanlah keadaan makmal.

Perkara yang diukur oleh ketepatan seimbang

Ketepatan biasa mudah dinaikkan secara مصطنع. Berikan pengesan set ujian yang mengandungi 90 peratus imej janaan dan model yang mengesahkan ya untuk semua perkara akan mendapat skor 90 peratus walaupun ia tidak berguna langsung.

Ketepatan seimbang membetulkan perkara itu dengan memberikan pemberatan yang sama kepada imej sebenar dan imej janaan, jadi angka tersebut adalah purata bagi dua kadar: kekerapan foto tulen disahkan dengan betul, dan kekerapan imej janaan ditandakan dengan betul. Alat yang memetik ketepatan biasa tanpa menyatakan komposisi ujiannya tidak memberikan banyak maklumat.

Ketepatan seimbang mengikut kualiti JPEG

Imej asal yang bersih

91.3 %

Kualiti JPEG 60

87.3 %

Kualiti JPEG 40

84.6 %

Paksi bermula pada 80% supaya cerun dapat dibaca. Paksi penuh 0-100 akan menyembunyikan kesan tersebut sepenuhnya.

Angka yang diterbitkan untuk model yang digunakan di sini, diukur berdasarkan penanda aras penyelidikannya.

Dua cara pengesan membuat kesilapan

Satu nombor menyembunyikan dua kegagalan yang sangat berbeza, dan ia membawa kos yang sangat berbeza.

Positif palsu

Foto tulen diskorkan melebihi garis pengesanan
Disebabkan oleh penskalaan atas, suntingan sentuhan, mod malam, tangkapan skrin
Kos: tuduhan terhadap individu sebenar
Kegagalan yang mendatangkan kemudaratan sebenar

Negatif palsu

Imej janaan diskorkan di bawah garis pengesanan
Disebabkan oleh penjana baharu, suntingan kecil, fail yang dibersihkan
Kos: imej palsu terlepas tanpa dicabar
Kegagalan yang kurang disedari oleh orang ramai

Satu angka ketepatan mempuratakan kedua-dua perkara ini. Ia tidak boleh saling ditukar ganti, dan kebanyakan orang lebih mengambil berat tentang salah satu daripadanya.

Mengubah garisan keputusan akan menjejaskan satu pihak demi pihak yang lain. Menurunkannya dapat mengesan lebih banyak imej palsu tetapi turut menandakan lebih banyak foto sebenar. Menaikkannya melindungi imej tulen tetapi membiarkan lebih banyak imej palsu terlepas. Tiada tetapan yang dapat menambah baik kedua-duanya, itulah sebabnya garisan ini diterbitkan pada 65 dan bukannya dilaraskan secara senyap.

Mengapa angka penanda aras melebih-lebihkan prestasi sebenar

Jurang antara set ujian dan imej yang dihantar kepada anda
Imej penanda aras	Imej anda	Kesan pada skor
Fail asal, tidak pernah disimpan semula	Dimampatkan dua atau tiga kali	Ketepatan menurun beberapa mata
Resolusi penuh	Dipangkas atau dikecilkan untuk aplikasi sembang	Kurang perincian untuk dibaca, ketidaktentuan meningkat
Penjana yang diketahui semasa latihan	Model yang dikeluarkan bulan lepas	Kelemahan ketara bagi setiap pengesan
Foto bersih atau render bersih	Foto sebenar dengan satu suntingan AI	Skor keseluruhan bingkai memandang rendah keadaannya
Tiada pemprosesan bertentangan	Dibersihkan secara sengaja untuk melepasi ujian	Direka untuk mengalahkan pengukuran

Semua ini bukanlah kes luar biasa. Ia menggambarkan cara imej disebarkan secara realiti. Gambar yang sampai kepada anda melalui dua platform dan tangkapan skrin telah pun kehilangan banyak isyarat yang digunakan untuk mengukur penanda aras.

Cara membaca dakwaan ketepatan

Tanya set ujian yang mana. Angka tanpa penanda aras yang dinamakan hanyalah pemasaran. Angka pada penanda aras awam boleh disemak oleh orang lain.
Tanya sama ada seimbang atau biasa. Ketepatan biasa pada set ujian yang berat sebelah adalah angka yang paling mudah digelembungkan.
Tanya di mana letaknya garisan keputusan. Ketepatan tidak bermakna tanpa mengetahui ambang pengukurannya.
Tanya penjana mana yang disertakan. Mana-mana pengesan mendapat skor yang baik pada model yang dilatih padanya dan lebih buruk pada model yang dikeluarkan selepas itu.
Minta kadar positif palsu secara berasingan. Itulah angka yang menentukan sama ada alat ini selamat digunakan pada orang sebenar.

Perkara yang tidak dapat diberitahu oleh ketepatan

Penanda aras mengukur kekerapan model membuat jangkaan yang betul merentasi sekumpulan imej. Ia tidak menyatakan sama ada ia betul pada imej anda. Tiada selang keyakinan yang disertakan pada satu-satu hasil, dan pengesan tidak dapat mengetahui ralat mana yang sedang dilakukannya.

Inilah sebabnya peta kawasan dan bukti fail lebih penting daripada angka tajuk utama. Persetujuan antara isyarat bebas adalah lebih bernilai daripada angka kukuh daripada salah satu daripadanya, dan percanggahan merupakan suatu penemuan tersendiri.

Cara menguji sendiri pengesan

Anda tidak perlu mempercayai angka sesiapa secara bulat-bulat. Ujian yang berguna hanya mengambil masa satu petang dan memberitahu anda lebih banyak perkara tentang sesuatu alat berbanding mana-mana penanda aras yang diterbitkan, kerana ia menggunakan imej yang serupa dengan imej anda.

Bina set yang anda sudah tahu jawapannya
Dua puluh foto yang anda tangkap sendiri, dan dua puluh imej yang anda jana. Kekalkan fail asal tanpa disentuh. Dua puluh bagi setiap jenis sudah cukup untuk mendedahkan alat yang jelas lemah.
Sertakan kes pertengahan yang sukar
Tambah tangkapan skrin foto anda sendiri, tangkapan mod malam, hasil pangkas yang ditingkatkan skalanya dan potret yang disunting secara berat. Di sinilah pengesan biasanya gagal, dan ini bahagian yang ditinggalkan oleh setiap penanda aras vendor.
Rekod skor dan jalur, bukan keputusan mutlak
Catatkan apa yang dikembalikan oleh setiap alat. Membandingkan jalur adalah lebih bermaklumat daripada membandingkan angka, kerana dua alat boleh meletakkan garisan keputusan mereka di tempat yang berbeza.
Kira kedua-dua jenis ralat secara berasingan
Berapa banyak foto sebenar anda yang ditandakan, dan berapa banyak imej janaan anda yang terlepas. Alat yang tidak pernah terlepas imej palsu dengan menandakan satu pertiga daripada foto sebenar anda tidak boleh digunakan terhadap orang.

Angka yang penting ialah yang pertama: kekerapan ia melabel karya anda sendiri sebagai palsu. Itulah kegagalan yang membawa padah, dan ia adalah angka yang dihilangkan oleh purata ketepatan tajuk utama.

Soalan yang sering ditanya

Adakah ketepatan 91% bagus untuk pengesan imej AI?

Ia adalah angka yang munasabah untuk pengesan berasaskan piksel pada penanda aras yang bersih, dan ia tidak cukup tinggi untuk dijadikan asas tindakan secara bersendirian. Sembilan penilaian salah dalam seratus adalah banyak apabila setiap satunya boleh menjadi satu tuduhan. Anggap ia sebagai alat saringan yang memberitahu anda tempat untuk diperiksa dan bukannya ujian yang menyelesaikan persoalan secara muktamad.

Pengesan imej AI manakah yang paling tepat?

Jawapan yang jujur ialah angka yang diterbitkan tidak boleh dibandingkan secara langsung. Alat yang berbeza menggunakan set ujian yang berbeza, garisan keputusan yang berbeza dan takrifan ketepatan yang berbeza, jadi angka tersebut mengukur perkara yang berbeza. Sebaliknya, bandingkan perkara yang ditunjukkan oleh alat kepada anda: jalur yang diterbitkan, peta kawasan dan kadar positif palsu yang dinyatakan.

Adakah ketepatan meningkat apabila model bertambah baik?

Pengesanan dan penjanaan bertambah baik bersama-sama, jadi jurangnya kekal hampir sama. Setiap penjana baharu merupakan data yang belum pernah dilihat oleh setiap pengesan sedia ada, dan latihan semula dibuat selepas pengeluaran dan bukannya mendahuluinya. Jangkakan kelengahan yang berterusan dan bukannya masalah yang selesai sepenuhnya.

Mengapa alat yang sama memberikan skor berbeza untuk gambar yang sama?

Ia tidak sepatutnya berlaku, dan jika berlaku, kedua-dua fail tersebut berbeza. Salinan yang telah disimpan semula, diubah saiz atau dihantar melalui platform ialah fail berbeza dengan piksel yang berbeza. Bandingkan fail asal dengan fail asal, bukan fail asal dengan fail muat turun daripada dirinya sendiri.