Cara kerja deteksi gambar AI yang sebenarnya

Vision transformer memberi skor pada seluruh bingkai, model yang sama memberi skor lagi sebagai petak, pembaca terpisah memeriksa kredensial file itu sendiri, dan ketiga hasil tersebut digabungkan menjadi satu angka terkalibrasi.

Yang dilihat oleh model

Kamera merekam cahaya melalui lensa ke sensor. Proses tersebut meninggalkan jenis noise tertentu, pola ketajaman tertentu yang memudar ke arah tepi, dan hubungan tertentu antara piksel yang berdekatan yang berasal dari kisi sensor dan demosaicing yang mengikutinya.

Model diffusion membangun gambar dengan berulang kali menghilangkan noise dari ladang acak hingga sesuatu yang koheren muncul. Proses itu juga meninggalkan tanda tangan, dan tandanya berbeda. Hasilnya dapat tampak sempurna secara visual sekaligus dapat dibedakan secara statistik pada saat yang bersamaan.

Inilah sebabnya mengapa deteksi tetap berfungsi pada tangkapan layar saat metadata tidak ada. Tanda tangan tersebut berada di dalam nilai piksel itu sendiri alih-alih di dalam tajuk (header), sehingga menyalin piksel berarti menyalin buktinya.

Empat tahapan

1 Baca file Didekodekan di dalam browser, tidak pernah diunggah
2 Beri skor pada bingkai Vision transformer pada 384 piksel persegi
3 Beri skor pada petak Model yang sama pada area yang tumpang tindih
4 Baca kredensial Penanda C2PA dan generator, jika ada

Dua jalur bukti independen yang bertemu. Tidak ada satu pun yang diminta untuk membawa jawabannya sendirian.

Tahap satu: dekode

File dibaca dari disik oleh halaman dan didekodekan menjadi piksel mentah. HEIC, AVIF, TIFF, dan format lainnya ditangani oleh dekoder bawaan browser. Tidak ada yang ditransmisikan, yang merupakan sifat dari tempat pekerjaan itu dilakukan alih-alih kebijakan yang diterapkan pada server.

Tahap dua: skor seluruh bingkai

Gambar diubah ukurannya menjadi 384 piksel persegi dan dilewatkan melalui vision transformer. Model mengembalikan probabilitas mentah bahwa bingkai tersebut adalah sintetis. Angka tersebut kemudian dikalibrasi sehingga dipetakan ke pita yang dipublikasikan secara konsisten alih-alih bergeser bersama model.

Mengubah ukuran menghilangkan detail, yang merupakan tempat pertama kebocoran akurasi. Hal tersebut juga tidak dapat dihindari: model memiliki ukuran masukan tetap, dan foto berukuran 4000 piksel harus diperkecil agar pas.

Tahap tiga: proses petak

Bingkai dibagi menjadi area yang tumpang tindih dan masing-masing diberi skor sendiri oleh model yang sama. Inilah yang memisahkan gambar yang sepenuhnya dihasilkan oleh AI dari foto asli dengan sesuatu yang ditambahkan, dan ini adalah tahap yang tidak dapat digantikan oleh satu angka tunggal.

14 11 16 12 88 13 9 15 10

Merata-ratakan nilai ini menghasilkan 21. Tampilan petak mempertahankan informasi yang dihancurkan oleh perataan.

Model yang sama, dijalankan sembilan kali pada potongan yang tumpang tindih. Skor seluruh bingkai untuk gambar ini adalah 31.

Petak memerlukan piksel yang cukup agar bermakna, itulah sebabnya gambar di bawah sekitar 576 piksel pada sisi yang lebih pendek hanya mendapatkan skor seluruh bingkai. Tidak ada cukup detail dalam potongan kecil untuk memberinya skor secara mandiri.

Tahap empat: catatan file itu sendiri

Terlepas dari pikselnya, file diperiksa untuk Content Credentials dan penanda generator yang ditinggalkan oleh beberapa alat. Jalur ini bersifat kriptografis alih-alih statistik: tanda tangan yang valid diperiksa terhadap daftar kepercayaan, bukan diestimasi.

Cara hasil digabungkan

Kedua jalur tidak dirata-ratakan, karena memiliki bobot yang berbeda. Kredensial valid yang menyatakan pengambilan kamera lebih unggul daripada skor piksel moderat. Kredensial yang menyatakan pembuatan AI menyelesaikan masalah dengan sendirinya.

Cara pembobotan bukti
Bukti	Jenis	Bobot
Kredensial valid yang menyatakan pembuatan AI	Kriptografis	Definitif
Kredensial valid yang menyatakan pengambilan kamera	Kriptografis	Sangat kuat
Penanda generator di dalam file	Deklaratif	Kuat, tetapi dapat dihapus
Skor piksel seluruh bingkai	Statistik	Moderat
Skor petak wilayah	Statistik	Moderat, dan lebih spesifik
Tidak ada kredensial	Tidak ada	Tidak ada informasi di kedua sisi

Baris terakhir tersebut adalah bagian yang paling sering disalahartikan oleh orang-orang. Kredensial yang tidak ada bukanlah sinyal negatif. Sebagian besar gambar yang pernah dibuat tidak memiliki kredensial, dan hampir setiap platform menghapusnya saat diunggah.

Mengapa alat ini berjalan di browser

Model ini berukuran sekitar 40 MB dan berjalan melalui WebAssembly di perangkat pengunjung sendiri. Itu adalah pilihan arsitektur yang disengaja dengan tiga konsekuensi yang perlu dipahami.

Tidak ada yang diunggah, sehingga tidak ada server yang menyimpan gambar siapa pun dan tidak ada hubungan pemrosesan data untuk didokumentasikan.
Pemeriksaan tidak memerlukan biaya untuk disajikan, itulah sebabnya alat ini dapat gratis tanpa meteran penggunaan di baliknya.
Pemeriksaan pertama lebih lambat, karena model diunduh sekali sebelum dapat berjalan. Pemeriksaan berikutnya menggunakan kembali salinan yang ada di cache.

Hal yang sengaja tidak dilakukan oleh alur kerja ini

Beberapa teknik yang muncul di alat forensik lama ditiadakan, karena teknik tersebut tidak lagi berfungsi pada gambar yang telah melalui platform modern.

Analisis tingkat galat (error level analysis). Populer, sering disalahartikan, dan tidak dapat diandalkan pada gambar apa pun yang telah disimpan ulang lebih dari sekali.
Deteksi salin-pindah (copy-move detection). Menemukan area duplikat di dalam bingkai, yang mendeteksi kloning gaya lama dan bukan pembuatan AI.
Putusan berbasis metadata. EXIF dihapus saat diunggah di hampir semua tempat, sehingga pemeriksaan yang bergantung padanya akan gagal pada gambar yang justru perlu diverifikasi oleh orang-orang.
Analisis khusus wajah. Berguna untuk satu kelas manipulasi sempit, dan buta terhadap hal lainnya.

Pertanyaan yang diajukan orang

Apakah detektor melihat apa yang ada di dalam gambar?

Tidak. Alat ini tidak memiliki konsep tentang objek, wajah, atau pemandangan. Alat ini mengukur hubungan statistik antara piksel yang berdekatan, itulah sebabnya alat ini bekerja sama baiknya pada potret, pemandangan jalanan, dan tanda terima, serta mengapa alat ini tidak dapat memberi tahu Anda apakah konten gambar tersebut benar.

Mengapa pemeriksaan pertama memakan waktu lebih lama?

Model diunduh sekali, sekitar 40 MB, sebelum apa pun dapat berjalan. Setelah itu, model di-cache dan pemeriksaan berikutnya langsung dimulai. Ini adalah harga yang harus dibayar untuk menjalankan alat di perangkat Anda alih-alih di server, dan Anda mendapatkan keuntungan bahwa tidak ada gambar yang diunggah.

Bagaimana output model mentah diubah menjadi skor?

Kalibrasi. Model mengembalikan probabilitas mentah, yang dipetakan ke skala tetap sehingga angka tertentu selalu berarti hal yang sama. Tanpa langkah tersebut, skor akan bergeser setiap kali model berubah dan tidak ada pita terpublikasi yang akan tetap bermakna.

Mengapa menggunakan petak yang tumpang tindih alih-alih kisi sederhana?

Suntingan yang berada di perbatasan petak akan terbagi di antara dua wilayah dan diencerkan pada keduanya. Menumpangtindihkan potongan berarti suntingan apa pun berada sepenuhnya di dalam setidaknya satu wilayah, inilah yang mencegah sisipan kecil dirata-ratakan hingga hilang.

Apakah alat ini dapat mengetahui generator mana yang membuat gambar?

Hanya jika file tersebut menyatakannya. Penanda generator atau kredensial dapat menyebutkan alatnya; model piksel tidak dapat melakukannya. Model ini mengembalikan kemungkinan bahwa sesuatu yang bersifat generatif terlibat, yang merupakan pertanyaan berbeda dari identifikasi dan jauh lebih mudah dijawab secara andal.

Apakah model yang sama digunakan untuk bingkai dan petak?

Ya. Menjalankan satu model pada potongan yang berbeda adalah hal yang membuat kedua hasil tersebut dapat dibandingkan. Model wilayah terpisah akan memiliki kalibrasinya sendiri dan galatnya sendiri, dan kedua angka tersebut tidak lagi berada pada skala yang sama.