Dapatkah ChatGPT mengetahui apakah sebuah gambar dihasilkan oleh AI?

Tidak. Model bahasa mendeskripsikan seperti apa sebuah gambar dan menalarkannya dalam kata-kata. Model tersebut tidak memiliki ambang batas yang dikalibrasi, tidak ada tolok ukur, dan tidak memiliki akses ke statistik piksel yang menjadi dasar pendeteksian.

Apa yang sebenarnya dilakukan oleh chatbot

Model bahasa multimodal mengubah gambar menjadi deskripsi semantik lalu menalarkan deskripsi tersebut dalam bentuk teks. Model ini menjawab pertanyaan apakah gambar ini terlihat seperti gambar AI yang saya baca selama pelatihan.

Itu adalah pertanyaan tentang konten dan komposisi. Deteksi adalah pertanyaan tentang tekstur: bagaimana nilai-nilai piksel yang berdekatan berhubungan satu sama lain, pada skala yang jauh di bawah apa pun yang dipertahankan oleh deskripsi semantik.

Informasi yang dibaca oleh detektor dibuang sebelum model bahasa mulai berpikir. Bukannya chatbot buruk dalam hal ini. Mereka bekerja dari representasi yang tidak berisi bukti.

Apa yang dihasilkan dalam praktiknya

Jawaban meyakinkan tanpa ambang batas. Chatbot akan mengatakan kemungkinan dihasilkan oleh AI tanpa skala apa pun di balik kata kemungkinan. Tidak ada angka, tidak ada rentang, dan tidak ada yang bisa dibandingkan dengan gambar lain.
Penalaran dari tanda usang. Model menyebut jari, gigi, kulit licin, dan teks yang melengkung, karena itulah yang dicari menurut teks pelatihan. Hal-hal tersebut telah diperbaiki bertahun-tahun yang lalu.
Persetujuan dengan sudut pandang Anda. Tanyakan apakah sebuah gambar palsu dan kemungkinan besar Anda akan mendengar ya dibandingkan jika Anda bertanya secara netral. Itu adalah properti dari antarmuka, bukan dari gambar.
Tidak dapat direproduksi. Tanyakan dua kali dan Anda bisa mendapatkan dua jawaban berbeda tentang berkas yang sama, dengan penjelasan yang sama-sama meyakinkan untuk masing-masingnya.
Tidak ada informasi wilayah. Chatbot tidak dapat memberi tahu Anda bahwa satu sudut dari sebuah foto berperilaku berbeda dari sudut lainnya, padahal temuan itulah yang biasanya penting.

Kemampuan	Chatbot	Detektor piksel
Membaca tekstur tingkat piksel	No	Yes
Skor yang dikalibrasi dengan rentang yang dipublikasikan	No	Yes
Jawaban yang sama setiap saat	No	Yes
Rincian tingkat wilayah	No	Yes
Diukur terhadap tolok ukur	No	Yes
Menjelaskan penalarannya dalam prosa	Yes secara lancar	Partly sebagai sinyal
Mendeskripsikan apa yang ada di dalam gambar	Yes	No

Apa yang sebenarnya dapat dihasilkan oleh masing-masing pendekatan. Kolom tengah adalah hal yang keliru disangka orang sebagai kolom kanan.

Dua baris terakhir adalah yang patut dipertahankan. Model bahasa benar-benar bagus dalam mendeskripsikan gambar dan menalar apakah sebuah pemandangan masuk akal. Itu berguna dan itu bukan deteksi.

Di mana chatbot benar-benar berguna

Mengabaikan alat ini sepenuhnya adalah pelajaran yang salah. Digunakan untuk apa yang bisa dilakukannya, alat ini melengkapi detektor alih-alih menggantikannya.

Minta alat ini untuk mendeskripsikan pemandangan secara terperinci
Deskripsi yang cermat sering kali memunculkan hal-hal yang tidak Anda sadari, termasuk objek yang tidak berkesinambungan atau papan tanda yang belum Anda baca.
Tanyakan apakah pemandangan tersebut konsisten secara fisik
Bayangan, pantulan, skala, dan perspektif adalah masalah penalaran, dan untuk itulah model ini ada. Hal ini menangkap komposit yang dapat terlewatkan oleh analisis piksel.
Tanyakan apa yang akan mengonfirmasi atau membantahnya
Mengubah kecurigaan menjadi daftar pemeriksaan adalah penggunaan model bahasa yang baik, dan daftar tersebut sering kali lebih baik daripada yang Anda tulis sendiri.
Kemudian jalankan detektor yang sebenarnya
Untuk masalah piksel, gunakan sesuatu yang dibuat khusus untuk itu, dan baca skornya berdasarkan skala yang dipublikasikan.

Mengapa kelancaran adalah bahaya

Detektor yang tidak yakin akan mengembalikan angka menengah, dan angka itu sendiri mengomunikasikan ketidakpastian. Model bahasa yang tidak yakin akan mengembalikan sebuah paragraf, dan paragraf tidak memiliki bilah kesalahan.

Penjelasan terstruktur yang sama akan muncul baik ketika model telah mengidentifikasi sesuatu yang nyata maupun menghasilkan laporan yang terdengar masuk akal tentang ketiadaan. Pembaca mengkalibrasi kepercayaan mereka pada kualitas tulisan, yang merupakan sinyal yang tidak membawa informasi di sini.

Inilah sebabnya bertanya pada chatbot adalah titik awal yang lebih buruk daripada melihat gambar itu sendiri. Ketidakpastian Anda sendiri setidaknya terlihat oleh Anda.

Masalah yang sama pada alat lain

Ini bukan hanya tentang satu produk. Sistem apa pun yang menalar gambar secara semantik memiliki celah yang sama, dan beberapa alat yang kini disajikan sebagai detektor melakukan hal tersebut di baliknya.

Uji coba yang berguna: tanyakan apa yang akan dilaporkan alat tersebut pada foto dari sebuah foto, atau pada gambar yang tidak memiliki subjek yang dapat dikenali sama sekali. Detektor piksel akan mengembalikan skor bagaimanapun juga, karena tekstur ada terlepas dari kontennya. Sistem semantik tidak memiliki apa pun untuk dinalar dan akan menolak atau mengarang sesuatu.

Uji coba kedua: jalankan berkas yang sama dua kali. Model piksel bersifat deterministik dan mengembalikan angka yang sama. Model bahasa mengambil sampel, dan dua percobaan dapat berbeda. Jika sebuah alat memberi Anda jawaban yang berbeda untuk bita yang sama, alat itu tidak mengukur apa pun.

Kedua uji coba ini tidak memerlukan pemahaman tentang cara kerja alat tersebut. Keduanya membutuhkan waktu satu menit, dan bersama-sama mereka memisahkan pengukuran dari deskripsi secara lebih andal daripada membaca halaman pemasaran.

Pertanyaan yang diajukan orang

Bisakah ChatGPT mendeteksi gambar yang dihasilkan oleh AI?

Tidak, tidak dalam arti yang dapat diukur. Ia menghasilkan penilaian yang terdengar meyakinkan berdasarkan apa yang digambarkan oleh gambar alih-alih bagaimana piksel tersebut dibuat. Tidak ada ambang batas terkalibrasi di balik jawaban tersebut, tidak ada tolok ukur, dan bertanya dua kali dapat menghasilkan dua putusan yang berbeda.

Tapi itu benar tentang gambar yang saya uji.

Ia akan sering benar, terutama pada kasus-kasus yang jelas di mana Anda juga akan benar. Masalahnya adalah suaranya terdengar sama ketika salah, sehingga jawaban yang benar tidak memberi Anda cara untuk mengetahui jenis mana yang Anda terima pada gambar berikutnya.

Bagaimana jika saya memintanya untuk menganalisis piksel?

Ia tidak bisa. Gambar diubah menjadi representasi semantik sebelum model menalarnya, dan deteksi tekstur halus yang diandalkannya dibuang dalam konversi tersebut. Meminta analisis piksel akan menghasilkan deskripsi tentang seperti apa analisis piksel itu nantinya.

Apakah ada model multimodal yang dibuat untuk deteksi?

Ada penelitian di bidang tersebut dan itu bukanlah apa yang dilakukan asisten umum. Detektor yang dibuat khusus dilatih dengan pasangan gambar asli dan gambar yang dihasilkan dengan keluaran yang dikalibrasi; model umum dilatih untuk membantu dalam segala hal. Keduanya bukanlah pengganti yang setara.

Haruskah saya menggunakan chatbot sama sekali saat memeriksa gambar?

Ya, untuk deskripsi dan penalaran. Tanyakan apa yang ada di dalam bingkai, apakah pencahayaannya konsisten, dan apa yang akan mengonfirmasi atau membantah kecurigaan Anda. Kemudian gunakan detektor untuk masalah piksel, dan pisahkan kedua jawaban tersebut di benak Anda.

Mengapa banyak orang bertanya pada chatbot terlebih dahulu?

Karena itu terbuka di tab lain dan selalu menjawab. Kenyamanan mengalahkan akurasi ketika harga dari kesalahan tidak terlihat, dan dengan verifikasi gambar, harga tersebut biasanya tidak terlihat sampai seseorang telah bertindak berdasarkan jawaban tersebut.