Mengapa pengesan dijalankan dalam penyemak imbas anda

Supaya imej anda tidak pernah meninggalkan peranti anda. Model dimuat turun sekali dan berjalan pada mesin anda, yang menghapuskan muat naik, kos pelayan dan hubungan pemprosesan data pada masa yang sama.

Apakah bentuk seni bina ini sebenarnya

Vision transformer, ditukar kepada ONNX dan dimampatkan kepada kira-kira 40 MB, dipecahkan kepada dua bahagian supaya setiap satu berada di bawah had saiz fail platform pengehosan. Ia dipasang semula dalam penyemak imbas dan checksum-nya disahkan sebelum apa-apa dijalankan.

Inferens berlaku melalui WebAssembly, yang membolehkan masa jalanan (runtime) yang dikompilasi dilaksanakan pada kelajuan hampir natif di dalam tab penyemak imbas. Masa jalanan itu sendiri ialah binari WASM termampat yang dimuatkan bersama pemberat (weights).

Tiada apa-apa tentang ini yang luar biasa lagi. Perkara yang dahulunya demonstrasi penyelidikan pada tahun 2021 kini merupakan cara biasa untuk menghantar model, dan penyemak imbas telah melakukan kebanyakan kerja tersebut.

Apa yang diperoleh

Hartanah	Dalam penyemak imbas	Pada pelayan
Imej meninggalkan peranti anda	No mustahil	Yes diperlukan
Kos bagi setiap semakan	Yes sifar	No komputasi sebenar
Perjanjian pemprosesan data diperlukan	No	Yes
Berfungsi tanpa rangkaian selepas dimuatkan	Yes	No
Model boleh dirahsiakan	No ia dimuat turun	Yes
Semakan pertama adalah serta-merta	No model dimuat turun sekali	Yes

Produk yang sama, dibina dengan dua cara. Perbezaannya adalah daripada segi seni bina dan bukannya pilihan dasar.

Baris pertama adalah sebab baris selebihnya wujud. Oleh kerana tiada titik akhir muat naik, tiada himpunan foto orang lain, tiada dasar pengekalan yang perlu ditulis, tiada pelanggaran data untuk didedahkan dan tiada apa-apa untuk diserahkan atas permintaan.

Baris kedua adalah sebab ia boleh menjadi percuma tanpa meter penggunaan. Semakan tidak memerlukan kos untuk dilaksanakan, jadi tiada kos setiap imej untuk ditampung, yang mengubah bentuk penetapan harga.

Kos yang terlibat

Tiga pertukaran sebenar, dinyatakan secara jelas, kerana halaman yang hanya menyenaraikan kelebihan ialah iklan.

Semakan pertama adalah perlahan. Empat puluh megabait perlu sampai sebelum apa-apa berlaku. Pada sambungan pantas, ia mengambil masa beberapa saat; pada sambungan yang lemah, ia lebih lama. Semakan seterusnya menggunakan semula model dalam cache dan bermula serta-merta.
Peranti lama menghadapi kesukaran. Inferens memerlukan memori dan pemprosesan yang mungkin tidak dapat ditampung dengan selesa oleh telefon berusia lima tahun. Pelayan tidak akan mengambil peduli peranti apa yang anda pegang.
Model ini adalah awam. Apa-apa sahaja yang dimuat turun ke penyemak imbas boleh disimpan. Model bahagian pelayan boleh menjadi hak milik persendirian; model ini tidak boleh, dan pemberatnya pula sememangnya titik semak penyelidikan terbuka.

Perkara ketiga wajar dinyatakan secara terus terang. Menghantar model kepada klien bermakna memberikannya secara percuma. Itu adalah pertukaran yang boleh diterima di sini kerana pemberatnya telah diterbitkan, dan kerja yang menjadikan alat ini berguna ialah penentukuran, penjubinan (tiling) dan tafsiran yang dibina di sekelilingnya.

Masalah kejuruteraan yang wajar diketahui

Memecahkan fail besar

Platform pengehosan statik mengehadkan saiz fail individu. Model 40 MB melebihi had tersebut, jadi ia dihantar sebagai dua bahagian deterministik yang dipasang semula dalam penyemak imbas dan disemak dengan cincangan manifes sebelum digunakan. Bahagian yang rosak atau diganti akan gagal secara ketara dan bukannya menghasilkan skor yang salah secara senyap.

Tidak memuatkan apa-apa sehingga diperlukan

Model, masa jalanan dan pembaca kelayakan tidak diambil semasa halaman dimuatkan. Ia tiba pada interaksi pertama, jadi seseorang yang membaca artikel tidak akan memuat turun apa-apa daripadanya. Ini memastikan halaman kekal pantas untuk sebahagian besar pelawat yang tidak pernah menjalankan semakan.

Menyahkod format yang sukar

HEIC daripada iPhone, AVIF, TIFF dan JPEG XL semuanya memerlukan penyahkodan sebelum penskoran. Penyemak imbas kini mengendalikan sebahagian besar format ini secara natif, yang menghapuskan perkara yang dahulunya merupakan bahagian kerja terbesar di bahagian klien dalam alat seperti ini.

Apabila seni bina ini merupakan pilihan yang salah

Ia bukan lebih baik secara universal. Pelayan lebih masuk akal apabila model tersebut adalah hak milik persendirian dan bernilai untuk dilindungi, apabila ia terlalu besar untuk dihantar, apabila anda memerlukan keputusan dalam saluran paip bahagian belakang dan bukannya di hadapan seseorang, atau apabila anda memerlukan masa tindak balas yang terjamin tanpa mengira peranti.

Bagi alat yang dibuka oleh seseorang untuk menyemak satu gambar yang mencurigakan, tiada satu pun daripada perkara itu terpakai, dan ciri privasi adalah lebih bernilai daripada semua yang dapat ditambah oleh pelayan.

Perkara yang diketepikan oleh pendekatan ini

Memilih bahagian klien mempunyai akibat di luar privasi, dan sebahagian daripadanya adalah kekangan yang wajar dinamakan dan bukannya ciri.

Tiada sejarah. Keputusan hanya wujud dalam tab yang menghasilkannya, jadi tiada apa-apa yang boleh dicari kemudian melainkan ia telah dieksport. Itu adalah kos langsung kerana tidak mempunyai akaun, dan ia merupakan satu-satunya perkara yang paling banyak diminta yang dijadikan rumit oleh seni bina ini.

Tiada keadaan kongsi (shared state). Dua orang tidak boleh melihat baris gilir yang sama, dan satu pasukan tidak boleh menyemak semakan antara satu sama lain. Pautan yang dikongsi membawa satu keputusan, yang meliputi perbualan dan bukannya aliran kerja.

Tiada API. Apa-apa sahaja yang berjalan dalam tab penyemak imbas tidak boleh dipanggil daripada saluran paip bahagian belakang, yang menolak terus penggunaan volum tertinggi. Itu adalah kekurangan yang nyata, dan hakikatnya, ia adalah harga bagi ciri yang lebih penting.

Soalan yang sering ditanya

Adakah imej saya benar-benar tidak dimuat naik?

Ya, dan anda tidak perlu mempercayainya secara membuta tuli. Buka tab rangkaian dalam alat pembangun dan jalankan semakan. Anda akan melihat model dan masa jalanan dimuat turun, dan tiada permintaan yang membawa fail anda. Ia adalah salah satu daripada beberapa dakwaan privasi yang pengguna boleh sahkan secara langsung dalam masa kira-kira tiga puluh saat.

Mengapa model ini begitu besar?

Ia adalah vision transformer dengan berjuta-juta parameter, dimampatkan setakat yang boleh tanpa kehilangan ketepatan. Model yang lebih kecil wujud dan menunjukkan prestasi yang jauh lebih teruk, terutamanya pada imej termampat dan dipangkas yang sebenarnya disemak oleh orang ramai. Empat puluh megabait adalah harga untuk ketepatan tersebut.

Adakah ia berfungsi di luar talian?

Selepas pemuatan pertama, sebahagian besarnya ya. Sebaik sahaja model dicache, penskoran berjalan tanpa sebarang rangkaian. Satu-satunya bahagian yang memerlukan sambungan ialah mengambil imej daripada URL yang ditampal, dan menyemak fail setempat berfungsi tanpa sambungan.

Adakah ia akan menghabiskan bateri telefon saya?

Satu semakan memerlukan beberapa saat pemprosesan, setanding dengan memuatkan halaman web yang berat. Menjalankan kelompok dua puluh lima imej adalah lebih ketara. Ia bukan sesuatu yang anda biarkan berjalan berterusan, dan ia bukan kos yang bermakna untuk penggunaan sekali-sekala.

Tidakkah anda boleh menggunakan WebGPU untuk menjadikannya lebih pantas?

Bagi peranti yang menyokongnya, ya, namun sokongannya masih belum sekata sehingga laluan WASM tetap perlu wujud. Menambah laluan pelaksanaan kedua menggandakan ruang di mana keputusan boleh berbeza antara pengguna, yang merupakan kos sebenar berbanding peningkatan kelajuan yang kebanyakan orang tidak akan perasan.

Adakah penyemak imbas menghantar apa-apa tentang imej saya langsung?

Tidak. Tiada telemetri mengenai nama fail, dimensi atau skor, kerana keputusan tersebut tidak pernah wujud di mana-mana kecuali dalam tab anda. Itu adalah akibat daripada seni bina dan bukannya tetapan, iaitu bahagian yang wajar difahami.