Dedektör neden tarayıcınızda çalışır

Böylece görselleriniz cihazınızdan asla ayrılmaz. Model bir kez indirilir ve makinenizde çalışır; bu da yüklemeyi, sunucu maliyetini ve veri işleme ilişkisini aynı anda ortadan kaldırır.

Mimari gerçekte nedir

ONNX'e dönüştürülmüş ve yaklaşık 40 MB'a sıkıştırılmış, barındırma platformunun dosya boyutu sınırının altında kalması için iki parçaya bölünmüş bir vision transformer. Tarayıcıda yeniden birleştirilir ve herhangi bir şey çalışmadan önce sağlama toplamı doğrulanır.

Çıkarım, derlenmiş bir çalışma zamanının tarayıcı sekmesinde yerel hıza yakın bir şekilde çalışmasını sağlayan WebAssembly aracılığıyla gerçekleşir. Çalışma zamanının kendisi, ağırlıklarla birlikte yüklenen sıkıştırılmış bir WASM ikili dosyasıdır.

Bunun artık egzotik bir yanı yok. 2021'de bir araştırma demosu olan şey, artık bir model göndermenin normal bir yoludur ve tarayıcılar işin çoğunu yapmıştır.

Sağladıkları

Mülk	Tarayıcıda	Sunucuda
Görsel cihazınızdan ayrılır	No imkansız	Yes gerekli
Kontrol başına maliyet	Yes sıfır	No gerçek işlem gücü
Veri işleme sözleşmesi gerekli	No	Yes
Yüklendikten sonra ağ olmadan çalışır	Yes	No
Model gizli tutulabilir	No indirilir	Yes
İlk kontrol anlıktır	No model bir kez indirilir	Yes

Aynı ürün, iki farklı şekilde inşa edildi. Farklılıklar politika seçimlerinden ziyade mimaridir.

İlk satır, diğerlerinin var olma nedenidir. Yükleme uç noktası olmadığı için, başkalarının fotoğraflarının bulunduğu bir havuz, yazılacak bir saklama politikası, açıklanacak bir ihlal ve talep üzerine teslim edilecek hiçbir şey yoktur.

İkinci satır, kullanım ölçer olmadan neden ücretsiz olabileceğinin nedenidir. Bir kontrolün sunulmasının hiçbir maliyeti yoktur, bu nedenle geri kazanılacak görüntü başına bir maliyet yoktur, bu da fiyatlandırmanın nasıl görünmesi gerektiğini değiştirir.

Maliyeti nedir

Açıkça belirtilen üç gerçek takas, çünkü yalnızca avantajları listeleyen bir sayfa reklamdır.

İlk kontrol yavaştır. Her şey gerçekleşmeden önce kırk megabaytın ulaşması gerekir. Hızlı bir bağlantıda bu birkaç saniyedir; zayıf bir bağlantıda ise daha uzundur. Sonraki kontroller önbelleğe alınmış modeli yeniden kullanır ve hemen başlar.
Eski cihazlar zorlanır. Çıkarım, beş yaşındaki bir telefonun rahatça sahip olamayabileceği bellek ve işlem gücüne ihtiyaç duyar. Bir sunucu, tuttuğunuz cihazın ne olduğuyla ilgilenmez.
Model herkese açıktır. Bir tarayıcıya indirilen her şey saklanabilir. Sunucu taraflı bir model özel olabilir; bu ise olamaz ve ağırlıklar zaten açık bir araştırma kontrol noktasıdır.

Üçüncü nokta doğrudan olmaya değer. Bir modeli istemciye göndermek, onu vermek anlamına gelir. Ağırlıklar zaten yayınlandığı ve aracı yararlı kılan şey kalibrasyon, döşeme ve etraflarında inşa edilen yorumlama olduğu için burada kabul edilebilir bir takastır.

Bilmeye değer mühendislik sorunları

Büyük bir dosyayı bölmek

Statik barındırma platformları bireysel dosya boyutlarını sınırlar. 40 MB'lık bir model sınırı aştı, bu yüzden tarayıcıda yeniden birleştirilen ve kullanımdan önce bir manifest karmasına karşı kontrol edilen iki belirleyici parça olarak gönderilir. Bozuk veya değiştirilmiş bir parça, yanlış puanları sessizce üretmek yerine gürültülü bir şekilde başarısız olur.

Gerekene kadar hiçbir şey yüklememek

Model, çalışma zamanı ve kimlik bilgisi okuyucu, sayfa yüklendiğinde getirilmez. İlk etkileşimde ulaşırlar, bu yüzden bir makaleyi okuyan biri bunların hiçbirini indirmez. Bu, kontrol çalıştırmayan ziyaretçilerin büyük çoğunluğu için sayfaları hızlı tutar.

Garip biçimlerin kodunu çözmek

iPhone'lardan HEIC, AVIF, TIFF ve JPEG XL'in tümü puanlamadan önce kod çözmeye ihtiyaç duyar. Tarayıcılar artık bunların çoğunu yerel olarak işlemektedir, bu da böyle bir araçta istemci taraflı işin en büyük parçası olan şeyi ortadan kaldırır.

Bu mimarinin yanlış seçim olduğu durumlar

Evrensel olarak daha iyi değildir. Model özel olduğunda ve korunmaya değer olduğunda, gönderilemeyecek kadar büyük olduğunda, bir kişinin önünde değil bir arka uç hattında sonuçlara ihtiyacınız olduğunda veya cihazdan bağımsız olarak garantili bir yanıt süresine ihtiyacınız olduğunda sunucu daha mantıklıdır.

Şüpheli bir resmi kontrol etmek için açılan bir araç için bunların hiçbiri geçerli değildir ve gizlilik özelliği, bir sunucunun ekleyeceği her şeyden daha değerlidir.

Bunun eledikleri

İstemciyi seçmenin gizliliğin ötesinde sonuçları vardır ve bunların bazıları özelliklerden ziyade isimlendirmeye değer sınırlamalardır.

Geçmiş yok. Bir sonuç yalnızca onu üreten sekmede var olur, bu yüzden dışa aktarılmadığı sürece daha sonra bakılamaz. Bu, bir hesaba sahip olmamanın doğrudan maliyetidir ve mimarinin garip hale getirdiği, en çok talep edilen tek şeydir.

Paylaşılan durum yok. İki kişi aynı sırayı göremez ve bir ekip birbirinin kontrollerini inceleyemez. Paylaşılan bir bağlantı tek bir sonucu taşır, bu da bir iş akışını değil bir konuşmayı kapsar.

API yok. Tarayıcı sekmesinde çalışan hiçbir şey, en yüksek hacimli kullanımları tamamen devre dışı bırakan bir arka uç hattından çağrılamaz. Bunlar gerçek boşluklardır ve dürüst pozisyon, bunların daha önemli olan özelliğin bedeli olduğudur.

İnsanların sorduğu sorular

Görselim gerçekten yüklenmiyor mu?

Evet ve bunu güvene dayalı kabul etmek zorunda değilsiniz. Geliştirici araçlarında ağ sekmesini açın ve bir kontrol çalıştırın. Modelin ve çalışma zamanının indirilmesini göreceksiniz ve dosyanızı taşıyan hiçbir istek olmayacaktır. Bu, bir kullanıcının yaklaşık otuz saniyede doğrudan doğrulayabileceği birkaç gizlilik iddiasından biridir.

Model neden bu kadar büyük?

Milyonlarca parametreye sahip, doğruluk kaybetmeden gidebildiği kadar sıkıştırılmış bir vision transformer'dır. Daha küçük modeller mevcuttur ve insanların gerçekten kontrol ettiği sıkıştırılmış, kırpılmış görseller üzerinde belirgin şekilde daha kötü performans gösterir. Kırk megabayt, doğruluğun bedelidir.

Çevrimdışı çalışıyor mu?

İlk yüklemeden sonra, büyük ölçüde evet. Model önbelleğe alındıktan sonra puanlama hiç ağ olmadan çalışır. Bağlantı gerektiren tek kısım, yapıştırılmış bir URL'den görsel getirmektir; yerel bir dosyayı kontrol etmek ise bağlantı olmadan çalışır.

Telefonumun pilini bitirir mi?

Tek bir kontrol, ağır bir web sayfasını yüklemeye kıyasla birkaç saniyelik bir işlemdir. Yirmi beşlik bir toplu işlem çalıştırmak daha belirgindir. Çalışır halde bırakacağınız bir şey değildir ve ara sıra kullanım için anlamlı bir maliyet değildir.

Daha hızlı hale getirmek için WebGPU kullanamaz mıydınız?

Destekleyen cihazlar için evet, ancak destek hala WASM yolunun her halükarda var olması gerekecek kadar düzensiz. İkinci bir yürütme yolu eklemek, sonuçların kullanıcılar arasında farklılık gösterebileceği yüzeyi iki katına çıkarır ki bu, çoğu insanın fark etmeyeceği bir hız kazanımına karşı gerçek bir maliyettir.

Tarayıcı görselim hakkında herhangi bir şey gönderiyor mu?

Hayır. Dosya adları, boyutlar veya puanlar üzerinde telemetri yoktur, çünkü sonuç sekmeniz dışında hiçbir yerde var olmaz. Bu, bir ayardan ziyade mimarinin bir sonucudur, anlaşılması gereken kısım da budur.