Kung paano talaga gumagana ang AI image detector

Ang isang vision transformer ay nagbibigay ng score sa buong frame, ang parehong modelo ay muling nagbibigay ng score dito bilang mga tile, sinusuri ng hiwalay na reader ang mga sariling kredensyal ng file, at ang tatlong resulta ay pinagsama sa isang na-calibrate na numero.

Ang tinitingnan ng modelo

Ang isang camera ay nagtatala ng liwanag sa pamamagitan ng lens patungo sa isang sensor. Ang prosesong iyon ay nag-iwan ng partikular na uri ng ingay, partikular na pattern ng pagkaubos ng talim patungo sa mga gilid, at partikular na kaugnayan sa pagitan ng mga magkakatabing pixel na nagmumula sa grid ng sensor at sa kasunod na demosaicing.

Ang isang diffusion model ay bumubuo ng larawan sa pamamagitan ng paulit-ulit na pag-aalis ng ingay mula sa isang random na field hanggang sa may lumitaw na may kaugnayan. Ang prosesong iyon ay nag-iiwan din ng lagda, at ito ay naiiba. Ang resulta ay maaaring maging perpekto sa paningin at nakikilala sa istatistika nang sabay.

Ito ang dahilan kung bakit nakakaligtas ang detection sa isang screenshot kapag ang metadata ay hindi. Ang lagda ay nasa mga halaga ng pixel mismo kaysa sa isang header, kaya ang pagkopya sa mga pixel ay kumokopya sa ebidensya.

Ang apat na yugto

1 Basahin ang file Na-decode sa browser, kailanman ay hindi nai-upload
2 I-score ang frame Vision transformer sa 384 pixels square
3 I-score ang mga tile Ang parehong modelo sa mga magkakapatong na rehiyon
4 Basahin ang mga kredensyal C2PA at mga generator marker, kung mayroon man

Dalawang independiyenteng landas ng ebidensya na nagtatagpo. Alinman sa kanila ay hindi inaasahang magdala ng sagot nang mag-isa.

Yugto uno: pag-decode

Ang file ay binabasa mula sa disk ng pahina at na-decode sa mga hilaw na pixel. Ang HEIC, AVIF, TIFF at ang iba pa ay hinahawakan ng sariling mga decoder ng browser. Walang naipapadala, na isang katangian kung saan nangyayari ang gawain kaysa sa isang patakaran na inilapat sa isang server.

Yugto dos: ang score ng buong frame

Ang larawan ay nire-resize sa 384 pixels square at ipinapasa sa isang vision transformer. Ang modelo ay nagbabalik ng hilaw na posibilidad na ang frame ay gawa ng AI. Ang numerong iyon ay kinakalibrate pagkatapos upang ito ay mai-map sa mga nai-publish na band nang tuloy-tuloy sa halip na umalis sa modelo.

Ang pag-resize ay nag-aalis ng detalye, na siyang unang lugar kung saan tumatagas ang katumpakan. Hindi rin ito maiiwasan: ang modelo ay may nakapirming laki ng input, at ang isang 4000-pixel na litrato ay kailangang bawasan upang magkasya dito.

Yugto tres: ang tiling pass

Ang frame ay nahahati sa mga magkakapatong na rehiyon at ang bawat isa ay binibigyan ng score nang mag-isa ng parehong modelo. Ito ang naghihiwalay sa isang ganap na nabuong larawan mula sa isang totoong litrato na may idinagdag na anuman, at ito ang yugto na hindi mapapalitan ng isang solong numero.

14 11 16 12 88 13 9 15 10

Ang pag-average sa mga ito ay nagbibigay ng 21. Pinapanatili ng view ng tile ang impormasyong sinisira ng pag-average.

Ang parehong modelo, tumakbo nang siyam na beses sa mga magkakapatong na pananim. Ang score ng buong frame para sa larawang ito ay 31.

Ang mga tile ay nangangailangan ng sapat na mga pixel upang maging makabuluhan, kaya naman ang mga larawang mas mababa sa humigit-kumulang 576 pixels sa mas maikling bahagi ay nakakakuha lamang ng score ng buong frame. Walang sapat na detalye sa isang maliit na crop upang ma-score ito nang hiwalay.

Yugto kuwatro: ang sariling tala ng file

Hiwalay sa mga pixel, ang file ay sinusuri para sa mga Content Credentials at para sa mga generator marker na iniwan ng ilang tool. Ang landas na ito ay cryptographic sa halip na istatistikal: ang isang wastong lagda ay sinusuri laban sa isang listahan ng tiwala, hindi tinatantya.

Kung paano pinagsama ang mga resulta

Ang dalawang landas ay hindi pinagsasama ang average, dahil nagdadala sila ng iba't ibang timbang. Ang isang wastong kredensyal na nagpapahayag ng pagkuha ng camera ay mas mataas kaysa sa katamtamang pixel score. Ang isang kredensyal na nagpapahayag ng pagbuo ng AI ay naglutas ng tanong nang mag-isa.

Kung paano tinitimbang ang ebidensya
Ebidensya	Uri	Timbang
Wastong kredensyal na nagpapahayag ng pagbuo ng AI	Cryptographic	Desisibo
Wastong kredensyal na nagpapahayag ng pagkuha ng camera	Cryptographic	Napakatibay
Generator marker sa file	Nagpapahayag	Matibay, ngunit maaaring tanggalin
Marka ng pixel sa buong frame	Istatistikal	Katamtaman
Region tile scores	Istatistikal	Katamtaman, at mas tiyak
Walang kasamang kredensyal	Wala	Walang impormasyon sa alinmang paraan

Ang huling hilera na iyon ang pinakamadalas na maling basahin ng mga tao. Ang isang nawawalang kredensyal ay hindi isang negatibong senyales. Ang napakaraming bahagi ng mga larawang nagawa kailanman ay walang dalang anuman, at halos bawat platform ay tinatanggal ang mga ito sa pag-upload.

Bakit ito tumatakbo sa browser

Ang modelo ay humigit-kumulang 40 MB at tumatakbo sa pamamagitan ng WebAssembly sa sariling aparato ng bisita. Ito ay isang sadyang desisyon sa arkitektura na may tatlong kahihinatnan na nagkakahalagang maunawaan.

Walang nai-upload, kaya walang server na nagmamay-ari ng mga larawan ng sinuman at walang relasyon sa pagproseso ng data na idodokumento.
Ang isang pagsusuri ay walang gastos na i-serve, kaya naman ang tool ay maaaring maging libre nang walang metro ng paggamit sa likod nito.
Ang unang pagsusuri ay mas mabagal, dahil ang modelo ay nag-download nang isang beses bago ito tumakbo. Ang mga sumusunod na pagsusuri ay muling gumagamit ng naka-cache na kopya.

Ang sadyang hindi ginagawa ng pipeline

Maraming pamtechniques na lumalabas sa mga lumang tool sa forensics ang wala na, dahil hindi na gumagana ang mga ito sa mga larawang dumaan sa mga modernong platform.

Pagsusuri sa antas ng error. Sikat, malawak na maling binabasa, at hindi maaasahan sa anumang larawang na-save nang higit sa isang beses.
Pagsusuri ng pagkopya at paglipat. Nakakahanap ng mga nadobleng rehiyon sa loob ng isang frame, na nakakakuha ng lumang uri ng pag-clone at hindi pagbuo.
Mga hatol na nakabatay sa metadata. Ang EXIF ay tinatanggal sa pag-upload halos kahit saan, kaya ang isang pagsusuri na nakasalalay dito ay nabibigo nang eksakto sa mga larawang kailangang i-verify ng mga tao.
Pagsusuri na partikular sa mukha. Kapaki-pakinabang para sa isang makitid na klase ng pagmamanipula, at bulag sa lahat ng iba pa.

Mga tanong ng mga tao

Tinitingnan ba ng detector kung ano ang nasa larawan?

Hindi. Wala itong konsepto ng mga bagay, mukha o eksena. Sinusukat nito ang mga ugnayan sa istatistika sa pagitan ng mga magkakatabing pixel, kaya naman pantay itong gumagana sa isang portrait, isang eksena sa kalye at isang resibo, at kung bakit hindi nito masasabi sa iyo kung totoo ang nilalaman ng isang larawan.

Bakit mas matagal ang unang pagsusuri?

Ang modelo ay nag-download nang isang beses, humigit-kumulang 40 MB, bago may tumakbo. Pagkatapos nito ay naka-cache na ito at ang mga susunod na pagsusuri ay magsisimula kaagad. Ito ang kabayaran ng pagtakbo sa iyong aparato sa halip na sa isang server, at binibili nito sa iyo ang katotohanan na walang nai-upload.

Paano ginagawang score ang hilaw na output ng modelo?

Calibration. Ang modelo ay nagbabalik ng hilaw na posibilidad, na naka-map sa isang nakapirming sucala kaya ang isang ibinigay na numero ay palaging nangangahulugan ng parehong bagay. Kung wala ang hakbang na iyon, ang mga score ay lilipat sa tuwing magbabago ang modelo at walang nai-publish na band ang mananatiling makabuluhan.

Bakit ang mga magkakapatong na tile sa halip na isang simpleng grid?

Ang isang pag-edit na sumasaklaw sa hangganan ng tile ay hahatiin sa pagitan ng dalawang rehiyon at malalabnawan sa pareho. Ang pag-overlap sa mga pananim ay nangangahulugan na ang anumang pag-edit ay ganap na nahuhulog sa loob ng hindi bababa sa isang rehiyon, na siyang nagpapanatili sa isang maliit na pagpasok na hindi ma-average.

Masasabi ba nito kung aling generator ang gumawa ng larawan?

Tanging kung saan sinasabi ng file. Ang isang generator marker o isang kredensyal ay maaaring magpangalan sa tool; ang pixel model ay hindi. Nagbabalik ito ng posibilidad na ang isang bagay na heneratibo ay kasangkot, na ibang tanong mula sa pagkakakilanlan at mas madaling sagutin nang may pag-asa.

Pareho bang modelo ang ginagamit para sa frame at sa mga tile?

Oo. Ang pagpapatakbo ng isang modelo sa iba't ibang mga pananim ang nagiging dahilan upang maging maihahambing ang dalawang resulta. Ang isang hiwalay na modelo ng rehiyon ay magkakaroon ng sarili nitong calibration at sarili nitong mga error, at ang dalawang numero ay hindi na uupo sa parehong sukat.