Paano bumubuo ng imahe ang isang GAN
Ang isang generative adversarial network ay nagsisimula sa isang maliit na vector at paulit-ulit itong ginagawa ang upsampling, dinodoble ang resolusyon sa bawat layer hanggang sa maabot nito ang buong laki. Ang pangalawang network ang humuhusga sa resulta, at ang dalawa ay nagsasanay laban sa isa't isa.
Ang paulit-ulit na upsampling ang mahalagang bahagi. Ang bawat hakbang ng pagdodoble ay nagpapakilala ng regular na pattern, at ang mga pattern na iyon ay naiipon sa paulit-ulit na istruktura na nakikita kapag ang imahe ay binago sa frequency domain.
Ang istrukturang iyon ay malapit sa isang pirma. Ang mga maagang detector ay maaaring maghanap ng checkerboard pattern sa frequency spectrum at maabot ang mataas na katumpakan nang hindi nauunawaan ang anuman tungkol sa larawan. Ito ay isang fingerprint ng arkitektura kaysa sa anumang partikular na modelo.
Paano bumubuo ng isa ang diffusion model
Gumagana ang diffusion sa kabalikang paraan. Nagsisimula ito sa isang larangan ng purong ingay sa buong target na resolusyon at nag-aalis ng kaunti nito sa bawat hakbang, na ginagabayan ng natutunan ng modelo, hanggang sa lumitaw ang isang imahe.
Walang upsampling ladder, kaya walang paulit-ulit na artefact. Ang lumalabas ay may pagkakaiba sa estadistika mula sa kuha ng camera, at ang pagkakaiba ay nakatagilid kaysa sa istruktural. Walang anuman dito ang lumalabas bilang malinaw na pattern na maaari mong hanapin.
GAN
- Maliit na vector na paulit-ulit na na-upsample
- Mga paulit-ulit na artefact mula sa bawat pagdodoble
- Matutukoy sa frequency domain
- Ang architecture ay nag-iiwan ng halos-lagda
- Nanguna hanggang sa humigit-kumulang 2022
Diffusion
- Inalis ang ingay nang sunud-sunod sa buong laki
- Walang upsampling ladder, walang paulit-ulit na pattern
- Ang pagkakaiba ay estadistika, hindi istruktural
- Nangangailangan ng natutunang modelo upang matukoy
- Nanguna simula 2022
Bakit tumigil sa paggana ang mga mas lumang detector
Ang isang tool na binuo upang maghanap ng frequency-domain checkerboarding ay walang makitang anuman sa isang diffusion image. Hindi ito nag-uulat ng kawalan ng katiyakan; iniuulat nito na wala ang artefact, na mukhang malinaw na resulta.
Iyon ang dahilan kung bakit ang kawastuhan ng detection sa buong larangan ay tila bumagsak sa pagitan ng 2021 at 2023. Ang mga tool ay hindi bumaba ang kalidad. Ang bagay na hinahanap nila ay tumigil na sa paggawa.
Ang pumalit sa detection na partikular sa architecture
Lawak. Sa halip na maghanap ng isang artefact, ang mga kasalukuyang detector ay sinanay sa output mula sa napakaraming iba't ibang generator hangga't maaari, kaya natututunan ng modelo kung ano ang magkatulad sa synthetic texture sa halip na kung ano ang ginagawa ng isang pamilya.
Ang modelong ginamit dito ay sinanay sa milyun-milyong imahe mula sa libu-libong generator para sa eksaktong kadahilanang ito. Ang saklaw sa mga architecture ang nagbibigay ng pangkalahatang paggamit sa susunod, at ito lamang ang pamamaraan na nakaligtas sa pagbabago ng nangingibabaw na paraan.
Ang kapalit ay ang kawastuhan sa anumang solong kilalang generator ay mas mababa kaysa sa makakamit ng isang espesyalistang detector. Iyon ang tamang desisyon, dahil ang isang espesyalista ay walang silbi sa araw na may dumating na bago.
Ang hinuhulaan nito
Ang aral mula sa paglipat ng GAN-patungong-diffusion ay hindi tungkol sa diffusion. Ito ay ang anumang detector na nakatali sa kung paano ginagawa ang mga imahe ngayon ay may limitadong buhay, at ang paglipat ay hindi iaanunsyo nang maaga.
| Pamamaraan | Gumagana sa | Nabigo nang |
|---|---|---|
| Paghahanap ng frequency artefact | Mga GAN | Dumating ang diffusion |
| Pagsusuring partikular sa mukha | Mga unang face swap | Dumating ang whole-scene generation |
| Pagsusuri ng metadata | Mga file na direkta mula sa tool | Inalis ng mga platform ang metadata |
| Pagsusuri sa antas ng error | Mga JPEG na minsanang isinave | Nagsimulang maglakbay ang mga imahe |
| Malawakang pagsasanay sa maraming generator | Karamihan sa kasalukuyang output | Hindi alam, at mas huli kaysa sa iba |
May kinalaman ba ito sa isang gumagamit
Kadalasan ay ipinapaliwanag nito ang dalawang bagay na mapapansin mo. Una, kung bakit ang isang detector ay karaniwang hindi kayang pangalanan kung aling tool ang gumawa ng isang imahe: nagbabasa ito ng isang nakabahaging estadistikal na katangian sa halip na isang fingerprint sa bawat modelo.
Pangalawa, kung bakit masama ang performance ng mga mas lumang libreng checker. Ang ilang mga tool na online pa ay binuo sa paligid ng mga GAN artefact at hindi pa nasasanay muli. Nagbabalik sila ng mga tiyak at malinaw na resulta sa kasalukuyang output, at walang sinasabi sa interface kung bakit.
Ang ginagawa ng isang hybrid pipeline sa isang resulta
Karamihan sa mga imaheng nakararating sa iyo ay hindi ginawa ng iisang pamamaraan. Ang isang diffusion model ang gumagawa ng base, ang isang GAN-based upscaler ang nagpapalaki nito, ang isang face restoration pass ang nag-aayos ng mga mata, at ang isang editor ang nag-crop at nag-save muli ng resulta.
Ang bawat yugto ay muling nagsusulat ng texture, kaya ang file ay nagdadala ng mga bakas ng ilang proseso na nakapatong sa isa't isa. Ang huling humipo sa imahe ay karaniwang nangingibabaw sa binabasa ng detector, kaya ang isang na-upscale na diffusion image ay maaaring magmukhang mas estadistikal na katulad ng upscaler kaysa sa generator.
Ito ang praktikal na dahilan kung bakit hindi gumagana ang pagtukoy ng architecture sa labas ng laboratoryo. Sa isang kontroladong pagsubok na may malinaw na output ng iisang modelo, ito ay isang problemang nasusolusyunan. Sa isang imaheng dumaan sa isang tunay na production pipeline, ang tanong ay hindi maayos na nailatag.
Ipinaliwanag din nito ang isang resulta na nakakalito sa mga tao: isang tunay na nabuong imahe na mas mababa ang iskor kaysa sa isang mabigat na na-upscale na litrato. Ang parehong ay may texture na muling isinulat ng software, at binabasa ng detector ang muling pagsulat sa halip na ang pinagmulan.