Diffusion กับ GAN: ทำไมเครื่องมือตรวจจับถึงจัดการต่างกัน

วิธีที่ GAN สร้างภาพ

Generative Adversarial Network เริ่มต้นจากเวกเตอร์ขนาดเล็กและเพิ่มความละเอียดซ้ำๆ จนถึงขนาดเต็ม เครือข่ายที่สองจะตัดสินผลลัพธ์และทั้งสองจะฝึกสอนกันเอง

การเพิ่มความละเอียดซ้ำๆ คือส่วนสำคัญ แต่ละขั้นตอนการเพิ่มขนาดจะทำให้เกิดรูปแบบที่เป็นระเบียบ และรูปแบบเหล่านั้นสะสมจนกลายเป็นโครงสร้างที่มีจังหวะสม่ำเสมอ ซึ่งมองเห็นได้เมื่อแปลงภาพไปสู่โดเมนความถี่

โครงสร้างนั้นเกือบจะเป็นลายเซ็น เครื่องมือตรวจจับยุคแรกสามารถมองหารูปแบบตารางหมากรุกในสเปกตรัมความถี่และให้ความแม่นยำสูงได้โดยไม่ต้องเข้าใจภาพถ่ายเลย มันเป็นลายนิ้วมือของสถาปัตยกรรม ไม่ใช่ของโมเดลใดโมเดลหนึ่ง

วิธีที่โมเดล diffusion สร้างภาพ

Diffusion ทำงานในทางกลับกัน เริ่มต้นจากพื้นที่ที่เต็มไปด้วยสัญญาณรบกวน (noise) ที่มีความละเอียดสูงสุด แล้วค่อยๆ ลบสัญญาณเหล่านั้นออกทีละขั้นตอน โดยได้รับคำแนะนำจากสิ่งที่โมเดลเรียนรู้ จนกระทั่งปรากฏเป็นภาพขึ้นมา

ไม่มีการเพิ่มขนาด (upsampling) แบบเป็นลำดับชั้น จึงไม่มีสิ่งแปลกปลอม (artifact) ที่เกิดขึ้นเป็นระยะ ผลลัพธ์ที่ได้มีความแตกต่างทางสถิติจากภาพที่ถ่ายด้วยกล้อง และความแตกต่างนั้นเป็นแบบกระจายตัวมากกว่าที่จะเป็นโครงสร้าง ไม่มีส่วนใดที่ปรากฏเป็นรูปแบบที่ชัดเจนให้คุณสังเกตได้

เหตุผลที่เครื่องมือตรวจจับรุ่นเก่าเลิกทำงานได้ผล

เครื่องมือที่สร้างขึ้นเพื่อหาลักษณะคล้ายกระดานหมากรุกในโดเมนความถี่ไม่พบอะไรในภาพแบบ diffusion มันไม่ได้รายงานค่าความไม่แน่นอน แต่มันรายงานว่าสิ่งแปลกปลอมนั้นไม่มีอยู่ ซึ่งอ่านผลได้ว่าเป็นผลลัพธ์ที่สะอาด

นั่นคือเหตุผลที่ความแม่นยำในการตรวจจับในภาพรวมดูเหมือนจะลดลงระหว่างปี 2021 ถึง 2023 เครื่องมือไม่ได้เสื่อมประสิทธิภาพลง แต่สิ่งที่เครื่องมือเหล่านั้นกำลังมองหาได้หยุดถูกผลิตออกมาแล้ว

สิ่งที่เข้ามาแทนที่การตรวจจับเฉพาะสถาปัตยกรรม

ความครอบคลุม แทนที่จะมองหาสิ่งแปลกปลอมเพียงอย่างเดียว เครื่องมือตรวจจับในปัจจุบันถูกฝึกสอนด้วยผลลัพธ์จากตัวสร้างภาพจำนวนมากที่สุดเท่าที่จะรวบรวมได้ ดังนั้นโมเดลจึงเรียนรู้ว่าสิ่งที่พื้นผิวสังเคราะห์มีเหมือนกันคืออะไร แทนที่จะดูว่ากลุ่มใดกลุ่มหนึ่งผลิตอะไรออกมา

โมเดลที่ใช้ในที่นี้ถูกฝึกสอนด้วยภาพนับล้านจากตัวสร้างภาพหลายพันตัวด้วยเหตุผลนี้โดยเฉพาะ ความครอบคลุมข้ามสถาปัตยกรรมคือสิ่งที่ทำให้สามารถประยุกต์ใช้กับเทคโนโลยีถัดไปได้ และเป็นแนวทางเดียวที่อยู่รอดจากการเปลี่ยนวิธีการที่เป็นที่นิยม

ข้อแลกเปลี่ยนคือความแม่นยำในตัวสร้างภาพที่ทราบค่าตัวใดตัวหนึ่งจะต่ำกว่าที่เครื่องมือตรวจจับเฉพาะทางจะทำได้ แต่นั่นเป็นการแลกเปลี่ยนที่ถูกต้อง เพราะเครื่องมือเฉพาะทางจะไร้ประโยชน์ทันทีที่มีสิ่งใหม่ปรากฏขึ้น

สิ่งที่เครื่องมือนี้ทำนายได้

บทเรียนจากการเปลี่ยนผ่านจาก GAN ไปสู่ diffusion ไม่ใช่เรื่องของ diffusion แต่มันคือการที่เครื่องมือตรวจจับใดๆ ที่ผูกติดกับวิธีการสร้างภาพในปัจจุบันจะมีอายุการใช้งานที่จำกัด และการเปลี่ยนผ่านจะไม่ถูกแจ้งให้ทราบล่วงหน้า

สิ่งเหล่านี้มีความสำคัญต่อผู้ใช้หรือไม่

โดยส่วนใหญ่ อธิบายสองสิ่งที่สังเกตเห็นได้ หนึ่งคือเหตุผลที่เครื่องมือตรวจจับไม่สามารถระบุได้ว่าเครื่องมือใดเป็นผู้สร้างภาพนั้น: เพราะมันกำลังอ่านคุณสมบัติทางสถิติที่ใช้ร่วมกันแทนที่จะเป็นลายนิ้วมือเฉพาะรุ่น

สองคือเหตุผลที่เครื่องมือตรวจสอบฟรีรุ่นเก่าทำงานได้ไม่ดี เครื่องมือหลายตัวที่ยังออนไลน์อยู่ถูกสร้างขึ้นโดยเน้นสิ่งแปลกปลอมจาก GAN และไม่ได้รับการฝึกสอนใหม่ มันให้ผลลัพธ์ว่าสะอาดด้วยความมั่นใจกับผลลัพธ์ในปัจจุบัน และในอินเทอร์เฟซก็ไม่ได้บอกเหตุผลว่าทำไม

สิ่งที่ไปป์ไลน์แบบผสมส่งผลต่อผลลัพธ์

ภาพส่วนใหญ่ที่คุณได้รับไม่ได้ถูกสร้างขึ้นโดยวิธีเดียว โมเดล diffusion สร้างฐานขึ้นมา ตัวเพิ่มขนาดแบบ GAN ขยายภาพนั้น ส่วนการปรับปรุงใบหน้าช่วยแก้ไขดวงตา และโปรแกรมแก้ไขภาพทำการครอปและบันทึกผลลัพธ์ใหม่

แต่ละขั้นตอนเขียนทับพื้นผิว ไฟล์จึงมีร่องรอยของกระบวนการหลายอย่างซ้อนทับกัน สิ่งสุดท้ายที่สัมผัสภาพมักจะครอบงำสิ่งที่เครื่องมือตรวจจับอ่านได้ ซึ่งเป็นเหตุผลว่าทำไมภาพ diffusion ที่ผ่านการเพิ่มขนาดจึงดูมีสถิติคล้ายกับตัวเพิ่มขนาดมากกว่าตัวสร้างภาพ

นี่คือเหตุผลในทางปฏิบัติที่การระบุสถาปัตยกรรมไม่สามารถใช้ได้จริงนอกห้องปฏิบัติการ ในการทดสอบที่มีการควบคุมด้วยผลลัพธ์จากโมเดลเดียวที่สะอาด มันเป็นปัญหาที่แก้ไขได้ แต่ในภาพที่ผ่านไปป์ไลน์การผลิตจริง คำถามนี้ไม่ใช่ประเด็นที่ตั้งไว้ชัดเจน

นอกจากนี้ยังอธิบายผลลัพธ์ที่ผู้คนพบว่าสับสน: ภาพที่สร้างขึ้นจริงซึ่งได้คะแนนต่ำกว่าภาพถ่ายที่ผ่านการเพิ่มขนาดอย่างหนัก ทั้งสองอย่างถูกเขียนทับพื้นผิวด้วยซอฟต์แวร์ และเครื่องมือตรวจจับกำลังอ่านการเขียนทับนั้นแทนที่จะเป็นที่มา