ทำไมการบังคับใช้โดยอัตโนมัติจึงล้มเหลวในกรณีนี้
ด้วยความแม่นยำที่สมดุล 91 เปอร์เซ็นต์ในสภาวะห้องปฏิบัติการ หมายความว่ามีโอกาสผิดพลาดประมาณ 1 ใน 11 กรณี ในเนื้อหาที่ผู้ใช้สร้างขึ้น ซึ่งมักผ่านการแคปหน้าจอ บีบอัด และตัดขอบมา อัตราความผิดพลาดจริงนั้นแย่กว่านั้น
หากนำไปใช้กับเนื้อหาหนึ่งแสนรายการต่อวัน จะเกิดการดำเนินการที่ผิดพลาดหลายพันครั้ง ซึ่งแต่ละครั้งนำไปสู่การอุทธรณ์ และการอุทธรณ์แต่ละครั้งมีค่าใช้จ่ายสูงกว่าการตรวจสอบด้วยคนเสียอีก นอกจากนี้ยังมีผลกระทบต่อชื่อเสียงจากการลบโพสต์ที่เป็นของจริงออกไป
มีปัญหาที่สองที่เฉพาะเจาะจงกับการกลั่นกรอง การตัดสินใจบังคับใช้กฎต้องมีการตรวจสอบย้อนหลัง หากหน่วยงานกำกับดูแลหรือศาลถามว่าทำไมบัญชีถึงถูกลบ จะไม่ยอมรับผลลัพธ์จากโมเดลที่มีเกณฑ์การตัดคะแนน (threshold) ที่ไม่ได้เปิดเผยต่อสาธารณะว่าเป็นเหตุผลที่เพียงพอ
ใช้คะแนนเพื่อจัดลำดับ ไม่ใช่เพื่อตัดสิน
กรอบการทำงานที่มีประโยชน์คือการจัดคิวงาน คุณมีจำนวนรายการมากกว่าจำนวนผู้ตรวจสอบ คะแนนจะเป็นตัวตัดสินว่าคนควรเห็นภาพใดก่อน ซึ่งเป็นงานที่เครื่องมือทำได้ดีแม้ที่ความแม่นยำ 85 เปอร์เซ็นต์ เพราะถ้าผิดพลาด ก็แค่มีคนต้องเสียเวลาดูในสิ่งที่อาจไม่จำเป็นเท่านั้น
- 1 สูงกว่า 90 คิวการตรวจสอบอันดับแรก
- 2 65 ถึง 90 ตรวจสอบภายในกรอบเวลาปกติ
- 3 45 ถึง 65 เฉพาะเมื่อมีการรายงานจากผู้ใช้
- 4 ต่ำกว่า 45 ไม่มีการดำเนินการ สุ่มตรวจเพื่อวัดคุณภาพ
การสุ่มตรวจในกลุ่มคะแนนต่ำสุดมีความสำคัญมากกว่าที่เห็น นี่เป็นวิธีเดียวที่จะวัดอัตราความผิดพลาดแบบ False Negative และหากไม่มีตัวเลขนี้ คุณจะไม่สามารถบอกได้ว่าระบบยังทำงานอยู่หรือหยุดตรวจจับอะไรได้เลย
นโยบายของคุณควรระบุว่าอย่างไร
แพลตฟอร์มส่วนใหญ่ในปัจจุบันมีกฎเกี่ยวกับสื่อสังเคราะห์ (synthetic media) และส่วนใหญ่เขียนขึ้นมาไม่ดี ความล้มเหลวที่พบบ่อยคือการแบนเนื้อหา AI โดยทั่วไป ซึ่งไม่สามารถบังคับใช้ได้จริงและยังไปลบสิ่งที่ไม่มีใครตั้งใจจะทำผิดกฎ
| บังคับใช้ได้ | บังคับใช้ไม่ได้ | เหตุผล |
|---|---|---|
| สื่อสังเคราะห์ของบุคคลจริงที่ไม่มีการเปิดเผย | รูปภาพทั้งหมดที่สร้างจาก AI | กฎข้อที่สองแบนผลงานภาพประกอบและการออกแบบ |
| ภาพที่สร้างขึ้นซึ่งนำเสนอเป็นหลักฐานทางสารคดี | สิ่งที่ได้คะแนนสูงกว่า 65 | เกณฑ์คะแนนไม่ใช่ตัวนโยบาย |
| สื่อสังเคราะห์ที่ใช้เพื่อหลอกลวงเพื่อผลประโยชน์ทางการเงิน | ภาพที่ดูเหมือนสร้างจาก AI | การดูด้วยตาเปล่าไม่ใช่มาตรฐาน |
| ไม่ติดป้ายกำกับเมื่อถูกถาม | AI ที่ไม่เปิดเผยในทุกรูปแบบ | พิสูจน์ไม่ได้ และผู้ใช้ไม่สามารถปฏิบัติตามได้ |
เขียนกฎโดยเน้นที่ความเสียหายและการเปิดเผยข้อมูลแทนที่จะเน้นที่เทคนิค ภาพประกอบที่สร้างขึ้นบนโพสต์นิยายไม่สร้างความเสียหายให้ใคร แต่ภาพถ่ายที่สร้างขึ้นของสินค้า บุคคล หรือเหตุการณ์ ที่นำเสนอว่าเป็นของจริง คือสิ่งที่คุณต้องการยับยั้งจริงๆ
สามกรณีที่แผนที่ภูมิภาค (region map) แยกแยะได้
คะแนนรวมทั้งภาพจะรวมสถานการณ์ที่ต้องการการจัดการต่างกันไว้ด้วยกัน มุมมองแบบแบ่งช่อง (tile view) ช่วยแยกแยะสถานการณ์เหล่านั้น และความแตกต่างมักเป็นตัวตัดสินผลลัพธ์
- ทุกช่องคะแนนสูง ภาพที่ถูกสร้างขึ้นทั้งหมด หากนำเสนอเป็นภาพถ่ายของสิ่งที่เกิดขึ้นจริง นี่คือกรณีที่ชัดเจนที่สุดของคุณ
- ช่องเดียวคะแนนสูง ภาพถ่ายจริงที่มีบางอย่างถูกเพิ่มหรือลบออก ในบริบทของตลาดหรือข่าว นี่มักเป็นเรื่องร้ายแรงกว่าภาพที่สร้างใหม่ทั้งหมด เพราะถูกออกแบบมาให้หลงเชื่อ
- ค่าความร้อนกระจายตัว ไม่มีช่องไหนสูง การประมวลผลหนัก มักเป็นภาพถ่ายจริงที่ผ่านฟิลเตอร์หรือการขยายขนาดภาพ แทบไม่มีความจำเป็นต้องดำเนินการใดๆ
ภาพถ่ายจริงที่มีองค์ประกอบแทรกเข้ามา การจัดคิวด้วยคะแนนรวมเพียงอย่างเดียวจะไม่ทำให้ภาพนี้ถูกตรวจพบ
การวัดผลว่าเครื่องมือใช้งานได้จริงหรือไม่
-
ติดตามค่าความแม่นยำ (precision) ที่กลุ่มคะแนนสูงสุด
จากรายการที่ได้คะแนนสูงกว่า 90 ที่ผู้ตรวจสอบเปิดดู มีจำนวนเท่าใดที่ถูกดำเนินการ? หากตัวเลขนั้นต่ำ แสดงว่าเครื่องมือนี้กำลังสร้างงานมากกว่าช่วยลดงาน
-
สุ่มตรวจกลุ่มคะแนนต่ำสุดเป็นรายสัปดาห์
สุ่มเลือก 100 รายการจากกลุ่มที่ต่ำกว่า 45 แล้วนำมาตรวจสอบ นี่เป็นการวัดผลเพียงอย่างเดียวว่าคุณกำลังพลาดอะไรไป และเป็นสิ่งที่ทีมงานมักข้ามไป
-
สังเกตอัตราการอุทธรณ์
การเพิ่มขึ้นของการอุทธรณ์ที่ประสบความสำเร็จในการตัดสินสื่อสังเคราะห์ หมายความว่าเกณฑ์คะแนนเริ่มเพี้ยน หรือมีตัวสร้างภาพตัวใหม่ที่ให้คะแนนต่ำออกมา
-
กำหนดค่าพื้นฐานใหม่หลังการเปลี่ยนแปลงโมเดลทุกครั้ง
การอัปเดตตัวตรวจจับทำให้คะแนนเปลี่ยน เกณฑ์ที่ตั้งไว้เมื่อหกเดือนก่อนเทียบกับโมเดลเวอร์ชันอื่น ไม่ใช่เกณฑ์เดิมที่คุณเข้าใจอีกต่อไป
การจัดสรรบุคลากรสำหรับคิวงานที่เครื่องมือสร้างขึ้น
การเพิ่มเครื่องมือตรวจจับเข้าสู่กระบวนการกลั่นกรองไม่ได้ช่วยลดจำนวนพนักงาน และทีมที่วางแผนไว้เช่นนั้นมักจะเผื่อเหลือเผื่อขาด สิ่งที่เปลี่ยนไปคือลำดับงานที่เข้ามา ซึ่งเพิ่มมูลค่าให้กับเวลาทำงานของผู้ตรวจสอบแต่ละคนโดยไม่ต้องลดจำนวนคนที่คุณต้องใช้
จัดสรรงบประมาณสำหรับคิวงานที่ถูก flagged ให้ทำงานช้ากว่าคิวงานทั่วไป ผู้ตรวจสอบที่ดูโพสต์ที่ถูก flagged กำลังตัดสินใจเรื่องที่ยากกว่าในเนื้อหาที่กำกวมกว่า และการรีบเร่งคือสาเหตุที่ทำให้การบังคับใช้กฎผิดพลาด สองนาทีต่อภาพคือเวลาที่สมเหตุสมผล สามสิบวินาทีนั้นไม่เป็นความจริง
ให้แผนที่ภูมิภาค (region map) แก่ผู้ตรวจสอบแทนคะแนน ผู้กลั่นกรองที่เห็นว่ามุมหนึ่งของภาพมีค่าความร้อนสูงสามารถตัดสินใจได้ดีกว่าคนที่ได้เพียงตัวเลข และพวกเขาสามารถอธิบายการตัดสินใจนั้นต่อทีมอุทธรณ์หรือหน่วยงานกำกับดูแลได้ในภายหลัง
หมุนเวียนคนออกจากการตรวจสอบสื่อสังเคราะห์ นี่เป็นงานที่ซ้ำซากและมีกรณีที่กำกวมจำนวนมาก ความแม่นยำจะลดลงอย่างเห็นได้ชัดตลอดกะการทำงานที่ยาวนาน นี่เป็นบทเรียนเดียวกับที่ทุกฝ่ายการกลั่นกรองเรียนรู้จากหมวดหมู่อื่นๆ แล้ว