ความแม่นยำของตัวตรวจจับภาพ AI: ตัวเลข 91% หมายความว่าอย่างไร

ความแม่นยำแบบสมดุลวัดอะไร

ความแม่นยำทั่วไปนั้นปั่นตัวเลขให้สูงได้ง่าย แค่ใส่ชุดทดสอบที่มีรูปที่สร้างจาก AI ถึง 90 เปอร์เซ็นต์เข้าไป แล้วใช้โมเดลที่ตอบว่าใช่กับทุกรูป ตัวเลขความแม่นยำก็จะออกมา 90 เปอร์เซ็นต์ทั้งที่ไม่มีประโยชน์อะไรเลย

ความแม่นยำแบบสมดุลช่วยแก้ปัญหานี้ด้วยการให้น้ำหนักกับภาพจริงและภาพที่สร้างขึ้นเท่าๆ กัน ดังนั้นตัวเลขจะเป็นค่าเฉลี่ยของสองอัตรา ได้แก่ ความถี่ที่ภาพถ่ายจริงถูกระบุว่าผ่านอย่างถูกต้อง และความถี่ที่ภาพที่สร้างขึ้นถูกติดธงอย่างถูกต้อง เครื่องมือที่อ้างความแม่นยำทั่วไปโดยไม่ระบุส่วนผสมของชุดทดสอบไม่ได้บอกอะไรคุณมากนัก

วิธีที่ตัวตรวจจับผิดพลาดมีสองทาง

ตัวเลขตัวเดียวอาจซ่อนความล้มเหลวที่ต่างกันสองรูปแบบ ซึ่งมีต้นทุนความเสียหายที่ต่างกันมาก

การเลื่อนเส้นตัดสินเป็นการแลกเปลี่ยนระหว่างสองสิ่ง การลดระดับเส้นจะจับภาพปลอมได้มากขึ้นและทำเครื่องหมายภาพจริงว่าเป็นภาพปลอมมากขึ้น การเพิ่มระดับเส้นจะช่วยปกป้องภาพจริงและปล่อยให้ภาพปลอมผ่านไปได้มากขึ้น ไม่มีค่าใดที่ปรับปรุงทั้งสองอย่างได้ดีขึ้น ซึ่งเป็นสาเหตุที่ค่าเส้นถูกกำหนดไว้ที่ 65 แทนที่จะปรับจูนอย่างเงียบๆ

ทำไมตัวเลขมาตรฐานถึงแสดงประสิทธิภาพเกินจริง

ไม่มีกรณีใดเป็นกรณีที่ผิดปกติ ทั้งหมดนี้อธิบายถึงวิธีการเดินทางของรูปภาพจริง ภาพที่ไปถึงคุณผ่านสองแพลตฟอร์มและภาพแคปหน้าจอได้สูญเสียสัญญาณส่วนใหญ่ที่ใช้ในการวัดผลมาตรฐานไปแล้ว

วิธีอ่านคำกล่าวอ้างเรื่องความแม่นยำ

• ถามหาชุดทดสอบ ตัวเลขที่ไม่มีการระบุมาตรฐานคือการตลาด ตัวเลขบนมาตรฐานสาธารณะสามารถตรวจสอบได้โดยผู้อื่น
• ถามหาความสมดุลหรือความธรรมดา ความแม่นยำแบบธรรมดาบนชุดทดสอบที่ไม่สมดุลคือตัวเลขที่ปั่นให้สูงขึ้นได้ง่ายที่สุด
• ถามว่าเส้นตัดสินอยู่ที่ไหน ความแม่นยำไม่มีความหมายหากไม่ทราบเกณฑ์ที่ใช้ในการวัด
• ถามว่ารวมเครื่องมือสร้างตัวไหนไว้บ้าง เครื่องมือตรวจจับทุกตัวทำคะแนนได้ดีกับโมเดลที่ฝึกสอนมาและทำได้แย่กับโมเดลที่ปล่อยออกมาภายหลัง
• ถามหาอัตราผลบวกลวงแยกต่างหาก นั่นคือตัวเลขที่ตัดสินว่าเครื่องมือปลอดภัยที่จะใช้กับคนจริงหรือไม่

สิ่งที่ความแม่นยำบอกคุณไม่ได้

มาตรฐานวัดว่าโมเดลถูกต้องบ่อยแค่ไหนในกลุ่มภาพประชากร มันไม่ได้บอกอะไรเลยว่ามันถูกต้องกับภาพของคุณหรือไม่ ไม่มีช่วงความเชื่อมั่นที่แนบมากับผลลัพธ์เดียว และเครื่องมือตรวจจับไม่สามารถรู้ได้ว่ามันกำลังทำข้อผิดพลาดใดอยู่

นี่คือเหตุผลว่าทำไมแผนที่พื้นที่และหลักฐานจากไฟล์จึงสำคัญกว่าตัวเลขพาดหัว ความสอดคล้องระหว่างสัญญาณอิสระมีค่ามากกว่าตัวเลขที่แข็งแกร่งจากสัญญาณเดียว และความไม่สอดคล้องก็ถือเป็นข้อค้นพบในตัวเอง

วิธีทดสอบเครื่องมือตรวจจับด้วยตัวเอง

คุณไม่จำเป็นต้องเชื่อตัวเลขของใคร การทดสอบที่มีประโยชน์ใช้เวลาช่วงบ่ายและบอกคุณเกี่ยวกับเครื่องมือมากกว่ามาตรฐานที่เผยแพร่ เพราะมันใช้ภาพที่ดูเหมือนภาพของคุณ

1. สร้างชุดภาพที่คุณทราบคำตอบอยู่แล้ว

   ภาพถ่ายยี่สิบภาพที่คุณถ่ายเอง และยี่สิบภาพที่คุณสร้างขึ้น เก็บต้นฉบับไว้โดยไม่ต้องแก้ไข อย่างละยี่สิบภาพก็เพียงพอที่จะเปิดเผยเครื่องมือที่อ่อนแอได้อย่างชัดเจน

2. รวมช่วงกลางที่น่าอึดอัดไว้ด้วย

   เพิ่มภาพหน้าจอของรูปถ่ายของคุณเอง ภาพโหมดกลางคืน ภาพครอบตัดที่ขยายขนาด และภาพบุคคลที่ผ่านการรีทัชอย่างหนัก นี่คือจุดที่เครื่องมือตรวจจับล้มเหลว และเป็นส่วนที่มาตรฐานของผู้จำหน่ายทุกรายละทิ้งไป

3. บันทึกคะแนนและแถบระดับ ไม่ใช่คำตัดสิน

   จดบันทึกสิ่งที่เครื่องมือแต่ละตัวส่งกลับมา การเปรียบเทียบแถบระดับให้ข้อมูลมากกว่าการเปรียบเทียบตัวเลข เพราะเครื่องมือสองตัวสามารถวางเส้นตัดสินในที่ที่ต่างกันได้

4. นับประเภทข้อผิดพลาดทั้งสองแยกกัน

   ภาพจริงของคุณถูกทำเครื่องหมายผิดกี่ภาพ และภาพที่สร้างขึ้นของคุณถูกพลาดกี่ภาพ เครื่องมือที่ไม่เคยพลาดภาพปลอมโดยการทำเครื่องหมายภาพจริงของคุณไปหนึ่งในสามนั้นไม่สามารถใช้งานกับคนได้

ตัวเลขที่สำคัญคือตัวเลขแรก: บ่อยแค่ไหนที่มันเรียกผลงานของคุณว่าเป็นของปลอม นั่นคือความล้มเหลวที่มีต้นทุนตามมา และเป็นตัวเลขที่ตัวเลขความแม่นยำพาดหัวมักจะหาค่าเฉลี่ยกลบเกลื่อนไป