دقة كاشف صور الذكاء الاصطناعي: ماذا يعني 91% حقاً

ما تقيسه الدقة المتوازنة

من السهل تضخيم الدقة البسيطة. قم بتغذية كاشف بمجموعة اختبار مكونة من 90 بالمائة من الصور المُنشأة ونموذج يقول نعم لكل شيء سيسجل 90 بالمائة بينما هو عديم الفائدة.

تصلح الدقة المتوازنة ذلك من خلال ترجيح الصور الحقيقية والمُنشأة بالتساوي، لذا فالرقم هو متوسط معدلين: كم مرة يتم مسح الصور الفوتوغرافية الأصلية بشكل صحيح، وكم مرة يتم تحديد الصور المُنشأة بشكل صحيح. الأداة التي تقتبس دقة بسيطة دون تسمية مزيج اختبارها لا تخبرك بالكثير.

الطريقتان اللتان يكون فيهما الكاشف مخطئاً

رقم واحد يخفي فشلين مختلفين جداً، ويحملان تكاليف مختلفة جداً.

يؤدي تغيير خط القرار إلى مقايضة أحد الأمرين بالآخر. خفض الخط يكشف عن المزيد من الصور المزيفة ويصنف المزيد من الصور الحقيقية كمزيفة. رفعه يحمي الصور الأصلية ويسمح بمرور المزيد من الصور المزيفة. لا يوجد إعداد يحسن الأمرين معاً، ولهذا السبب تم نشر الخط عند 65 بدلاً من تعديله سراً.

لماذا تبالغ أرقام الاختبارات المرجعية في تقدير الأداء الحقيقي

لا شيء من هذه حالات غير عادية. إنها تصف كيف تنتقل الصور فعلياً. الصورة التي تصل إليك عبر منصتين ولقطة شاشة قد فقدت بالفعل الكثير من الإشارة التي تم قياس الاختبار المرجعي بناءً عليها.

كيف تقرأ ادعاء الدقة

• اسأل عن مجموعة الاختبار. الرقم بدون معيار مرجعي مسمى هو مجرد تسويق. يمكن التحقق من الرقم الموجود على معيار مرجعي عام من قبل شخص آخر.
• اسأل عن التوازن أو الحياد. الدقة البسيطة على مجموعة اختبار غير متوازنة هي أسهل رقم يمكن تضخيمه.
• اسأل عن مكان خط القرار. الدقة لا معنى لها دون معرفة العتبة التي قِيست عندها.
• اسأل عن المولدات التي تم تضمينها. يحقق أي كاشف نتائج جيدة على النماذج التي تدرب عليها، ونتائج أسوأ على النموذج الذي تم إصداره لاحقاً.
• اطلب معدل الإيجابيات الكاذبة بشكل منفصل. هذا هو الرقم الذي يحدد ما إذا كانت الأداة آمنة للاستخدام على أشخاص حقيقيين.

ما لا يمكن للدقة إخبارك به

يقيس الاختبار المرجعي مدى تكرار صحة النموذج عبر مجموعة من الصور. إنه لا يقول شيئاً عما إذا كان محقاً في صورتك. لا يوجد فاصل ثقة مرتبط بنتيجة واحدة، ولا يمكن للكاشف معرفة أي من أخطائه هو الذي يرتكبه.

لهذا السبب تهم خريطة المنطقة وأدلة الملف أكثر من الرقم الرئيسي. الاتفاق بين الإشارات المستقلة يساوي أكثر من رقم قوي من إحداها، والاختلاف بحد ذاته يمثل نتيجة.

كيف تختبر كاشفاً بنفسك

لا يتعين عليك أخذ رقم أي شخص على علاته. يستغرق الاختبار المفيد بعد الظهر ويخبرك عن الأداة أكثر من أي اختبار مرجعي منشور، لأنه يستخدم صوراً تشبه صورك.

1. ابنِ مجموعة تعرف إجابتها مسبقاً

   عشرون صورة التقطتها بنفسك، وعشرون صورة قمت بتوليدها. احتفظ بالأصول كما هي. عشرون من كل نوع كافية لكشف أداة ضعيفة بوضوح.

2. تضمن المنطقة الوسطى المحرجة

   أضف لقطات شاشة لصورك الخاصة، ولقطات الوضع الليلي، ومقصورة مكبرة، وصورة شخصية منقحة بشدة. هنا تفشل الكاشفات، وهذا هو الجزء الذي يغفله كل اختبار مرجعي للبائعين.

3. سجل النتيجة والنطاق، وليس الحكم

   اكتب ما أعادته كل أداة. مقارنة النطاقات أكثر إفادة من مقارنة الأرقام، لأن أداتين يمكنهما وضع خطوط القرار في أماكن مختلفة.

4. عد نوعي الخطأ بشكل منفصل

   كم عدد صورك الحقيقية التي تم تصنيفها كصور مزيفة، وكم عدد صورك المولدة التي تم تفويتها. الأداة التي لا تفوت صورة مزيفة أبداً عبر تصنيف ثلث صورك الخاصة كصور مزيفة ليست قابلة للاستخدام على البشر.

الرقم الذي يهم هو الأول: كم مرة تصنف عملك الخاص كعمل مزيف. هذا هو الخطأ ذو التكلفة، وهو الرقم الذي تتجاهله دقة العنوان الرئيسي عبر المتوسط.