AI इमेज डिटेक्टर सटीकता: 91% का वास्तव में क्या अर्थ है

बैलेंस्ड एक्यूरेसी क्या मापती है

साधारण सटीकता (प्लेन एक्यूरेसी) को बढ़ा-चढ़ाकर दिखाना आसान है। किसी डिटेक्टर को एक ऐसा परीक्षण सेट दें जिसमें 90 प्रतिशत जनरेट की गई छवियां हों, और जो मॉडल हर चीज़ को हाँ कहता है वह बेकार होते हुए भी 90 प्रतिशत स्कोर करेगा।

बैलेंस्ड एक्यूरेसी वास्तविक और जनरेट की गई छवियों को समान महत्व देकर इसे ठीक करती है, इसलिए यह आंकड़ा दो दरों का औसत है: वास्तविक फ़ोटो को कितनी बार सही ढंग से स्वीकार किया गया, और जनरेट की गई छवियों को कितनी बार सही ढंग से फ़्लैग किया गया। कोई टूल जो अपने परीक्षण मिश्रण का नाम बताए बिना केवल सटीकता उद्धृत कर रहा है, वह आपको बहुत कुछ नहीं बता रहा है।

डिटेक्टर के गलत होने के दो तरीके

एक संख्या दो बहुत अलग विफलताओं को छिपाती है, और उनके परिणाम बहुत भिन्न होते हैं।

निर्णय सीमा को बदलने से एक चीज़ के बदले दूसरी से समझौता करना पड़ता है। इसे कम करने से अधिक फ़ेक पकड़ में आते हैं और अधिक वास्तविक फ़ोटो भी फ़्लैग हो जाते हैं। इसे बढ़ाने से असली छवियों की सुरक्षा होती है और अधिक फ़ेक आगे निकल जाते हैं। ऐसी कोई सेटिंग नहीं है जो दोनों को बेहतर बना सके, यही वजह है कि सीमा को चुपचाप ट्यून करने के बजाय 65 पर प्रकाशित किया गया है।

बेंचमार्क आंकड़े वास्तविक प्रदर्शन को बढ़ा-चढ़ाकर क्यों दिखाते हैं

इनमें से कोई भी असामान्य मामले नहीं हैं। वे बताते हैं कि छवियां वास्तव में कैसे प्रसारित होती हैं। एक तस्वीर जो दो प्लेटफ़ॉर्म और एक स्क्रीनशॉट के माध्यम से आप तक पहुँचती है, वह पहले ही उस सिग्नल का अधिकांश हिस्सा खो चुकी होती है जिस पर बेंचमार्क मापा गया था।

सटीकता के दावे को कैसे पढ़ें

• पूछें कि कौन सा परीक्षण सेट है। बिना किसी नामित बेंचमार्क के दिया गया आंकड़ा केवल मार्केटिंग है। सार्वजनिक बेंचमार्क पर दिए गए आंकड़े की जांच कोई अन्य व्यक्ति भी कर सकता है।
• पूछें कि संतुलित है या सामान्य। असंतुलित परीक्षण सेट पर सामान्य सटीकता सबसे आसान संख्या है जिसे बढ़ा-चढ़ाकर दिखाया जा सकता है।
• पूछें कि निर्णय सीमा कहाँ है। यह जाने बिना कि इसे किस सीमा पर मापा गया था, सटीकता का कोई अर्थ नहीं है।
• पूछें कि कौन से जनरेटर शामिल किए गए थे। कोई भी डिटेक्टर उन मॉडलों पर अच्छा स्कोर करता है जिन पर उसे प्रशिक्षित किया गया था और उसके बाद जारी किए गए मॉडलों पर खराब।
• गलत सकारात्मक दर अलग से मांगें। यह वह संख्या है जो तय करती है कि क्या उपकरण का वास्तविक लोगों पर उपयोग करना सुरक्षित है।

सटीकता आपको क्या नहीं बता सकती

एक बेंचमार्क मापता है कि छवियों की पूरी आबादी में एक मॉडल कितनी बार सही होता है। यह इस बारे में कुछ नहीं कहता कि यह आपकी छवि पर सही है या नहीं। किसी एक परिणाम से जुड़ा कोई विश्वास अंतराल नहीं होता है, और एक डिटेक्टर यह नहीं जान सकता कि वह अपनी कौन सी त्रुटि कर रहा है।

यही कारण है कि क्षेत्र का नक्शा और फ़ाइल के साक्ष्य हेडलाइन आंकड़े से अधिक मायने रखते हैं। स्वतंत्र संकेतों के बीच सहमति उनमें से किसी एक की मजबूत संख्या से अधिक मूल्यवान है, और असहमति अपने आप में एक निष्कर्ष है।

डिटेक्टर का स्वयं परीक्षण कैसे करें

आपको किसी के आंकड़े पर भरोसा करने की आवश्यकता नहीं है। एक उपयोगी परीक्षण में केवल एक दोपहर का समय लगता है और यह आपको किसी भी प्रकाशित बेंचमार्क की तुलना में किसी टूल के बारे में अधिक बताता है, क्योंकि यह उन छवियों का उपयोग करता है जो आपकी छवियों जैसी दिखती हैं।

1. एक ऐसा सेट बनाएं जिसका उत्तर आप पहले से जानते हों

   बीस फ़ोटोग्राफ़ जो आपने स्वयं लिए हैं, और बीस छवियां जो आपने जनरेट की हैं। मूल फ़ाइलों को अछूता रखें। स्पष्ट रूप से कमज़ोर टूल को सामने लाने के लिए प्रत्येक के बीस पर्याप्त हैं।

2. मुश्किल मामलों को भी शामिल करें

   अपनी फ़ोटो के स्क्रीनशॉट, नाइट-मोड शॉट्स, अपस्केल किया गया क्रॉप और भारी रूप से रीटच किया गया पोर्ट्रेट जोड़ें। यही वह जगह है जहाँ डिटेक्टर विफल होते हैं, और यह वह हिस्सा है जिसे हर विक्रेता बेंचमार्क छोड़ देता है।

3. स्कोर और बैंड रिकॉर्ड करें, निर्णय नहीं

   लिखें कि प्रत्येक टूल ने क्या परिणाम दिया। बैंड की तुलना करना संख्याओं की तुलना करने से अधिक जानकारीपूर्ण है, क्योंकि दो टूल अपनी निर्णय रेखाओं को अलग-अलग स्थानों पर रख सकते हैं।

4. दो प्रकार की त्रुटियों को अलग-अलग गिनें

   आपकी कितनी वास्तविक फ़ोटो फ़्लैग की गईं, और आपकी कितनी जनरेट की गई छवियां छूट गईं। एक उपकरण जो आपकी अपनी फ़ोटोग्राफ़ के एक तिहाई हिस्से को फ़्लैग करके कभी भी किसी फ़ेक को नहीं छोड़ता, वह लोगों पर उपयोग करने योग्य नहीं है।

जो संख्या मायने रखती है वह पहली है: यह आपके अपने काम को कितनी बार फ़ेक कहती है। यह वह विफलता है जिसकी एक कीमत जुड़ी है, और यह वह है जिसे एक हेडलाइन सटीकता आंकड़ा औसतन छिपा देता है।