एक चैटबॉट वास्तव में क्या कर रहा है
एक मल्टीमॉडल भाषा मॉडल किसी इमेज को सिमेंटिक विवरण में बदलता है और फिर टेक्स्ट में उस विवरण का विश्लेषण करता है। यह इस सवाल का जवाब दे रहा होता है कि क्या यह तस्वीर उन AI इमेज जैसी दिखती है जिनके बारे में मैंने ट्रेनिंग के दौरान पढ़ा था।
यह सामग्री और संरचना से जुड़ा सवाल है। डिटेक्शन टेक्सचर से जुड़ा सवाल है: आस-पास के पिक्सेल मान एक-दूसरे से कैसे संबंधित हैं, उस स्तर पर जो किसी भी सिमेंटिक विवरण की पहुंच से बहुत बारीक है।
डिटेक्टर जिस जानकारी को पढ़ता है, उसे भाषा मॉडल द्वारा सोचना शुरू करने से पहले ही हटा दिया जाता है। ऐसा नहीं है कि चैटबॉट इसमें कमजोर हैं। वे एक ऐसे स्वरूप पर काम कर रहे हैं जिसमें आवश्यक सबूत ही मौजूद नहीं हैं।
व्यवहार में इसका क्या परिणाम होता है
- बिना किसी सीमा (थ्रेशोल्ड) के आश्वस्त उत्तर। एक चैटबॉट 'संभवतः AI-जनरेटेड' कहेगा, लेकिन 'संभवतः' शब्द के पीछे कोई पैमाना नहीं होगा। इसमें कोई संख्या, कोई श्रेणी और किसी अन्य इमेज से तुलना करने के लिए कुछ नहीं होता।
- पुरानी खामियों के आधार पर तर्क। मॉडल उंगलियों, दांतों, मोम जैसी त्वचा और विकृत टेक्स्ट का हवाला देते हैं, क्योंकि ट्रेनिंग टेक्स्ट यही देखने के लिए कहता है। इन समस्याओं को सालों पहले ठीक कर दिया गया था।
- आपके पूछे गए तरीके से सहमति। यदि आप पूछेंगे कि क्या कोई इमेज फ़ेक है, तो आपको निष्पक्ष तरीके से पूछने की तुलना में 'हाँ' सुनने की अधिक संभावना होगी। यह इंटरफ़ेस की प्रकृति है, तस्वीर की नहीं।
- पुनरावृत्ति का अभाव। एक ही फ़ाइल के बारे में दो बार पूछें और आपको दो अलग-अलग उत्तर मिल सकते हैं, दोनों के लिए समान रूप से आश्वस्त स्पष्टीकरण के साथ।
- रीजन (क्षेत्र) संबंधी कोई जानकारी नहीं। यह आपको यह नहीं बता सकता कि तस्वीर का एक कोना बाकी हिस्सों से अलग व्यवहार कर रहा है, जबकि यही निष्कर्ष आमतौर पर सबसे महत्वपूर्ण होता है।
| क्षमता | चैटबॉट | पिक्सेल डिटेक्टर |
|---|---|---|
| पिक्सेल-स्तर के टेक्सचर को पढ़ता है | No | Yes |
| प्रकाशित श्रेणियों के साथ कैलिब्रेटेड स्कोर | No | Yes |
| हर बार एक ही जवाब | No | Yes |
| रीजन-स्तर का विवरण | No | Yes |
| बेंचमार्क के आधार पर मापा गया | No | Yes |
| गद्य में अपने तर्क की व्याख्या करता है | Yes धाराप्रवाह रूप से | Partly सिग्नल के रूप में |
| तस्वीर में क्या है, इसका विवरण देता है | Yes | No |
आखिरी दो पंक्तियाँ ही ध्यान देने योग्य हैं। एक लैंग्वेज मॉडल किसी छवि का विवरण देने और यह समझने में वास्तव में अच्छा होता है कि क्या कोई दृश्य तार्किक रूप से सही है। ये उपयोगी हैं, लेकिन ये पहचान (डिटेक्शन) नहीं हैं।
जहाँ चैटबॉट वास्तव में उपयोगी है
टूल को पूरी तरह से खारिज कर देना सही नहीं होगा। यदि इसका उपयोग इसके वास्तविक कार्य के लिए किया जाए, तो यह डिटेक्टर की जगह लेने के बजाय उसकी मदद करता है।
-
उससे दृश्य का विस्तार से विवरण देने के लिए कहें
एक विस्तृत विवरण अक्सर उन चीज़ों को सामने लाता है जिन पर आपका ध्यान नहीं गया था, जिसमें वे वस्तुएं शामिल हैं जो एक साथ मेल नहीं खातीं या वे संकेत जिन्हें आपने नहीं पढ़ा था।
-
पूछें कि क्या दृश्य भौतिक रूप से सुसंगत है
परछाईं, परावर्तन, आकार और परिप्रेक्ष्य तार्किक विश्लेषण से जुड़ी समस्याएं हैं, और यह मॉडल इसी तरह के विश्लेषण के लिए बना है। यह ऐसे कंपोजिट्स को पकड़ लेता है जो पिक्सेल विश्लेषण से छूट सकते हैं।
-
पूछें कि इसकी पुष्टि या खंडन किस बात से होगा
संदेह को जांच की एक सूची में बदलना लैंग्वेज मॉडल का एक अच्छा उपयोग है, और यह सूची अक्सर आपके द्वारा बनाई गई सूची से बेहतर होती है।
-
फिर एक वास्तविक डिटेक्टर चलाएं
पिक्सेल से जुड़े प्रश्न के लिए, विशेष रूप से इसी कार्य के लिए बने टूल का उपयोग करें और प्रकाशित पैमाने के आधार पर स्कोर का आकलन करें।
प्रवाहपूर्ण भाषा ही सबसे बड़ा जोखिम क्यों है
एक डिटेक्टर जब अनिश्चित होता है, तो वह एक औसत स्कोर देता है, और वह संख्या स्वयं अनिश्चितता को स्पष्ट करती है। लेकिन एक लैंग्वेज मॉडल जब अनिश्चित होता है, तो वह एक पैराग्राफ देता है, और पैराग्राफ में एरर मार्जिन नहीं होते।
चाहे मॉडल ने किसी वास्तविक चीज़ की पहचान की हो या केवल तार्किक लगने वाला मनगढ़ंत विवरण दिया हो, दोनों ही मामलों में एक जैसी सुव्यवस्थित व्याख्या मिलती है। पाठक लेखन की गुणवत्ता पर अपना भरोसा तय करते हैं, जबकि इस स्थिति में यही संकेत पूरी तरह से अर्थहीन होता है।
यही कारण है कि स्वयं तस्वीर देखने की तुलना में चैटबॉट से पूछना एक खराब शुरुआत है। कम से कम आपकी अपनी अनिश्चितता आपको स्पष्ट रूप से दिखाई देती है।
अन्य टूल्स में भी यही समस्या
यह केवल किसी एक उत्पाद के बारे में नहीं है। कोई भी सिस्टम जो किसी छवि का सिमेंटिक रूप से विश्लेषण करता है, उसमें यही खामी होती है, और डिटेक्टर के रूप में प्रस्तुत किए जा रहे कई टूल्स वास्तव में अंदर यही काम कर रहे हैं।
एक उपयोगी परीक्षण: पूछें कि यह टूल किसी तस्वीर की ली गई तस्वीर पर, या बिना किसी पहचान योग्य विषय वाली छवि पर क्या रिपोर्ट देगा। एक पिक्सेल डिटेक्टर दोनों स्थितियों में स्कोर देता है, क्योंकि टेक्सचर सामग्री पर निर्भर नहीं होता। सिमेंटिक सिस्टम के पास विश्लेषण के लिए कुछ नहीं होता, इसलिए वह या तो मना कर देगा या कुछ मनगढ़ंत बना देगा।
दूसरा परीक्षण: एक ही फ़ाइल को दो बार चलाएं। एक पिक्सेल मॉडल नियतात्मक (डिटर्मिनिस्टिक) होता है और समान स्कोर देता है। एक लैंग्वेज मॉडल अलग-अलग परिणाम देता है, और दो बार चलाने पर अलग-अलग उत्तर आ सकते हैं। यदि कोई टूल समान बाइट्स के लिए अलग-अलग उत्तर देता है, तो वह किसी भी चीज़ का सटीक मापन नहीं कर रहा है।
किसी भी परीक्षण के लिए यह समझने की आवश्यकता नहीं है कि टूल कैसे काम करता है। दोनों में केवल एक मिनट लगता है, और दोनों मिलकर किसी मार्केटिंग पेज को पढ़ने की तुलना में मापन और विवरण के अंतर को अधिक सटीकता से अलग करते हैं।