बड़े पैमाने पर AI-जेनरेटेड इमेज का मॉडरेशन

यहाँ स्वचालित कार्रवाई क्यों विफल हो जाती है

प्रयोगशाला स्थितियों में 91 प्रतिशत संतुलित सटीकता पर, लगभग ग्यारह में से एक निर्णय गलत होता है। यूज़र द्वारा जनरेट किए गए कंटेंट पर, जो स्क्रीनशॉट, रीकंप्रेस्ड और क्रॉप्ड होकर आता है, वास्तविक दर और भी खराब होती है।

प्रतिदिन एक लाख आइटमों पर लागू करने पर, इसका मतलब है हज़ारों गलत कार्रवाइयां। इनमें से प्रत्येक एक अपील बनती है, और अपीलों की प्रति-केस लागत उस रिव्यू से अधिक होती है जिसे ऑटोमेशन ने बदला था। असली पोस्ट को हटाने से होने वाले साख के नुकसान को जोड़े बिना भी यह गणित सही नहीं बैठता।

मॉडरेशन से जुड़ी एक दूसरी समस्या भी है। कार्रवाई के निर्णयों का ऑडिट होता है। नियामक या अदालत यह पूछने पर कि कोई अकाउंट क्यों हटाया गया, किसी अप्रकाशित सीमा वाले मॉडल आउटपुट को कारण के रूप में स्वीकार नहीं करेगी।

सॉर्ट करने के लिए स्कोर का उपयोग करें, कार्रवाई के लिए नहीं

उपयोगी दृष्टिकोण कतार को व्यवस्थित करना है। आपके पास समीक्षकों की तुलना में आइटम अधिक हैं। एक स्कोर यह तय करता है कि कोई व्यक्ति पहले किसे देखे, और यह वह काम है जिसे वह 85 प्रतिशत सटीकता पर भी अच्छी तरह से कर सकता है, क्योंकि गलत होने का मतलब केवल इतना है कि कोई व्यक्ति किसी चीज़ को बेवजह देख रहा है।

निचली श्रेणी की सैंपलिंग करना जितना दिखता है उससे कहीं अधिक महत्वपूर्ण है। यह आपके फॉल्स नेगेटिव रेट को मापने का एकमात्र तरीका है, और इस संख्या के बिना आप यह नहीं बता सकते कि सिस्टम काम कर रहा है या उसने चुपचाप पहचान करना बंद कर दिया है।

आपकी नीति में क्या होना चाहिए

अधिकांश प्लेटफ़ॉर्मों में अब सिंथेटिक मीडिया से जुड़ा नियम है, और उनमें से अधिकांश को खराब तरीके से लिखा गया है। आम विफलता सामान्य रूप से AI कंटेंट को प्रतिबंधित करना है, जिसे लागू करना असंभव है और यह उन चीज़ों को भी फंसा देता है जिन्हें कोई रोकना नहीं चाहता था।

तकनीक के बजाय नुकसान और खुलासे के इर्द-गिर्द नियम लिखें। किसी काल्पनिक पोस्ट पर बनी इलस्ट्रेशन किसी को नुकसान नहीं पहुंचाती। किसी उत्पाद, व्यक्ति या घटना की वास्तविक के रूप में प्रस्तुत की गई जेनरेटेड तस्वीर ही वह चीज़ है जिसे आप वास्तव में रोकना चाहते हैं।

वे तीन स्थितियां जिन्हें रीजन मैप अलग करता है

होल-फ्रेम स्कोर तीन ऐसी स्थितियों को एक में मिला देता है जिन्हें अलग-अलग संभालने की आवश्यकता होती है। टाइल व्यू उन्हें अलग करता है, और यह अंतर आमतौर पर परिणाम तय करता है।

• प्रत्येक टाइल उच्च। पूरी तरह से जनरेट की गई इमेज। यदि इसे किसी वास्तविक चीज़ की तस्वीर के रूप में प्रस्तुत किया गया है, तो यह आपका सबसे स्पष्ट केस है।
• एक टाइल उच्च। एक वास्तविक तस्वीर जिसमें कुछ जोड़ा या हटाया गया है। मार्केटप्लेस या समाचार के संदर्भ में यह अक्सर पूरी तरह से जनरेट की गई इमेज से अधिक गंभीर होता है, क्योंकि इसे सच माने जाने के लिए डिज़ाइन किया गया है।
• समान रूप से वॉर्म, कोई भी उच्च नहीं। भारी प्रोसेसिंग। आमतौर पर किसी फ़िल्टर या अपस्केलर से गुज़री एक वास्तविक तस्वीर। इस पर कार्रवाई करने की शायद ही कभी आवश्यकता होती है।

यह मापना कि क्या यह काम कर रहा है

1. शीर्ष श्रेणी में सटीकता (प्रिसिजन) को ट्रैक करें

   90 से ऊपर स्कोर किए गए जिन आइटमों को मॉडरेटर ने खोला, उनमें से कितनों पर कार्रवाई की गई? यदि वह संख्या कम है, तो टूल काम बचाने के बजाय काम बढ़ा रहा है।

2. निचली श्रेणी का साप्ताहिक सैंपल लें

   45 से नीचे के रैंडम सौ आइटम निकालें और उनकी समीक्षा करें। यह मापने का एकमात्र तरीका है कि आप क्या मिस कर रहे हैं, और यही वह चीज़ है जिसे टीमें छोड़ देती हैं।

3. अपील दर पर नज़र रखें

   सिंथेटिक मीडिया के निर्णयों पर सफल अपीलों में वृद्धि का मतलब है कि थ्रेशोल्ड बदल गया है या कोई नया जेनरेटर आ गया है जिसका स्कोर कम आता है।

4. प्रत्येक मॉडल परिवर्तन के बाद बेसलाइन को फिर से सेट करें

   डिटेक्टर अपडेट से स्कोर बदल जाते हैं। छह महीने पहले किसी भिन्न मॉडल वर्ज़न के अनुसार सेट की गई सीमा अब वह सीमा नहीं रह जाती जो आप सोचते हैं।

टूल द्वारा बनाई गई कतार के लिए स्टाफ़ की व्यवस्था

मॉडरेशन पाइपलाइन में डिटेक्टर जोड़ने से कर्मचारियों की संख्या कम नहीं होती है, और जो टीमें ऐसा करने की योजना बनाती हैं उन्हें नुकसान होता है। यह जिस चीज़ को बदलता है वह काम आने का क्रम है, जिससे आपको जितने लोगों की ज़रूरत है उन्हें कम किए बिना प्रत्येक समीक्षक के घंटे का मूल्य बढ़ जाता है।

फ़्लैग की गई कतार के लिए सामान्य कतार की तुलना में प्रति आइटम अधिक समय का बजट रखें। फ़्लैग की गई पोस्ट को देखने वाला समीक्षक अधिक अस्पष्ट सामग्री पर कठिन निर्णय ले रहा होता है, और इसमें जल्दबाजी करने से ही गलत कार्रवाइयां होती हैं। प्रति आइटम दो मिनट यथार्थवादी है; तीस सेकंड नहीं।

समीक्षकों को स्कोर के बजाय रीजन मैप दें। एक मॉडरेटर जो देख सकता है कि इमेज का एक कोना संदिग्ध है, वह केवल एक संख्या दिए गए व्यक्ति की तुलना में बेहतर निर्णय लेता है, और वे बाद में अपील टीम या नियामक को उस निर्णय के बारे में समझा सकते हैं।

सिंथेटिक मीडिया की समीक्षा से लोगों को समय-समय पर बदलते रहें। यह अस्पष्ट मामलों के उच्च अनुपात वाला दोहराव भरा काम है, और लंबी शिफ्ट के दौरान सटीकता में स्पष्ट गिरावट आती है। यह वही सबक है जो प्रत्येक मॉडरेशन विभाग ने अन्य श्रेणियों के बारे में पहले ही सीख लिया है।