اے آئی امیج ڈیٹیکٹر کی درستگی: 91% کا اصل مطلب کیا ہے

متوازن درستگی کیا ماپتی ہے

سادہ درستگی کو بڑھانا آسان ہے۔ ایک ڈیٹیکٹر کو ایسا ٹیسٹ سیٹ دیں جس میں 90 فیصد تیار کردہ تصویریں ہوں اور ایک ماڈل جو ہر چیز کو ہاں کہے، وہ 90 فیصد اسکور کرے گا جبکہ وہ بیکار ہوگا۔

متوازن درستگی اس کو برابر کرنے کے لیے اصلی اور تیار کردہ تصویروں کو یکساں وزن دیتی ہے، لہذا یہ عدد دو شرحوں کا اوسط ہے: کتنی بار اصلی تصویروں کو درست طور پر کلیئر کیا گیا، اور کتنی بار تیار کردہ تصویروں کو درست طور پر فلیگ کیا گیا۔ جو ٹول اپنے ٹیسٹ مکس کا نام لیے بغیر سادہ درستگی بتاتا ہے وہ آپ کو زیادہ کچھ نہیں بتا رہا۔

ڈیٹیکٹر کے غلط ہونے کے دو طریقے

ایک نمبر دو بہت مختلف ناکامیوں کو چھپاتا ہے، اور ان کی قیمت بہت مختلف ہوتی ہے۔

فیصلے کی لکیر کو آگے پیچھے کرنے سے ایک چیز حاصل ہوتی ہے تو دوسری کھو جاتی ہے۔ اسے نیچے لانے سے زیادہ جعلی تصاویر پکڑی جاتی ہیں اور اصلی تصاویر پر بھی شک کا نشان لگ جاتا ہے۔ اسے اوپر اٹھانے سے اصلی تصاویر محفوظ رہتی ہیں لیکن زیادہ جعلی تصاویر نکل جاتی ہیں۔ کوئی ایسی ترتیب نہیں ہے جو دونوں کو بہتر بنائے، اسی لیے یہ لکیر 65 پر شائع کی گئی ہے نہ کہ خاموشی سے تبدیل کی گئی ہے۔

بینچ مارک کے اعداد و شمار اصل کارکردگی کو بڑھا چڑھا کر کیوں پیش کرتے ہیں

ان میں سے کوئی بھی غیر معمولی کیس نہیں ہے۔ یہ بتاتے ہیں کہ تصاویر اصل میں کیسے سفر کرتی ہیں۔ ایک تصویر جو دو پلیٹ فارمز اور ایک سکرین شاٹ کے ذریعے آپ تک پہنچتی ہے، وہ اس سگنل کا بہت بڑا حصہ پہلے ہی کھو چکی ہوتی ہے جس پر بینچ مارک کی پیمائش کی گئی تھی۔

درستگی کے دعوے کو کیسے پڑھیں

• پوچھیں کہ ٹیسٹ سیٹ کیا ہے۔ بغیر نام کے بینچ مارک والا عدد مارکیٹنگ ہے۔ پبلک بینچ مارک پر موجود عدد کو کوئی دوسرا بھی چیک کر سکتا ہے۔
• متوازن یا سادہ ہونے کے بارے میں پوچھیں۔ ایک غیر متوازن ٹیسٹ سیٹ پر سادہ درستگی وہ عدد ہے جسے بڑھانا سب سے آسان ہے۔
• پوچھیں کہ فیصلے کی لکیر کہاں ہے۔ اس حد کو جانے بغیر درستگی بے معنی ہے جس پر اس کی پیمائش کی گئی تھی۔
• پوچھیں کہ کون سے جنریٹرز شامل تھے۔ کوئی بھی ڈیٹیکٹر ان ماڈلز پر اچھا سکور کرتا ہے جن پر اس کی تربیت ہوئی ہو، اور اس پر خراب کارکردگی دکھاتا ہے جو بعد میں ریلیز ہوا۔
• فالس پازیٹو ریٹ الگ سے مانگیں۔ یہ وہ عدد ہے جو فیصلہ کرتا ہے کہ آیا یہ ٹول اصلی لوگوں پر استعمال کرنے کے لیے محفوظ ہے۔

درستگی آپ کو کیا نہیں بتا سکتی

ایک بینچ مارک پیمائش کرتا ہے کہ ایک ماڈل تصاویر کی آبادی میں کتنی بار درست ہے۔ یہ اس بارے میں کچھ نہیں کہتا کہ کیا یہ آپ کی تصویر پر درست ہے۔ کسی ایک نتیجے کے ساتھ کوئی کانفیڈنس انٹرول منسلک نہیں ہوتا، اور ایک ڈیٹیکٹر یہ نہیں جان سکتا کہ وہ اپنی کون سی غلطیاں کر رہا ہے۔

یہی وجہ ہے کہ ریجن میپ اور فائل کے شواہد ہیڈ لائن کے عدد سے زیادہ اہم ہیں۔ آزاد سگنلز کے درمیان اتفاق ایک سگنل کے مضبوط نمبر سے زیادہ قابل قدر ہے، اور اختلاف خود ایک نتیجہ ہے۔

ڈیٹیکٹر کو خود ٹیسٹ کرنے کا طریقہ

آپ کو کسی کے عدد پر اندھا اعتماد کرنے کی ضرورت نہیں ہے۔ ایک مفید ٹیسٹ میں ایک دوپہر لگتی ہے اور یہ آپ کو کسی بھی شائع شدہ بینچ مارک سے زیادہ ٹول کے بارے میں بتاتا ہے، کیونکہ یہ وہ تصاویر استعمال کرتا ہے جو آپ کی تصویروں جیسی ہوتی ہیں۔

1. ایک ایسا سیٹ بنائیں جس کا جواب آپ پہلے سے جانتے ہوں

   بیس تصاویر جو آپ نے خود لی ہوں، اور بیس تصاویر جو آپ نے جنریٹ کی ہوں۔ اصل فائلوں کو مت چھوئیں۔ ہر ایک کی بیس تصاویر کسی بھی کمزور ٹول کو بے نقاب کرنے کے لیے کافی ہیں۔

2. مشکل درمیانی حصے کو شامل کریں

   اپنی تصاویر کے سکرین شاٹس، نائٹ موڈ شاٹس، اپ سکیل کی ہوئی کراپ اور بھاری ری ٹچ شدہ پورٹریٹ شامل کریں۔ یہ وہ جگہ ہے جہاں ڈیٹیکٹر ناکام ہوتے ہیں، اور یہ وہ حصہ ہے جسے ہر وینڈر کا بینچ مارک چھوڑ دیتا ہے۔

3. سکور اور بینڈ ریکارڈ کریں، فیصلہ نہیں

   لکھیں کہ ہر ٹول نے کیا جواب دیا۔ بینڈز کا موازنہ نمبروں کے موازنہ سے زیادہ معلوماتی ہے، کیونکہ دو ٹولز اپنی فیصلے کی لکیریں مختلف جگہوں پر رکھ سکتے ہیں۔

4. غلطیوں کی دو اقسام کو الگ الگ گنیں

   آپ کی کتنی اصلی تصاویر پر غلطی سے نشان لگا، اور کتنی جنریٹڈ تصاویر چھوٹ گئیں۔ ایک ٹول جو آپ کی اپنی ایک تہائی تصاویر کو غلط نشان لگا کر کسی جعلی تصویر کو نہیں پکڑتا، وہ لوگوں پر استعمال کے قابل نہیں ہے۔

اہم نمبر پہلا ہے: یہ کتنی بار آپ کے اپنے کام کو جعلی قرار دیتا ہے۔ یہ وہ ناکامی ہے جس کی قیمت ادا کرنی پڑتی ہے، اور یہ وہی ہے جسے ہیڈ لائن درستگی کا عدد اوسط نکال کر چھپا دیتا ہے۔