ব্যালান্সড সঠিকতা যা পরিমাপ করে
সাধারণ সঠিকতা বাড়িয়ে বলা সহজ। কোনো ডিটেক্টরকে এমন একটি টেস্ট সেট দিন যা ৯০ শতাংশ জেনারেটেড ছবি এবং এমন একটি মডেল যা সবকিছুর জন্যই হ্যাঁ বলে এবং অকেজো হওয়ার সময় ৯০ শতাংশ স্কোর করে।
ব্যালান্সড সঠিকতা আসল এবং জেনারেটেড ছবিগুলোকে সমানভাবে ওয়েট দিয়ে তা ঠিক করে, সুতরাং ফিগারটি হলো দুটি হারের গড়: কত ঘন ঘন আসল ছবিগুলো সঠিকভাবে ক্লিয়ার করা হয়, এবং কত ঘন ঘন জেনারেটেড ছবিগুলো সঠিকভাবে ফ্ল্যাগ করা হয়। কোনো টুল তার টেস্ট মিক্সের নাম না দিয়ে সাধারণ সঠিকতা উদ্ধৃত করলে তা আপনাকে খুব বেশি কিছু বলছে না।
যে দুটি উপায়ে কোনো ডিটেক্টর ভুল করে
একটি নম্বর দুটি খুব আলাদা ব্যর্থতা লুকিয়ে রাখে এবং সেগুলোর খরচও খুব আলাদা।
ফলস পজিটিভ
- একটি আসল ছবি লাইনের ওপরে স্কোর করেছে
- আপস্কেলিং, রিটাচিং, নাইট মোড, স্ক্রিনশট দ্বারা সৃষ্ট
- খরচ: একজন বাস্তব ব্যক্তির বিরুদ্ধে অভিযোগ
- যে ব্যর্থতা প্রকৃত ক্ষতি করে
ফলস নেগেটিভ
- একটি জেনারেটেড ছবি লাইনের নিচে স্কোর করেছে
- নতুন জেনারেটর, ছোট সম্পাদনা, লন্ডার্ড ফাইল দ্বারা সৃষ্ট
- খরচ: একটি ফেক ছবি চ্যালেঞ্জ ছাড়াই পার পেয়ে যায়
- যে ব্যর্থতা মানুষ কম লক্ষ্য করে
সিদ্ধান্ত নেওয়ার রেখাটি বদল করলে এক সুবিধা ছেড়ে অন্য সুবিধা পেতে হয়। এটি কমালে আরও বেশি জাল ছবি ধরা পড়ে এবং আসল ছবিও বেশি পরিমাণে চিহ্নিত হয়। এটি বাড়ালে আসল ছবি সুরক্ষিত থাকে এবং জাল ছবি বেশি পার পেয়ে যায়। এমন কোনো সেটিংস নেই যা দুটোই উন্নত করে, আর তাই রেখাটিকে চুপিসারে সামঞ্জস্য না করে ৬৫-তে প্রকাশ করা হয়েছে।
বেন্চমার্কের সংখ্যাগুলো কেন আসল কার্যকারিতাকে বাড়িয়ে দেখায়
| বেন্চমার্ক ছবি | আপনার ছবি | স্কোরের ওপর প্রভাব |
|---|---|---|
| আসল ফাইল, কখনো পুনরায় সেভ করা হয়নি | দুবার বা তিনবার কম্প্রেস করা হয়েছে | সঠিকতার মান কয়েক পয়েন্ট কমে যায় |
| সম্পূর্ণ রেজোলিউশন | চ্যাট অ্যাপের জন্য ক্রপ বা ডাউনস্কেল করা হয়েছে | পড়ার মতো কম বিবরণ, আরও বেশি অনিশ্চয়তা |
| প্রশিক্ষণের সময় যেসব জেনারেটর জানা ছিল | গত মাসে প্রকাশিত একটি মডেল | প্রতিটি ডিটেক্টরের চিরন্তন দুর্বলতা |
| পরিষ্কার ছবি বা পরিষ্কার রেন্ডার | একটি এআই এডিটসহ আসল ছবি | পুরো-ফ্রেমের স্কোর বিষয়টিকে কমিয়ে দেখায় |
| কোনো অ্যাডভার্সারি প্রসেসিং নেই | পাশ করার উদ্দেশ্যে উদ্দেশ্যমূলকভাবে ক্লিন করা হয়েছে | পরিমাপকে ব্যর্থ করার জন্য ডিজাইন করা হয়েছে |
এর কোনোটিই অস্বাভাবিক কোনো ঘটনা নয়। এগুলো ছবি যেভাবে বাস্তবে যাতায়াত করে তা বর্ণনা করে। যে ছবি দুটি প্ল্যাটফর্ম এবং একটি স্ক্রিনশটের মাধ্যমে আপনার কাছে পৌঁছায়, সেটি ইতিমধ্যে সেই সিগন্যালের অনেকটাই হারিয়ে ফেলে যার ওপর বেঞ্চমার্ক মাপা হয়েছিল।
সঠিকতার দাবি কীভাবে যাচাই করবেন
- কোন টেস্ট সেট তা জিজ্ঞাসা করুন। একটি নির্দিষ্ট বেঞ্চমার্কবিহীন সংখ্যা হলো মার্কেটিং। একটি পাবলিক বেঞ্চমার্কের ওপর থাকা সংখ্যা অন্য কেউ যাচাই করতে পারে।
- ভারসাম্যপূর্ণ নাকি সাধারণ তা জিজ্ঞাসা করুন। অসম টেস্ট সেটের ওপর সাধারণ সঠিকতা হলো স্ফীত করার সবচেয়ে সহজ সংখ্যা।
- সিদ্ধান্তের রেখাটি কোথায় আছে তা জিজ্ঞাসা করুন। যে থ্রেশহোল্ড বা সীমার ওপর এটি মাপা হয়েছে তা না জেনে সঠিকতার কোনো অর্থ হয় না।
- কোন জেনারেটরগুলো অন্তর্ভুক্ত ছিল তা জিজ্ঞাসা করুন। যেকোনো ডিটেক্টর যে মডেলগুলোতে প্রশিক্ষণ নিয়েছে সেগুলোতে ভালো ফল করে এবং এর পরে প্রকাশিত মডেলগুলোতে খারাপ ফল করে।
- মিথ্যা পজিটিভের হার আলাদাভাবে জিজ্ঞাসা করুন। এটি সেই সংখ্যা যা নির্ধারণ করে টুলটি আসল মানুষের ওপর ব্যবহার করা নিরাপদ কিনা।
সঠিকতা যা আপনাকে বলতে পারে না
একটি বেঞ্চমার্ক পরিমাপ করে যে একটি মডেল কত ঘন ঘন ছবির জনসংখ্যার ওপর সঠিক হয়। এটি আপনার ছবির ওপর সঠিক হবে কিনা সে বিষয়ে কিছুই বলে না। একক ফলাফলের সাথে কোনো কনফিডেন্স ইন্টারভাল যুক্ত থাকে না, এবং একটি ডিটেক্টর জানে না যে এটি কোন ত্রুটিগুলো করছে।
এই কারণেই অঞ্চল মানচিত্র এবং ফাইলের প্রমাণগুলো হেডলাইন ফিগারের চেয়ে বেশি গুরুত্বপূর্ণ। স্বাধীন সিগন্যালগুলোর মধ্যকার সামঞ্জস্য সেগুলোর যেকোনো একটির শক্তিশালী নম্বরের চেয়েও বেশি মূল্যবান, এবং অমিল নিজেই একটি অনুসন্ধান।
কীভাবে নিজেই একটি ডিটেক্টর পরীক্ষা করবেন
কাউরো নম্বরের ওপর আপনাকে অন্ধভাবে ভরসা করতে হবে না। একটি দরকারী পরীক্ষার জন্য একটি বিকেল সময় লাগে এবং প্রকাশিত যেকোনো বেঞ্চমার্কের চেয়ে কোনো টুল সম্পর্কে আপনাকে বেশি তথ্য দেয়, কারণ এটি আপনার মতো দেখতে ছবিগুলো ব্যবহার করে।
-
এমন একটি সেট তৈরি করুন যার উত্তর আপনার আগে থেকেই জানা আছে
আপনার নিজের তোলা বিশটি ছবি এবং আপনার তৈরি করা বিশটি ছবি। আসলগুলো অক্ষত রাখুন। প্রতিটির বিশটি ছবিই স্পষ্টভাবে একটি দুর্বল টুলকে প্রকাশ করার জন্য যথেষ্ট।
-
অস্বস্তিকর মধ্যবর্তী বিষয়গুলো অন্তর্ভুক্ত করুন
আপনার নিজের ছবির স্ক্রিনশট, নাইট-মோடு শট, একটি আপস্কেল করা ক্রপ এবং একটি ভারীভাবে রিটাচ করা প্রতিকৃতি যোগ করুন। এখানেই ডিটেক্টরগুলো ব্যর্থ হয়, এবং এটি এমন একটি অংশ যা প্রতিটি ভেন্ডরের বেঞ্চমার্ক বাদ দেয়।
-
রায় নয়, স্কোর এবং ব্যান্ড রেকর্ড করুন
প্রতিটি টুল কী ফিরিয়ে দিয়েছে তা লিখে রাখুন। ব্যান্ড তুলনা করা সংখ্যা তুলনা করার চেয়ে বেশি তথ্যপূর্ণ, কারণ দুটি টুল তাদের সিদ্ধান্তের রেখাগুলো বিভিন্ন জায়গায় রাখতে পারে।
-
দুটি ত্রুটির ধরণ আলাদাভাবে গণনা করুন
আপনার কতগুলো আসল ছবি ফ্ল্যাগ করা হয়েছিল, এবং আপনার জেনারেট করা কতগুলো ছবি বাদ পড়েছিল। যে টুল আপনার নিজের ছবির এক তৃতীয়াংশ ফ্ল্যাগ করে কোনো জাল ছবি মিস করে না তা মানুষের ওপর ব্যবহার উপযোগী নয়।
যে সংখ্যাটি গুরুত্বপূর্ণ তা হলো প্রথমটি: এটি কত ঘন ঘন আপনার নিজের কাজকে জাল বলে। এটি এমন একটি ব্যর্থতা যার সাথে একটি খরচ যুক্ত থাকে, এবং এটি সেই সংখ্যা যা একটি হেডলাইন সঠিকতার চিত্রকে দূর করে।