Độ chính xác cân bằng đo lường điều gì
Độ chính xác thông thường rất dễ bị thổi phồng. Cung cấp cho công cụ phát hiện một tập kiểm thử gồm 90% hình ảnh do AI tạo ra và một mô hình luôn trả lời có sẽ đạt điểm 90% trong khi hoàn toàn vô dụng.
Độ chính xác cân bằng khắc phục điều đó bằng cách gán trọng số cho hình ảnh thật và hình ảnh do AI tạo ra như nhau, do đó con số này là trung bình của hai tỷ lệ: tần suất ảnh chụp thật được phân loại đúng là sạch, và tần suất ảnh do AI tạo ra được gắn cờ chính xác. Một công cụ trích dẫn độ chính xác thông thường mà không nêu rõ tỷ lệ tập kiểm thử của nó sẽ không nói lên nhiều điều.
Hai cách mà công cụ phát hiện đưa ra kết quả sai
Một con số duy nhất che giấu hai dạng lỗi rất khác nhau, và chúng mang lại những chi phí rất khác nhau.
Dương tính giả
- Một bức ảnh thật có điểm số nằm trên đường ranh giới
- Gây ra bởi việc nâng cấp độ phân giải, chỉnh sửa, chế độ ban đêm, ảnh chụp màn hình
- Chi phí: sự quy kết sai đối với một người thực
- Lỗi gây ra tổn hại thực tế
Âm tính giả
- Một bức ảnh do AI tạo ra có điểm số nằm dưới đường ranh giới
- Gây ra bởi các trình tạo ảnh mới, chỉnh sửa nhỏ, tệp đã qua tẩy rửa
- Chi phí: một bức ảnh giả lọt qua mà không bị thách thức
- Lỗi ít được mọi người chú ý hơn
Việc di chuyển đường ranh độ quyết định là sự đánh đổi qua lại. Hạ thấp đường ranh này giúp phát hiện nhiều ảnh giả hơn nhưng đồng thời cũng gắn cờ nhầm nhiều ảnh thật hơn. Nâng cao đường ranh giúp bảo vệ ảnh thật và để lọt nhiều ảnh giả hơn. Không có cài đặt nào cải thiện được cả hai yếu tố cùng lúc, đó là lý do tại sao đường ranh được đặt ở mức 65 thay vì được tinh chỉnh âm thầm.
Tại sao các con số chuẩn hóa lại phóng đại hiệu suất thực tế
| Hình ảnh chuẩn hóa | Hình ảnh của bạn | Ảnh hưởng đến điểm số |
|---|---|---|
| Tệp gốc, chưa từng được lưu lại | Được nén hai hoặc ba lần | Độ chính xác giảm đi vài điểm |
| Độ phân giải đầy đủ | Được cắt hoặc giảm độ phân giải cho ứng dụng trò chuyện | Ít chi tiết để đọc hơn, độ không đảm bảo cao hơn |
| Các trình tạo được biết đến tại thời điểm huấn luyện | Một mô hình được phát hành tháng trước | Điểm yếu cố hữu của mọi trình phát hiện |
| Ảnh chụp sạch hoặc ảnh dựng sạch | Ảnh thật với một điểm chỉnh sửa bằng AI | Điểm số toàn khung hình làm giảm mức độ nghiêm trọng |
| Không có quá trình xử lý đối kháng | Cố tình làm nhiễu để lọt qua | Được thiết kế để đánh bại phép đo |
Không có trường hợp nào trong số này là bất thường. Chúng mô tả cách hình ảnh thực sự di chuyển. Một bức ảnh đến tay bạn qua hai nền tảng và một ảnh chụp màn hình đã mất đi phần lớn tín hiệu mà điểm chuẩn dùng để đo lường.
Cách đọc một tuyên bố về độ chính xác
- Hãy hỏi bộ dữ liệu thử nghiệm nào. Một con số không đi kèm điểm chuẩn cụ thể chỉ là chiêu trò marketing. Một con số trên điểm chuẩn công khai có thể được kiểm chứng bởi người khác.
- Hãy hỏi về tính cân bằng hoặc đơn giản. Độ chính xác đơn thuần trên một bộ dữ liệu thử nghiệm mất cân bằng là con số dễ thổi phồng nhất.
- Hãy hỏi đường ranh độ quyết định nằm ở đâu. Độ chính xác là vô nghĩa nếu không biết ngưỡng mà nó được đo lường.
- Hãy hỏi những trình tạo nào đã được đưa vào. Bất kỳ trình phát hiện nào cũng đạt điểm cao trên các mô hình mà nó được huấn luyện và kém hơn trên các mô hình ra mắt sau đó.
- Hãy yêu cầu tỷ lệ dương tính giả riêng. Đó là con số quyết định xem công cụ này có an toàn khi sử dụng trên người thật hay không.
Những gì độ chính xác không thể cho bạn biết
Điểm chuẩn đo lường mức độ chính xác của một mô hình trên một tập hợp hình ảnh. Nó không cho biết mô hình đó có chính xác với hình ảnh của bạn hay không. Không có khoảng tin cậy nào gắn liền với một kết quả duy nhất và một trình phát hiện không thể biết nó đang mắc lỗi nào trong số các lỗi của mình.
Đây là lý do tại sao bản đồ vùng và bằng chứng tệp quan trọng hơn con số ở tiêu đề. Sự đồng thuận giữa các tín hiệu độc lập có giá trị hơn một con số mạnh mẽ từ một trong số chúng, và sự bất đồng tự bản thân nó đã là một phát hiện.
Cách tự kiểm tra một trình phát hiện
Bạn không bắt buộc phải tin tưởng con số của bất kỳ ai. Một bài kiểm tra hữu ích chỉ mất một buổi chiều và cho bạn biết nhiều điều về một công cụ hơn bất kỳ điểm chuẩn được công bố nào, bởi vì nó sử dụng những hình ảnh trông giống như hình ảnh của bạn.
-
Xây dựng một tập hợp mà bạn đã biết trước đáp án
Hai mươi bức ảnh bạn tự chụp và hai mươi hình ảnh bạn tạo ra. Giữ nguyên bản các tệp gốc. Hai mươi bức cho mỗi loại là đủ để vạch trần một công cụ rõ ràng là yếu kém.
-
Bao gồm cả khoảng giữa khó xử
Thêm ảnh chụp màn hình từ ảnh của chính bạn, ảnh chế độ ban đêm, ảnh cắt được nâng cấp độ phân giải và chân dung được chỉnh sửa nhiều. Đây là nơi các trình phát hiện thất bại, và đây cũng là phần mà mọi điểm chuẩn của nhà cung cấp đều bỏ qua.
-
Ghi lại điểm số và mức độ, không phải phán quyết
Viết lại những gì mỗi công cụ trả về. So sánh các mức độ mang lại nhiều thông tin hơn so với so sánh các con số, bởi vì hai công cụ có thể đặt đường ranh độ quyết định của chúng ở các vị trí khác nhau.
-
Đếm riêng hai loại lỗi
Có bao nhiêu ảnh thật của bạn bị gắn cờ và có bao nhiêu hình ảnh do bạn tạo ra bị bỏ sót. Một công cụ không bao giờ bỏ sót ảnh giả nhưng lại đánh dấu nhầm một phần ba số ảnh của chính bạn là không thể sử dụng được trên con người.
Con số quan trọng là con số đầu tiên: mức độ thường xuyên nó gọi tác phẩm của chính bạn là giả. Đó là thất bại đi kèm với cái giá phải trả, và đó là con số mà con số độ chính xác ở tiêu đề đã gạt bỏ.