사람들이 같은 대상을 두고 부르는 두 가지 다른 이름
완전하게 생성된 이미지는 아무것도 없는 상태에서 시작됩니다. 그 아래에는 사진도, 센서 판독값도, 발생한 순간도 없습니다. 모든 픽셀은 모델에 의해 생성되었으며, 그 안에 있는 사람은 명예를 훼손할 신원이 없습니다. 실제 사람이 존재하지 않기 때문입니다.
딥페이크는 실제적인 것에서 시작됩니다. 그 아래에는 사진이나 비디오, 즉 실제 순간에 대한 실제 캡처가 있으며, 모델이 특정 영역(대개 얼굴)을 다른 사람의 렌더링으로 교체했습니다.
이러한 구별은 법적, 편집적, 기술적으로 중요합니다. 존재하지 않는 의사의 생성된 스톡 사진은 라이선스 문제입니다. 결코 부착된 적 없는 몸에 얼굴을 붙인 실제 의사의 사진은 명예훼손 문제이며, 잠재적으로는 범죄 문제일 수 있습니다.
딥페이크를 잡아내기 더 어려운 이유
탐지기는 이미지의 통계적 텍스처를 분석하여 모델이 생성한 것과 얼마나 유사한지 보고합니다. 프레임 전체가 합성물일 경우 해당 신호가 모든 곳에 존재하므로 점수가 명확하게 나타납니다.
얼굴 교체는 문제를 정반대로 만듭니다. 사진의 90%는 실제 센서 노이즈와 압축 이력을 가진 진짜 사진이며, 전체 프레임의 평균 점수에는 이 점이 반영됩니다. 정교하게 교체된 이미지는 실제로 기만적인 이미지임에도 30점대의 점수가 나올 수 있습니다.
이는 모델의 결함이라기보다는 질문 자체의 한계입니다. 이미지의 대부분은 진짜이고 단지 중요한 일부만 가짜라는 것이 정확한 답일 때, 이미지 전체가 생성된 것인지 묻는 것은 올바른 접근이 아닙니다.
33점이라는 평균값은 정작 중요한 타일 하나를 가려버리는 원인이 됩니다.
영역별 맵은 이러한 형태의 문제를 해결하는 해법입니다. 겹치는 타일들을 개별적으로 점수화하면, 국소적인 교체 부위가 관련 없는 전체 프레임에 희석되지 않고 해당 영역 주변부와 비교되어 측정됩니다.
등장 순서대로 정리한 주요 용어
| 용어 | 의미 | 대상이 실제 인물인가요? |
|---|---|---|
| 딥페이크 | 실제 인물의 외형을 다른 영상에 합성한 것 | 예 |
| 페이스 스왑 | 사진이나 영상에서 흔히 볼 수 있는 딥페이크 형태 | 예 |
| AI 생성됨 | 원본 사진 없이 프롬프트만으로 생성됨 | 아니요 |
| AI 편집됨 | 무언가 추가되거나 제거된 실제 사진 | 보통 그러함 |
| 합성 미디어 | 위 항목 전체를 포괄하는 상위 개념 | 경우에 따라 다름 |
| 칩페이크 | 캡션, 크롭, 과거 날짜 등으로 왜곡된 실제 미디어 | 예 |
마지막 행은 눈여겨볼 가치가 있습니다. 이는 시각적 허위 정보 중 가장 흔한 형태이지만 어떤 탐지기로도 잡아낼 수 없기 때문입니다. 3년 전 다른 나라에서 찍힌 무편집 원본 사진을 오늘의 뉴스로 둔갑시켜 캡션을 달아도, 탐지기는 있는 그대로의 실제 사진으로 점수를 매깁니다.
상황별 실질적인 대처 방법
- 이미지 전체가 가짜로 의심되는 경우. 전체 프레임 검사를 실행하세요. 균일한 맵과 함께 높은 점수가 나온다면 가장 확실한 경우입니다.
- 특정 인물이 삽입되거나 교체된 것으로 의심되는 경우. 영역별 맵을 먼저 확인하세요. 점수 수치만으로는 과소평가될 수 있습니다.
- 문서가 변조된 것으로 의심되는 경우. 위와 동일하게 확인하되, 변경된 필드 위에 정확히 하나의 고위험 타일이 나타나는지 살펴보세요.
- 캡션이 거짓으로 의심되는 경우. 탐지기로는 해결할 수 없습니다. 역이미지 검색을 통해 날짜와 장소를 확인하세요.
- 동영상인 경우. 완전히 다른 도구가 필요합니다. 프레임별 정지 이미지 분석은 실시간 교체에서 발생하는 시간적 왜곡(temporal artefacts)을 놓치기 쉽습니다.
이러한 구분이 사람들을 보호하는 이유
모든 합성 이미지를 동일한 수준으로 심각하게 다루면 두 가지 실패를 동시에 겪게 됩니다. 사진사를 고용할 여유가 없어 생성된 인물 사진을 쓰는 것과 같은 무해한 사례에 불필요한 주의를 낭비하게 되고, 실제로 개인에게 피해를 주는 사례는 과소평가하게 됩니다.
피해의 본질은 픽셀이 인공적이라는 데 있지 않습니다. 실존하는 특정 인물이 하지도 않은 행동을 한 것처럼 묘사되는 데 있습니다. 이는 엄중히 대응해야 할 문제이며, 중간 수준의 점수를 요약 결과로 신뢰해서는 안 되는 대표적인 사례입니다.
기술 자체가 아닌 신원(identity)을 중심으로 내부 정책을 수립하면 시간이 지나도 유효합니다. 기술적 방법은 계속 변하겠지만, 특정 인물이 왜곡되어 묘사되었는가라는 본질적인 질문은 변하지 않기 때문입니다.
페이스 스왑의 실제 제작 과정
제작 과정을 이해하면 탐지 원리를 이해하는 데 도움이 됩니다. 얼굴 교체는 대상 사진과 사용될 얼굴을 가진 인물의 사진 세트에서 시작됩니다. 모델은 대상 사진에 이미 존재하는 조명, 각도, 표정에 맞춰 해당 얼굴을 렌더링하는 방법을 학습합니다.
이렇게 렌더링된 얼굴은 원본 프레임에 다시 합성되며, 경계면 처리가 가장 까다로운 부분입니다. 두 영역은 서로 다른 노이즈, 압축 이력, 때로는 미세하게 다른 색상 반응을 가지므로, 사람의 눈으로 이음새를 알아채지 못할 때까지 블렌딩 단계에서 경계를 부드럽게 다듬습니다.
영역별 맵이 감지하는 것이 바로 이 스무딩 흔적입니다. 블렌딩은 센서가 생성하는 고주파 텍스처를 제거하므로, 이음새가 눈에 보이지 않더라도 결과 패치는 통계적으로 주변의 모든 영역과 달라집니다. 경계면은 눈에 보이지 않지만 동시에 측정 가능합니다.
이는 교체된 이미지가 전체 프레임 검사를 쉽게 통과하는 이유이기도 합니다. 조작된 영역은 크기가 작고 주변에 맞춰 의도적으로 블렌딩되어 있으며, 프레임 전체의 평균 점수를 지배하는 원본 사진에 둘러싸여 있기 때문입니다.
반복되는 실수
사람들은 딥페이크로 의심되는 이미지를 탐지기에 돌려보고 30점대 점수가 나오면 진짜 이미지라고 결론짓곤 합니다. 이는 올바른 수치에서 잘못된 추론을 내린 것입니다. 점수 자체는 정확하지만, 그 점수가 답하는 질문은 애초에 확인하려던 내용이 아닙니다.
이를 바로잡는 습관은 간단합니다. 특정 인물과 관련된 우려가 있는 이미지라면 대표 수치를 보기 전에 영역별 맵부터 열어보고, 평균값이 아닌 가장 높은 타일의 점수를 유의미한 결과로 다루세요.