アップスケーラーが実際に行っていること
従来のサイズ変更は補間処理を行います。両側の画素から中間の画素値を計算し、より大きく柔らかい画像を作成しますが、元々なかった情報は一切追加されません。
現代のアップスケーラーは生成を行います。これは小さな画像と大きな画像のペアで学習されたモデルであり、被写体から導き出されたものではなく、肌の毛穴、布の繊維、遠くの木の葉など、被写体としてもっともらしい詳細を生成します。
その区別がこの記事のすべてです。毛穴は撮影されたものではありません。モデルがその場所にどのような毛穴があるかを推測したものであり、これはジェネレーターがフレーム全体で行う操作と同じです。
つまり、アップスケーラーを通した画像には純粋に合成されたテクスチャが含まれており、テクスチャを読み取る検出器はそれをそのまま報告します。結果は正確ですが、人々がそこから導き出す結論が間違っているのです。
なぜこれが多くの誤検知を生むのか
アップスケーリングはあらゆるところで行われており、それを行う人にはほとんど見えません。スマートフォンのカメラはデジタルズームに適用し、編集ソフトは高画質化として提供し、ビデオ通話は帯域幅を補うために使用し、プラットフォームはオリジナルより大きいサイズで画像を表示する際に適用します。
アーカイブや修復作業は極端な例です。低解像度でスキャンされ印刷用に高画質化された古い写真は、構築によって大幅に書き換えられており、モデルが作成したもののようなスコアが出ます。なぜなら、見ているものの多くがそうだからです。
右上の領域が問題です。それらの画像は実物を描写しつつ捏造された画素を含んでおり、モデルはどちらか一方しか測定していないため、両方の特性を分離できるスコアは存在しません。
見分ける方法
領域マップが最初のツールです。これは、アップスケーリングと生成では捏造されたテクスチャの分布が異なるために機能します。
- アップスケーリングは均一です。 フレームのすべての部分は同じプロセスで拡大されるため、グリッドは暖色で平坦です。
- 生成も同様に均一であるため、マップだけでは判別できません。
- 部分的な高画質化は均一ではありません。 集合写真の特定の人物にのみ適用された顔の修復は局所的な熱を生み出し、それが有益な情報となります。
- 構図は維持されます。 アップスケーリングされた写真は、実在するシーンであったため、現実の幾何学的構造、遠近法、照明を持っています。
- 詳細は確認できます。 捏造された領域を拡大してください。アップスケーリングされたテキストはもっともらしい無意味な文字列になりますが、本物のテキストは読めるままです。
最後のポイントが実践的です。看板、ラベル、小さな文字をズームしてください。読めないテキストに直面したアップスケーラーは、自信を持って文字のような記号を生成しますが、それらは何も意味しません。スコアが出ない場合でも、人間にはその失敗が見て取れます。
| 信号 | アップスケーリングされた写真 | 生成画像 |
|---|---|---|
| フレーム全体のスコア | 高い | 高い |
| 領域マップ | ウォームでフラット | ウォームでフラット |
| 拡大時の小さなテキスト | もっともらしい無意味な文字列 | もっともらしい無意味な文字列 |
| シーンの幾何学的構造 | 一貫性がある、実物であった | 現在は通常一貫している |
| より小さく古いコピーが存在する | しばしば | いいえ |
| オリジナルファイルが利用可能 | はい、要求してください | 存在しない |
下2行が実際に解決策となるものですが、どちらも画素の測定ではありません。より小さい初期のコピーを見つける画像検索、または高画質化前のファイルを提供できる情報源があれば、問題は直接解決します。
これが実践で意味すること
画像を評価する人にとっての運用ルールは、高いスコアを発見とみなす前に、高画質化について質問することです。これは1つの質問で済み、コストもかからず、不可解な結果の大部分を説明してくれます。
公開する側にとって、これはオリジナルを保持しておく理由になります。高画質化前のファイルを用意できる写真家、損害保険担当者、ジャーナリストは、そうでなければ答えのない質問に対する完全な回答を持つことになります。
アーカイブや修復作業においては、これは検出の問題というよりはラベル付けの問題です。高画質化された歴史的な写真は正当で有用な成果物であり、常に悪いスコアが出ます。したがって、正直な対応は、それに対して何が行われたかを明記することです。
これが実際に害を及ぼす場所
3つの状況が、これを好奇心の対象から問題へと変えます。そして3つすべてに共通する特徴は、誰かが自分で撮影していない画像に基づいて、その人物に関する決定を下していることです。
保険金請求が最も明確です。請求者がスマートフォンの破損箇所を撮影すると画像は小さくなり、誰かが詳細を確認するためにそれを拡大します。拡大されたバージョンは高いスコアを示し、正当な請求に、今では誰も消去できない「改ざんの可能性がある」というメモが付けられます。
ジャーナリズムも同じ形です。情報源からの写真は印刷のためにアップスケーリングされ、高画質化されたバージョンが流通し、後になってそのコピーにフラグが立てられます。オリジナルには問題がなかったのに、それはもう誰も持っていないバージョンなのです。
法務や懲戒の文脈は最も深刻です。多くの場合、高画質化されたコピーが記録として残されるからです。画像が頼りにされる場合、持ち込まれるべきファイルは高画質化前のものです。そして、高画質化は別々に文書化されるべきです。
ワークフローを構築する人へのメモ
あなたの組織を通じて画像が処理・評価される場合、利用可能な最も安価な改善策は、ファイルが高画質化されたかどうかを記録するフィールドを設けることです。受け入れ時にチェックボックスを1つ増やすだけで、後から解決不能な論争になる可能性のあるカテゴリーを完全に取り除けます。
2番目に安価なのは、高画質化はコピーに対して行うというルールです。受け取ったファイルを保持し、閲覧用に複製を高画質化し、記録と一緒に移動するのは、見栄えの良いものではなくオリジナルであることを確認してください。
ここには、スコアが何を測定するかについてのより広い教訓があります。モデルは、目の前にあるテクスチャのうちどれだけがソフトウェアによって生成されたかを報告します。これは現実の特性であり、人々が求める「それが実際に起こったことを記録しているか」という特性とは異なります。
この分野の不可解な結果のほとんどは、そのギャップから生じています。アップスケーリングは、2つの特性が反対方向を指しているため、最も明確な例です。合成テクスチャは豊富ですが、被写体は完全に本物です。