Cosa fa effettivamente un upscaler
Un ridimensionamento tradizionale interpola. Calcola i valori dei pixel intermedi da quelli circostanti, produce un'immagine più grande e più morbida e non aggiunge informazioni che non erano già presenti.
Un upscaler moderno genera. È un modello addestrato su coppie di immagini piccole e grandi, e produce dettagli plausibili per il soggetto anziché derivati da esso: pori su un viso, fili in un tessuto, foglie su un albero distante.
Questa distinzione è l'intero articolo. I pori non sono stati fotografati. Sono la migliore ipotesi di un modello su come apparirebbero i pori in quel punto, che è la stessa operazione che un generatore esegue sull'intero fotogramma.
Quindi un'immagine che è passata attraverso un upscaler contiene una texture genuinamente sintetica e un rilevatore che legge la texture riporta esattamente questo. Il risultato è corretto; la conclusione che le persone ne traggono non lo è.
Perché questo produce così tanti falsi positivi
L'upscaling è ovunque e per lo più invisibile per chi lo esegue. Le fotocamere dei telefoni lo applicano allo zoom digitale, le suite di editing lo offrono come miglioramento, le videochiamate lo usano per compensare la larghezza di banda e le piattaforme lo applicano quando servono immagini a dimensioni superiori a quella originale.
Il lavoro di archivio e restauro è il caso estremo. Una vecchia fotografia scansionata a bassa risoluzione e migliorata per la stampa viene ampiamente riscritta dalla costruzione, e otterrà un punteggio simile a quello prodotto da un modello, perché gran parte di ciò che stai guardando è stato prodotto dal modello.
La regione in alto a destra è il problema. Quelle immagini rappresentano cose reali e contengono pixel inventati, e nessun punteggio può separare le due proprietà perché il modello ne sta misurando solo una.
Come distinguerli
La mappa delle regioni è il primo strumento e funziona perché l'upscaling e la generazione distribuiscono la texture inventata in modo diverso.
- L'upscaling è uniforme. Ogni parte del fotogramma è stata ingrandita con lo stesso processo, quindi la griglia è calda e piatta.
- Anche la generazione è uniforme, motivo per cui la mappa da sola non risolve la questione.
- Il miglioramento selettivo non lo è. Il restauro del volto applicato a una sola persona in una foto di gruppo produce un calore localizzato, il che è informativo.
- La composizione regge ancora. Una fotografia sottoposta a upscaling ha la geometria, la prospettiva e l'illuminazione di una scena reale, perché lo era.
- Il dettaglio può essere verificato. Ingrandisci le regioni inventate: il testo sottoposto a upscaling diventa un'assurdità plausibile, mentre il testo reale rimane leggibile.
L'ultimo punto è quello pratico. Ingrandisci insegne, etichette o caratteri piccoli. Un upscaler che si trova di fronte a un testo illeggibile produce segni sicuri a forma di lettera che non significano nulla, e quel fallimento è visibile a una persona anche quando un punteggio non lo è.
| Segnale | Fotografia upscaled | Immagine generata |
|---|---|---|
| Punteggio dell'intera inquadratura | Alto | Alto |
| Mappa delle regioni | Caldo e uniforme | Caldo e uniforme |
| Testo piccolo all'ingrandimento | Assurdità plausibile | Assurdità plausibile |
| Geometria della scena | Coerente, era reale | Solitamente coerente ora |
| Esiste una copia precedente più piccola | Spesso | No |
| File originale disponibile | Sì, richiedilo | Non ce n'è |
Le due righe in basso sono quelle che risolvono effettivamente il problema, e nessuna delle due è una misurazione dei pixel. Una ricerca inversa dell'immagine che trova una copia precedente più piccola, o una fonte in grado di fornire il file pre-miglioramento, risolve direttamente la questione.
Cosa significa questo nella pratica
Per chiunque valuti un'immagine, la regola operativa è chiedere del miglioramento prima di trattare un punteggio elevato come un risultato definitivo. È una singola domanda, non costa nulla e spiega gran parte dei risultati confusi.
Per chiunque pubblichi, è un argomento a favore del mantenimento degli originali. Un fotografo, un gestore di sinistri o un giornalista in grado di produrre il file prima del miglioramento ha una risposta completa a una domanda che altrimenti non ne avrebbe alcuna.
E per gli archivi e il lavoro di restauro si tratta di un problema di etichettatura piuttosto che di rilevamento. Una fotografia storica migliorata è un manufatto legittimo e utile che otterrà sempre punteggi negativi, quindi la risposta onesta è dire cosa è stato fatto.
Dove questo causa danni reali
Tre contesti trasformano questo da una curiosità in un problema, e tutti e tre condividono una caratteristica: qualcuno sta prendendo una decisione su una persona basandosi su un'immagine che non ha catturato.
I sinistri assicurativi sono il caso più chiaro. Un richiedente fotografa i danni su un telefono, l'immagine è piccola e qualcuno la ingrandisce per vederne i dettagli. La versione ingrandita ottiene un punteggio elevato e una richiesta genuina acquisisce una nota su una possibile manipolazione che ora nessuno può rimuovere.
Il giornalismo ha la stessa natura. Una fotografia proveniente da una fonte viene sottoposta a upscaling per la stampa, la versione migliorata circola e un successivo controllo sulla copia in circolazione la segnala. L'originale andava bene e non è più la versione che chiunque possiede.
I contesti legali e disciplinari sono i più gravi, perché la copia migliorata è spesso quella inserita nel verbale. Laddove si farà affidamento su un'immagine, il file che dovrebbe essere utilizzato è quello precedente a qualsiasi miglioramento, e il miglioramento dovrebbe essere documentato separatamente.
Una nota per chiunque costruisca un flusso di lavoro
Se le immagini passano attraverso la tua organizzazione e vengono valutate, il miglioramento più economico disponibile è registrare se un file è stato migliorato. Costa una casella di controllo al momento dell'acquisizione e rimuove in seguito un'intera categoria di dispute irrisolvibili.
Il secondo più economico è la regola che il miglioramento avvenga su una copia. Conserva il file come ricevuto, migliora un duplicato per la visualizzazione e assicurati che quello che viaggia con il record sia l'originale piuttosto che quello esteticamente migliore.
C'è una lezione più ampia qui su ciò che misura un punteggio. Il modello riporta quanta parte della texture di fronte a sé è stata prodotta dal software, il che è una proprietà reale e non è la stessa cosa che le persone desiderano, ovvero se l'immagine registra qualcosa che è realmente accaduto.
La maggior parte dei risultati confusi in questo campo deriva da quel divario. L'upscaling è l'esempio più chiaro perché le due proprietà puntano in direzioni opposte: texture pesantemente sintetica, soggetto interamente genuino.