Nous connaissons tous la scène. Deux détectives d’une émission policière se tiennent dans une pièce faiblement éclairée remplie de moniteurs, examinant des images de surveillance. Un technicien (oui, c’est presque toujours un homme) met en file d’attente les images les unes après les autres sous le regard des détectives, qui louchent sur l’écran avec concentration. “Il n’y a rien ici !” insiste un détective. Ils sont sur le point d’abandonner, quand l’autre détective (notre héros) crie : “Attendez !”

Tout le monde s’arrête. “Zoom là-dedans !” dit le détective. Le technicien zoome obligeamment sur un coin granuleux de l’image. “Améliorez ça !” dit le détective. Le technicien tape sur quelques touches, marmonne quelque chose à propos d’algorithmes, et soudain, l’image devient nette, révélant un détail minuscule et significatif. L’affaire est résolue !

Cette scène est un cliché de drame policier si omniprésent qu’il a inspiré sa propre vidéo mème avec près d’un million de vues.

Des scènes comme celles-ci rendent les vrais techniciens fous, car “zoomer et améliorer” a toujours semblé être un fantasme impossible. Jusqu’à aujourd’hui. Grâce à deux innovations récentes, le zoom et l’amélioration sont enfin disponibles. Il a le potentiel de changer radicalement la surveillance policière, souvent de manière inquiétante – ou au moins de vous aider à ramener vos photos du début des années 00.

La première innovation derrière le zoom et l’amélioration dans la vraie vie vient du monde de la photographie. Jusqu’à récemment, les photographes avaient deux options principales pour les appareils photo numériques : les reflex numériques professionnels comme la série D de Nikon, ou les appareils photo grand public compacts bon marché, comme ceux que vous utiliseriez pour les photos d’anniversaire ou de voyage. Les reflex numériques prennent d’excellentes photos, mais ils sont encombrants, visibles et parfois difficiles à utiliser, ce qui n’est pas une combinaison idéale pour le travail de surveillance. Les appareils photo compacts ont rarement la qualité nécessaire aux professionnels de la surveillance.

Tout cela a commencé à changer vers 2015, avec l’essor des appareils photo sans miroir. Ces appareils ont le minuscule facteur de forme d’un appareil photo compact, mais grâce aux progrès des puces d’imagerie stimulés en partie par les smartphones, ils embarquent les mêmes capteurs d’image de haute qualité que l’on trouve habituellement dans un reflex numérique. De plus en plus, ils empruntent également des logiciels de traitement d’image complexes au monde des smartphones, ce qui améliore encore leurs capacités. Et surtout, ils permettent l’utilisation d’objectifs professionnels – facilement le facteur le plus important pour prendre des photos de haute qualité.

Pour quelques milliers de dollars, un professionnel de la surveillance ou une force de police peut maintenant acheter des appareils minuscules et faciles à utiliser qui prennent de meilleures photos que les meilleurs appareils professionnels d’il y a quelques années.

Le résultat final est un appareil minuscule que vous pouvez transporter et utiliser discrètement, tout en prenant des photos extrêmement détaillées et à haute résolution. Le Q, un appareil photo sans miroir du légendaire fabricant allemand Leica, a largement donné le coup d’envoi de cette tendance. Le dernier modèle Q pèse à peine 1,2 kg et prend des photos de 47 mégapixels grâce à un objectif d’une netteté obscène qui voit plus de détails que l’œil humain. Avec un indice ISO de 50 000 (15 fois supérieur à celui atteint par les films analogiques les plus rapides), il peut aussi essentiellement voir dans le noir.

Des concurrents à plus bas prix, comme le Sony Alpha, ont depuis fait leur apparition. Pour quelques milliers de dollars, un professionnel de la surveillance ou une force de police peut désormais acheter des appareils minuscules et faciles à utiliser qui prennent de meilleures photos que les meilleurs appareils professionnels d’il y a seulement quelques années. Zoomer sur des photos prises avec ces appareils peut parfois donner l’impression d’utiliser le zoom et l’amélioration. Les détails qu’ils capturent – surtout associés à un logiciel moderne – sont remarquables.

Mais combinez les images des appareils photo sans miroir avec la détection compressive, et le zoom et l’amélioration sont vraiment là. La détection compressive vous permet d’agrandir massivement une image sans perte majeure de qualité. Cette technologie existe depuis le début des années 2000, mais elle a gagné en notoriété en 2010 lorsque des chercheurs ont montré comment elle pouvait être utilisée pour reconstruire une image du président Barack Obama en utilisant un minuscule échantillon de pixels distribués de manière aléatoire.

En 2017, Google a montré comment les principes de la détection compressive pouvaient être combinés avec des réseaux neuronaux pour reconstruire des images dégradées ou de faible qualité dans un processus appelé super-résolution de l’IA. La technologie fonctionne en commençant par des échantillons d’images – souvent des visages ou des pièces – et en les gâchant délibérément en les rendant flous, en les faisant passer par un terrible système de compression JPEG, et ainsi de suite.

Un réseau neuronal examine ensuite les images dégradées, les compare à leurs homologues de haute qualité, et apprend comment les deux se rapportent. Essentiellement, le réseau apprend à lui-même toutes les façons dont une image numérique peut se dégrader. Une fois qu’il le sait, le processus est inversé. On remet au système une image de mauvaise qualité ou dégradée, et sur la base de son apprentissage, il construit une version de haute qualité, non dégradée, à partir de zéro.

Bien que Google ait depuis largement quitté le domaine, la super-résolution par IA a pris son envol. Des services comme Big JPG permettent aux utilisateurs de télécharger une photographie de faible qualité et de la voir instantanément mise à l’échelle de 400 % ou plus, souvent avec une perte de qualité minimale. Les plugins de Photoshop ont fourni une technologie similaire aux photographes, qui l’utilisent pour supprimer les flous et rendre les images plus nettes. Ma société de photographie pilotée par l’IA utilise souvent la technologie pour mettre à l’échelle des photos numériques prises au début des années 2000, ce qui permet même à ces premières images de faible qualité de répondre aux normes actuelles pour être utilisées dans des publications.

La technologie, cependant, est également utilisée pour la surveillance. Rapidement après son développement, les chercheurs ont commencé à montrer comment la super-résolution pouvait être utilisée pour améliorer les photos de surveillance à faible résolution ou les images des vidéos de surveillance. D’autres se sont concentrés sur l’utilisation de la technologie pour des applications ciblées, comme la reconnaissance des plaques d’immatriculation. Et de nombreux groupes se sont concentrés sur la super-résolution pour les images de reconnaissance faciale, allant jusqu’à développer des algorithmes spécialisés pour améliorer les images faciales.

Plusieurs fournisseurs ont intégré ces algorithmes dans des produits logiciels dédiés. Topaz Labs, selon mon expérience, est le plus avancé. Associez son produit Gigapixel AI avec la sortie d’un appareil photo sans miroir moderne, et vous obtenez un zoom et une amélioration qui rivalisent avec les systèmes imaginés dans des émissions comme CSI.

Voici, par exemple, une photo d’un restaurant Jamba Juice dans le comté de Marin, en Californie, prise avec mon appareil photo sans miroir Leica Q.

J’ai pris cette photo de l’autre côté d’une rue, avec l’appareil photo de la taille d’une paume accroché à mon cou. J’ai ensuite fait passer la photo dans le logiciel Gigapixel AI de Topaz, en la mettant à l’échelle de 400 % et en utilisant les algorithmes exclusifs de reconstruction du visage et d’accentuation de la netteté de la société.

En zoomant en taille réelle sur l’image améliorée, vous pouvez voir des détails incroyables. A travers la vitrine du restaurant, vous pouvez clairement voir un client faisant la queue et examinant un menu.

Vous pouvez même voir qu’il porte un masque chirurgical bleu. Bon travail pour rester en sécurité, homme smoothie inconnu ! Les prospectus affichés sur la porte sont également visibles, y compris certains des graphiques du prospectus. Vous pouvez voir des clients à l’intérieur en train de passer leurs commandes.

En zoomant et en améliorant une autre partie de l’image, vous pouvez voir le texte sur les panneaux dans le lointain arrière-plan (“Jamba Curbside Pickup”) et la façon dont ils ont été fixés aux piliers à l’aide de ruban adhésif jaune. Et au loin, vous pouvez voir les mannequins d’un autre magasin voisin et des dîneurs mangeant à des tables extérieures.

Avec un zoom plus extrême et une modification de l’exposition, vous pouvez clairement distinguer les mixeurs Blendtec caractéristiques du magasin sur le comptoir à l’intérieur.

L’identification du blender, bien sûr, n’est pas l’utilisation la plus révolutionnaire d’une nouvelle technologie. Mais lorsque vous appliquez le zoom et l’amélioration dans un contexte de surveillance, les choses deviennent rapidement effrayantes.

Voici, par exemple, une photo que j’ai prise d’une manifestation Black Lives Matter à Times Square en 2016.

En appliquant le zoom et le rehaussement, vous pouvez clairement voir les visages des policiers au fond de la foule. Avec la reconstruction faciale appliquée, ces images seraient probablement assez bonnes pour trouver des correspondances dans une base de données de reconnaissance faciale.

En combinant cette technologie avec des systèmes de reconnaissance faciale comme Clearview AI, il serait trivial d’identifier un grand nombre de personnes dans une foule de manifestants. Un agent de police en civil ou un agent fédéral se faisant passer pour un touriste pourrait facilement traverser une foule de manifestants tout en prenant des photos avec un minuscule appareil sans miroir. Les photos pourraient être passées par un système de super-résolution, les agrandissant massivement et mettant en valeur les visages présents.

Les visages individuels pourraient ensuite être extraits de l’image et passés par un système comme celui de Clearview pour identifier chaque individu par son nom. Les forces de police et d’autres organismes utiliseraient déjà l’IA pour identifier différentes actions (comme l’effraction d’un véhicule ou le vagabondage) et pour rechercher des personnes sur des images de surveillance à partir de leur description physique. On ne sait pas encore si certains utilisent la super-résolution, mais cela viendra certainement. La technologie de reconstruction du visage s’améliorera probablement aussi – de nombreux visages aujourd’hui sortent encore déformés lorsqu’ils sont améliorés, mais les erreurs de reconstruction du visage diminueront probablement avec le temps.

Nous devons nous assurer que des technologies comme le zoom et l’amélioration sont disponibles pour les forces de l’ordre lorsqu’elles sont vraiment nécessaires. Mais nous devons également nous assurer qu’elles ne sont pas utilisées de manière abusive.

A mesure que la technologie s’améliore, vous pourriez même ne pas avoir besoin d’un appareil photo sans miroir ou d’autres appareils photo de haute qualité. La super-résolution pourrait finalement devenir assez bonne pour effectuer des fonctions de zoom et d’amélioration sur la sortie basse résolution d’une caméra de surveillance traditionnelle, en identifiant chaque individu dans une foule à l’aide des images des caméras de circulation, des caméras de surveillance d’un magasin ou d’une maison voisine, ou même d’un drone tournant en rond. Elle pourrait également être appliquée un jour aux photos prises sur un smartphone ou même aux photos basse résolution affichées sur les plateformes de médias sociaux comme Instagram.

Comme pour toute nouvelle technologie de surveillance, assurer une utilisation responsable du zoom et de l’amélioration est une question d’établissement des bonnes lois et politiques. Le quatrième amendement de la Constitution américaine offre déjà une protection contre les perquisitions sans mandat. Les tribunaux se sont déjà penchés sur les questions relatives aux nouvelles technologies par le passé – par exemple, en examinant si la surveillance au moyen de téléobjectifs violait le quatrième amendement. Ils ont généralement statué que la technologie largement disponible comme les objectifs zoom peut être utilisée dans de nombreux contextes, mais que la technologie spécialisée comme le radar qui voit à travers les murs ne le peut pas.

Il n’est pas encore clair où le zoom et l’amélioration se situeraient sur ce spectre. La technologie pourrait être considérée comme une autre version du zoom d’un appareil photo traditionnel. Mais étant donné ses éléments d’intelligence artificielle, les tribunaux pourraient estimer qu’il s’agit d’une technologie trop spécialisée pour être mobilisée sans mandat de perquisition approprié.

Pour l’instant, la technologie est trop récente pour que ces précédents aient été établis. En tant que citoyens, la meilleure chose que nous puissions faire est d’être conscients de son existence. Si vous participez à une manifestation ou à un autre événement sensible, supposez que vous êtes surveillé et photographié. Même si vous ne voyez pas quelqu’un avec un appareil photo d’apparence professionnelle, les autorités pourraient toujours capturer votre image à une qualité suffisamment élevée pour vous rechercher à l’aide de la reconnaissance faciale et vous identifier par votre nom.

Nous pouvons également informer de manière proactive les législateurs sur les nouvelles technologies avec lesquelles nous sommes à l’aise et celles que nous ne sommes pas. La colère populaire sur les technologies de reconnaissance faciale a conduit à une proposition de loi visant à interdire l’utilisation de cette technologie dans le maintien de l’ordre. Nous devons veiller à ce que des technologies telles que le zoom et l’amélioration soient disponibles pour les forces de l’ordre lorsqu’elles sont vraiment nécessaires. Mais nous devons également nous assurer qu’elles ne sont pas utilisées de manière abusive.

De même que la science-fiction a fait un bon travail pour nous préparer aux voyages dans l’espace et aux ordinateurs, des émissions comme CSI ont fait un bon travail pour nous présenter le concept de zoom et d’amélioration avant qu’il n’existe. Mais lorsque vous dépassez le monde imaginaire d’un bon flic combattant des criminels maléfiques, l’éthique du monde réel de la technologie comme le zoom et l’amélioration devient rapidement floue.