We kennen allemaal de scène. Twee rechercheurs van een politieshow staan in een schemerige kamer met monitors bewakingsbeelden te bekijken. Een technicus (ja, het is bijna altijd een man) zet beeld na beeld in de wachtrij terwijl de rechercheurs geconcentreerd naar het scherm loensen. “Er is hier niets!” dringt een detective aan. Ze staan op het punt het op te geven, wanneer de andere detective (onze held) roept: “Wacht!”

Iedereen stopt. “Zoom daar in!” zegt de detective. De techneut zoomt gedienstig in op een korrelig hoekje van het beeld. “Verbeter dat!” intoneert de detective. De technicus tikt op een paar toetsen, mompelt iets over algoritmes, en plotseling wordt het beeld scherp en onthult een klein, belangrijk detail. De zaak is opengebroken!

Deze scène is een cliché uit een misdaaddrama dat zo alomtegenwoordig is dat het zijn eigen meme-video heeft geïnspireerd met bijna een miljoen views.

Scenes als deze maken echte tech-mensen gek, omdat “inzoomen en verbeteren” altijd een onmogelijke fantasie is geweest. Tot nu. Dankzij twee recente innovaties is zoomen en verbeteren eindelijk mogelijk. Het heeft de potentie om politiebewaking radicaal te veranderen, vaak op verontrustende manieren – of op zijn minst te helpen uw foto’s uit de vroege jaren ’00 terug te brengen.

De eerste innovatie achter real-life zoomen en verbeteren komt uit de wereld van de fotografie. Tot voor kort hadden fotografen twee primaire opties voor digitale camera’s: professionele DSLR’s zoals de Nikon D-serie, of goedkope compacte consumentencamera’s, zoals het soort dat je zou gebruiken voor verjaardags- of reiskiekjes. DSLR’s maken fantastische foto’s, maar ze zijn groot, vallen op en zijn soms moeilijk te bedienen – geen goede combinatie voor bewakingswerk. Compactcamera’s hebben zelden de kwaliteit die nodig is voor bewakingsprofessionals.

Dat begon allemaal te veranderen rond 2015, met de opkomst van spiegelloze camera’s. Deze camera’s hebben de kleine vormfactor van een compactcamera, maar dankzij de vooruitgang in beeldchips, deels aangedreven door smartphones, bevatten ze dezelfde hoogwaardige beeldsensoren die gewoonlijk in een DSLR worden aangetroffen. Steeds vaker lenen ze ook complexe beeldverwerkingssoftware van de smartphonewereld, waardoor hun mogelijkheden nog verder toenemen. En wat cruciaal is, ze maken het gebruik van professionele lenzen mogelijk – gemakkelijk de belangrijkste factor voor het maken van foto’s van hoge kwaliteit.

Voor een paar duizend dollar kan een bewakingsprofessional of politiedienst nu piepkleine, gebruiksvriendelijke camera’s kopen die betere foto’s maken dan de beste professionele camera’s van slechts een paar jaar geleden.

Het eindresultaat is een piepkleine camera die je onopvallend kunt dragen en gebruiken, terwijl je uiterst gedetailleerde foto’s met een hoge resolutie maakt. De Q, een spiegelloze camera van de legendarische Duitse camerafabrikant Leica, was het begin van deze trend. Het nieuwste Q-model weegt slechts 1,4 kilo en maakt foto’s van 47 megapixel door een obsceen scherpe lens die meer details ziet dan het menselijk oog. Met een ISO-waarde van 50.000 (15 keer hoger dan die van de snelste analoge films), kan hij ook in wezen in het donker zien.

Nu zijn er lager geprijsde concurrenten gekomen, zoals de Sony Alpha. Voor een paar duizend dollar kan een bewakingsprofessional of politiedienst nu piepkleine, gebruiksvriendelijke camera’s kopen die betere foto’s maken dan de beste professionele camera’s van nog maar een paar jaar geleden. Inzoomen op foto’s die met deze camera’s zijn gemaakt, voelt soms aan als inzoomen en vergroten. Het detail dat ze vastleggen – vooral in combinatie met moderne software – is opmerkelijk.

Maar combineer beelden van spiegelloze camera’s met compresieve sensing, en zoom en enhance is echt hier. Compressive sensing maakt het mogelijk om een beeld enorm te vergroten zonder een groot verlies in kwaliteit. De tech bestaat al sinds het begin van de jaren 2000, maar het kreeg bekendheid in 2010 toen onderzoekers lieten zien hoe het kon worden gebruikt om een beeld van president Barack Obama te reconstrueren met behulp van een kleine steekproef van willekeurig verdeelde pixels.

In 2017 liet Google zien hoe principes van compressive sensing konden worden gecombineerd met neurale netwerken om gedegradeerde of lage-kwaliteitsbeelden te reconstrueren in een proces genaamd A.I. super-resolutie. De technologie werkt door te beginnen met voorbeeldafbeeldingen – vaak van gezichten of kamers – en ze opzettelijk te verknoeien door ze wazig te maken, ze door een vreselijk JPEG-compressiesysteem te laten lopen, en dergelijke.

Een neuraal netwerk kijkt vervolgens naar de gedegradeerde afbeeldingen, vergelijkt ze met hun hoogwaardige tegenhangers en leert hoe de twee zich verhouden. In wezen leert het netwerk zichzelf alle manieren waarop een digitaal beeld kan degraderen. Zodra het dit weet, wordt het proces omgedraaid. Het systeem krijgt een beeld van lage kwaliteit of in kwaliteit achteruit, en op basis van zijn training, construeert het een hoge kwaliteit, onaangetaste versie vanuit het niets.

Hoewel Google het veld sindsdien grotendeels heeft verlaten, heeft A.I. super-resolutie een hoge vlucht genomen. Diensten zoals Big JPG stellen gebruikers in staat om een foto van lage kwaliteit te uploaden en deze onmiddellijk 400% of meer te laten schalen, vaak met minimaal kwaliteitsverlies. Photoshop plugins hebben vergelijkbare technologie geleverd aan fotografen, die het gebruiken om onscherpte te verwijderen en foto’s te verscherpen. Mijn A.I.-gestuurde fotografiebedrijf gebruikt de technologie vaak om digitale camerafoto’s op te schalen die in de vroege jaren 2000 zijn genomen, waardoor zelfs deze vroege foto’s van lage kwaliteit aan de huidige normen voldoen voor gebruik in publicaties.

De technologie wordt echter ook gebruikt voor bewaking. Al snel na de ontwikkeling ervan begonnen onderzoekers aan te tonen hoe de superresolutie kon worden gebruikt om bewakingsfoto’s met een lage resolutie of frames van bewakingsvideo’s op te schalen. Anderen richtten zich op het gebruik van de technologie voor gerichte toepassingen, zoals nummerplaatherkenning. En veel groepen hebben zich geconcentreerd op superresolutie voor gezichtsherkenningsbeelden, waarbij ze zelfs gespecialiseerde algoritmen hebben ontwikkeld voor het verbeteren van gezichtsbeelden.

Sommige verkopers hebben deze algoritmen in speciale softwareproducten geïntegreerd. Topaz Labs, in mijn ervaring, is de meest geavanceerde. Koppel zijn Gigapixel AI-product met de output van een moderne spiegelloze camera, en je hebt zoom en verbetering dat de ingebeelde systemen rivalen op shows als CSI.

Hier is bijvoorbeeld een foto van een Jamba Juice restaurant in Marin County, Californië, genomen met mijn Leica Q spiegelloze camera.

Ik nam deze foto vanaf de overkant van een straat, met de handpalmgrote camera om mijn nek. Vervolgens heb ik de foto door de Gigapixel AI-software van Topaz gehaald, waarbij ik de foto met 400% heb verschaald en de eigen gezichtsreconstructie- en verscherpingsalgoritmen heb gebruikt.

Als u de foto op ware grootte inzoomt, ziet u een aantal ongelooflijke details. Door het raam van het restaurant ziet u duidelijk een klant in de rij wachten en een menu bekijken.

U kunt zelfs zien dat hij een blauw operatiemasker draagt. Goed werk om veilig te blijven, onbekende smoothie-man! De flyers op de deur zijn ook zichtbaar, inclusief enkele afbeeldingen op de flyer. U kunt zien dat klanten binnen hun bestelling plaatsen.

Zoom en het verbeteren van een ander deel van het beeld, kunt u de tekst op de borden in de verre achtergrond zien (“Jamba Curbside Pickup”) en hoe ze zijn bevestigd aan pilaren met behulp van gele tape. En in de verte ziet u de mannequins in een andere nabijgelegen winkel en etende mensen aan tafels in de open lucht.

Met een sterkere zoom en een aanpassing van de belichting zijn de Blendtec-blenders op de toonbank binnen duidelijk te zien.

Blenderidentificatie is natuurlijk niet het meest baanbrekende gebruik van een nieuwe technologie. Maar wanneer je zoom en enhance toepast in een surveillancecontext, worden de dingen snel eng.

Hier is bijvoorbeeld een foto die ik heb gemaakt van een Black Lives Matter-protest op Times Square in 2016.

Als u inzoomt en verbetert, kunt u duidelijk de gezichten zien van politieagenten helemaal achterin de menigte. Met gezichtsreconstructie zouden deze beelden waarschijnlijk goed genoeg zijn om overeenkomsten te vinden in een gezichtsherkenningsdatabase.

Combinatie van deze technologie met gezichtsherkenningssystemen zoals Clearview AI zou het triviaal maken om grote aantallen mensen in een menigte demonstranten te identificeren. Een politieagent in burger of een federale agent die zich voordoet als toerist zou gemakkelijk door een menigte demonstranten kunnen lopen terwijl hij foto’s maakt met een kleine spiegelloze camera. De foto’s zouden door een super-resolutiesysteem kunnen worden gehaald, waardoor ze enorm worden vergroot en de aanwezige gezichten worden verbeterd.

Individuele gezichten zouden dan uit het beeld kunnen worden gehaald en door een systeem als dat van Clearview kunnen worden gehaald om elk individu bij naam te identificeren. Politiediensten en andere instanties maken naar verluidt al gebruik van A.I. om verschillende handelingen te identificeren (zoals inbreken in een voertuig of rondhangen) en om bewakingsbeelden te doorzoeken op mensen op basis van hun fysieke beschrijving. Het is onduidelijk of er al gebruik wordt gemaakt van superresolutie, maar dat zal ongetwijfeld nog komen. De technologie voor gezichtsreconstructie zal waarschijnlijk ook beter worden – veel gezichten worden nu nog vervormd weergegeven wanneer ze worden verbeterd, maar de fouten bij gezichtsreconstructie zullen mettertijd waarschijnlijk afnemen.

We moeten ervoor zorgen dat technologieën zoals zoomen en verbeteren beschikbaar zijn voor rechtshandhavingsinstanties wanneer ze echt nodig zijn. Maar we moeten er ook voor zorgen dat ze niet worden misbruikt.

Naarmate de technologie verbetert, heb je misschien niet eens een spiegelloze camera of andere hoogwaardige camera’s nodig. Superresolutie kan uiteindelijk goed genoeg worden om zoom-en-versterkingsfuncties uit te voeren op de lage-resolutie output van een traditionele bewakingscamera, waarbij elk individu in een menigte kan worden geïdentificeerd aan de hand van beelden van verkeerscamera’s, bewakingscamera’s van een winkel of nabijgelegen huis, of zelfs een rondcirkelende drone. Het zou op een dag ook kunnen worden toegepast op foto’s die zijn genomen op een smartphone of zelfs de lage-resolutiefoto’s die worden weergegeven op sociale-mediaplatforms zoals Instagram.

Zoals bij elke nieuwe bewakingstechnologie, is het zorgen voor een verantwoord gebruik van zoom en enhance een kwestie van het vaststellen van de juiste wetten en beleidsmaatregelen. Het Vierde Amendement van de Amerikaanse grondwet biedt al bescherming tegen huiszoekingen zonder bevelschrift. Rechtbanken hebben zich in het verleden al eens gebogen over nieuwe technologie – bijvoorbeeld over de vraag of bewaking met telelenzen in strijd is met het Vierde Amendement. Zij hebben in het algemeen geoordeeld dat algemeen beschikbare technologie zoals zoomlenzen in veel contexten kan worden gebruikt, maar gespecialiseerde technologie zoals radar die door muren heen kijkt niet.

Het is nog niet duidelijk waar zoom en enhance in dat spectrum zouden vallen. De technologie kan worden gezien als gewoon een andere versie van de zoomlens op een traditionele camera. Maar gezien de elementen van kunstmatige intelligentie, kunnen rechtbanken vinden dat het een te gespecialiseerde technologie om te worden gemobiliseerd zonder de juiste huiszoekingsbevelen.

Voorlopig is de technologie te nieuw voor deze precedenten te hebben vastgesteld. Het beste wat we als burgers kunnen doen, is ons bewust zijn van het bestaan ervan. Als je bij een protest of een andere gevoelige gebeurtenis bent, ga er dan van uit dat je in de gaten wordt gehouden en gefotografeerd. Zelfs als je niet iemand met een professioneel ogende camera ziet, kunnen de autoriteiten toch je foto vastleggen met een kwaliteit die hoog genoeg is om je met gezichtsherkenning op te zoeken en je bij naam te identificeren.

We kunnen ook proactief wetgevers informeren over welke nieuwe technologieën we wel en welke we niet prettig vinden. De woede van de bevolking over gezichtsherkenningstechnologieën heeft geleid tot een wetsvoorstel om het gebruik van deze technologie bij politiewerk te verbieden. We moeten ervoor zorgen dat technologieën zoals zoom en enhance beschikbaar zijn voor de rechtshandhaving wanneer ze echt nodig zijn. Maar we moeten er ook voor zorgen dat ze niet worden misbruikt.

Zoals sciencefiction ons goed heeft voorbereid op ruimtevaart en computers, hebben shows als CSI goed werk verricht door ons kennis te laten maken met het concept van zoom en enhance voordat het bestond. Maar als je verder gaat dan de denkbeeldige wereld van een goede agent die kwaadaardige criminelen bestrijdt, wordt de ethiek van technologie als zoom en enhance snel vaag.