Och dess konsekvenser för övervakningen är skrämmande
Vi känner alla till scenen. Två detektiver i en polisserie står i ett svagt upplyst rum fyllt av monitorer och granskar övervakningsbilder. En tekniker (ja, det är nästan alltid en kille) lägger upp bild efter bild medan detektiverna tittar på och kisar koncentrerat på skärmen. “Det finns ingenting här!” insisterar en av utredarna. De är på väg att ge upp när den andra inspektören (vår hjälte) ropar: “Vänta!”
Alla stannar upp. “Zooma in där!” säger detektiven. Teknikern zoomar snällt in på ett kornigt hörn av bilden. “Förbättra det där!” säger inspektören. Teknikern knackar på några tangenter, mumlar något om algoritmer, och plötsligt kommer bilden i fokus och avslöjar en liten, viktig detalj. Fallet är uppklarat!
Denna scen är en kliché från kriminaldramat som är så genomträngande att den har inspirerat till en egen meme-video med nästan en miljon visningar.
Scener som dessa driver riktiga tekniker till vansinne, eftersom “zooma och förbättra” alltid har verkat som en omöjlig fantasi. Tills nu. Tack vare två nya innovationer är zoom och förbättring äntligen här. Det har potential att radikalt förändra polisövervakningen, ofta på oroande sätt – eller åtminstone hjälpa dig att få tillbaka dina foton från början av 00-talet.
Den första innovationen bakom verklighetens zoom och förstärkning kommer från fotografins värld. Fram till nyligen hade fotograferna två primära alternativ för digitalkameror: professionella DSLR-kameror som Nikon D-serien, eller billiga kompakta konsumentkameror, som den typ av kameror du använder för att ta bilder på födelsedagar eller resor. DSLR-kameror tar fantastiska bilder, men de är skrymmande och iögonfallande och kan vara svåra att använda – ingen bra kombination för övervakningsarbete. Kompaktkameror har sällan den kvalitet som krävs för professionella övervakare.
Det började förändras runt 2015, med framväxten av spegellösa kameror. Dessa kameror har den lilla formfaktorn hos en kompaktkamera, men tack vare framsteg inom bildchip som delvis drivits av smartphones, innehåller de samma högkvalitativa bildsensorer som vanligtvis finns i en DSLR-kamera. I allt högre grad lånar de också komplexa bildbehandlingsprogram från smartphonevärlden, vilket ytterligare förbättrar deras kapacitet. Och framför allt gör de det möjligt att använda professionella objektiv – vilket utan tvekan är den viktigaste faktorn för att ta högkvalitativa bilder.
För några tusen dollar kan en övervakare eller polis nu köpa små, lättanvända kameror som tar bättre bilder än de bästa professionella kamerorna för bara några år sedan.
Slutresultatet är en liten kamera som du kan bära och använda diskret, samtidigt som den tar extremt detaljerade, högupplösta bilder. Q, en spegellös kamera från den legendariska tyska kameratillverkaren Leica, var i stort sett startskottet för trenden. Den senaste Q-modellen väger bara 1,4 pund och tar foton med 47 megapixel genom ett obscent skarpt objektiv som ser mer detaljer än det mänskliga ögat. Med en ISO-klassning på 50 000 (15 gånger högre än den som uppnås av de snabbaste analoga filmerna) kan den också i princip se i mörker.
Det har sedan dess dykt upp konkurrenter till lägre priser, som Sony Alpha. För några tusen dollar kan en övervakare eller polis nu köpa små, lättanvända kameror som tar bättre bilder än de bästa professionella kamerorna för bara några år sedan. Att zooma in i bilder tagna med dessa kameror kan ibland kännas som att använda zoom och förstärkning. Den detaljrikedom som de fångar – särskilt i kombination med modern programvara – är anmärkningsvärd.
Men om man kombinerar bilder från spegellösa kameror med kompressiv avkänning är zoom och förbättring verkligen här. Compressive sensing gör det möjligt att förstora en bild kraftigt utan större kvalitetsförlust. Tekniken har funnits sedan början av 2000-talet, men fick stor uppmärksamhet 2010 när forskare visade hur den kunde användas för att rekonstruera en bild av president Barack Obama med hjälp av ett litet urval av slumpmässigt fördelade pixlar.
2017 visade Google hur principer för kompressiv sensing kunde kombineras med neurala nätverk för att rekonstruera försämrade bilder eller bilder av låg kvalitet i en process som kallas A.I. superresolution. Tekniken fungerar genom att man börjar med exempelbilder – ofta av ansikten eller rum – och avsiktligt förstör dem genom att göra dem suddiga, köra dem genom ett fruktansvärt JPEG-komprimeringssystem och liknande.
Ett neuralt nätverk tittar sedan på de försämrade bilderna, jämför dem med deras högkvalitativa motsvarigheter och lär sig hur de två förhåller sig till varandra. Nätverket lär sig i princip alla sätt som en digital bild kan försämras på. När det vet detta vänds processen om. Systemet får en lågkvalitativ eller försämrad bild, och utifrån sin träning konstruerar det en högkvalitativ, icke försämrad version från grunden.
Tyvärr har Google sedan dess till stor del lämnat området, men superupplösningen med hjälp av artificiell intelligens har tagit fart. Tjänster som Big JPG gör det möjligt för användare att ladda upp ett fotografi av låg kvalitet och få det omedelbart uppskalat med 400 % eller mer, ofta med minimal kvalitetsförlust. Photoshop-plugins har gett fotograferna liknande teknik som de använder för att ta bort oskärpa och skärpa bilderna. Mitt AI-drivna fotoföretag använder ofta tekniken för att uppgradera bilder från digitalkameror som togs i början av 2000-talet, så att även dessa bilder av låg kvalitet uppfyller dagens standarder för användning i publikationer.
Tekniken används dock även för övervakning. Kort efter utvecklingen började forskare visa hur superupplösningen kunde användas för att uppgradera övervakningsfoton med låg upplösning eller ramar från övervakningsvideor. Andra fokuserade på att använda tekniken för målinriktade tillämpningar, t.ex. igenkänning av registreringsskyltar. Och många grupper har fokuserat på superupplösning för bilder för ansiktsigenkänning och gått så långt som till att utveckla specialiserade algoritmer för att förbättra ansiktsbilder.
Flera leverantörer har integrerat dessa algoritmer i särskilda mjukvaruprodukter. Topaz Labs är enligt min erfarenhet den mest avancerade. Kombinera deras Gigapixel AI-produkt med resultatet från en modern spegellös kamera, och du har zoom och förbättring som konkurrerar med de tänkta systemen i serier som CSI.
Här är till exempel ett foto av en Jamba Juice-restaurang i Marin County, Kalifornien, taget med min spegellösa Leica Q-kamera.
Du kan till och med se att han bär en blå kirurgisk mask. Bra jobbat med att hålla dig säker, okända smoothieman! Flygblad som sattes upp på dörren syns också, inklusive en del av grafiken på flygbladet. Du kan se hur kunderna där inne gör sina beställningar.
Om du zoomar in och förbättrar en annan del av bilden kan du se texten på skyltarna längst bak i bakgrunden (“Jamba Curbside Pickup”) och hur de har fästs på pelare med hjälp av gul tejp. Och längst bort kan du se skyltdockorna i en annan närliggande butik och matgäster som äter vid utomhusbord.
Med mer extrem zoom och en justering av exponeringen kan du tydligt urskilja butikens signatur Blendtec-mixer på disken på insidan.
Blenderidentifiering är förstås inte den mest banbrytande användningen av en ny teknik. Men när man tillämpar zoom och förstärkning i övervakningssammanhang blir det snabbt skrämmande.
Här är till exempel ett foto som jag tog av en Black Lives Matter-protest på Times Square 2016.
Med hjälp av inzoomning och förstärkning kan du tydligt se ansiktena på poliserna längst bak i folkmassan. Med ansiktsrekonstruktion tillämpad skulle dessa bilder sannolikt vara tillräckligt bra för att hitta matchningar i en databas för ansiktsigenkänning.
Kombinera den här tekniken med ansiktsigenkänningssystem som Clearview AI skulle göra det trivialt att identifiera ett stort antal personer i en folkmassa av demonstranter. En civilklädd polis eller federal agent som utger sig för att vara turist skulle lätt kunna gå igenom en folkmassa av demonstranter samtidigt som han eller hon tar bilder med en liten spegellös kamera. Bilderna skulle kunna köras genom ett superupplösningssystem som förstorar dem kraftigt och framhäver ansiktena.
Individuella ansikten skulle sedan kunna tas ut ur bilden och köras genom ett system som Clearviews för att identifiera varje enskild person med namn. Enligt uppgift använder polisen och andra myndigheter redan artificiell intelligens för att identifiera olika handlingar (t.ex. inbrott i ett fordon eller lösdriveri) och för att söka igenom övervakningsbilder för att hitta personer utifrån deras fysiska beskrivningar. Det är oklart om någon använder superupplösning ännu, men det kommer utan tvekan att komma. Tekniken för ansiktsrekonstruktion kommer troligen också att förbättras – många ansikten i dag blir fortfarande förvrängda när de förstärks, men fel i ansiktsrekonstruktionen kommer troligen att minska med tiden.
Vi måste se till att tekniker som zoom och förstärkning är tillgängliga för brottsbekämpande myndigheter när de verkligen behövs. Men vi måste också se till att de inte missbrukas.
När tekniken förbättras kanske du inte ens behöver en spegellös kamera eller andra högkvalitativa kameror. Superupplösningen kan i slutändan bli tillräckligt bra för att utföra zoom- och förbättringsfunktioner på det lågupplösta resultatet från en traditionell övervakningskamera och identifiera varje individ i en folkmassa med hjälp av bilder från trafikkameror, övervakningskameror från en butik eller ett närliggande hem eller till och med en cirkulerande drönare. Det skulle också en dag kunna tillämpas på foton som tas med en smartphone eller till och med de lågupplösta foton som visas på sociala medieplattformar som Instagram.
Som med all ny övervakningsteknik är det en fråga om att säkerställa en ansvarsfull användning av zoom och förstärkning genom att fastställa rätt lagar och riktlinjer. Det fjärde tillägget till den amerikanska konstitutionen ger redan skydd mot husrannsakan utan fullmakt. Domstolarna har tidigare övervägt frågor om ny teknik – till exempel om övervakning med teleobjektiv bryter mot det fjärde tillägget. De har i allmänhet beslutat att allmänt tillgänglig teknik som zoomobjektiv kan användas i många sammanhang, men att specialiserad teknik som radar som ser genom väggar inte kan användas.
Det är ännu inte klart var zoom och förstärkning skulle hamna i det spektrumet. Tekniken kan ses som en annan version av zoomobjektivet på en traditionell kamera. Men med tanke på dess inslag av artificiell intelligens kan domstolarna komma fram till att det är en alltför specialiserad teknik för att mobiliseras utan ordentliga husrannsakningsorder.
För tillfället är tekniken alltför ny för att dessa prejudikat ska ha etablerats. Som medborgare är det bästa vi kan göra att vara medvetna om dess existens. Om du deltar i en protest eller en annan känslig händelse, utgå från att du blir övervakad och fotograferad. Även om du inte ser någon med en professionell kamera kan myndigheterna ändå fånga din bild med tillräckligt hög kvalitet för att kunna söka upp dig med hjälp av ansiktsigenkänning och identifiera dig med ditt namn.
Vi kan också proaktivt informera lagstiftarna om vilka nya tekniker vi känner oss bekväma med och vilka vi inte känner oss bekväma med. Folkets ilska över tekniken för ansiktsigenkänning ledde till ett lagförslag om att förbjuda användningen av denna teknik inom polisen. Vi måste se till att tekniker som zoom och enhance är tillgängliga för brottsbekämpande myndigheter när de verkligen behövs. Men vi måste också se till att de inte missbrukas.
Men på samma sätt som science fiction gjorde ett bra jobb med att förbereda oss för rymdfärder och datorer, har serier som CSI gjort ett bra jobb med att introducera oss till konceptet zoom och förstärkning innan det existerade. Men när man går bortom den föreställda världen med en snäll polis som slåss mot onda brottslingar, blir den verkliga etik som tekniken zoom och förstärkning innebär otydlig snabbt.