Wszyscy znamy tę scenę. Dwóch detektywów z serialu o policjantach stoi w słabo oświetlonym pomieszczeniu wypełnionym monitorami, przeglądając obrazy z monitoringu. Facet od techniki (tak, prawie zawsze jest to facet) ustawia w kolejce obraz za obrazem, podczas gdy detektywi patrzą na niego, mrużąc oczy w skupieniu. “Nic tu nie ma!”, upiera się jeden z detektywów. Już mają się poddać, kiedy drugi detektyw (nasz bohater) krzyczy: “Czekaj!”

Wszyscy się zatrzymują. “Zrób zbliżenie!”, mówi detektyw. Facet od techniki robi zbliżenie na ziarnisty róg obrazu. “Zwiększ to!” – intonuje detektyw. Technik stuka w jakieś klawisze, mamrocze coś o algorytmach i nagle obraz nabiera ostrości, ujawniając jakiś drobny, istotny szczegół. Sprawa jest otwarta!

Ta scena jest tak wszechobecną kliszą dramatu kryminalnego, że zainspirowała własny filmik meme z prawie milionem wyświetleń.

Sceny takie jak te doprowadzają prawdziwych techników do szału, ponieważ “powiększ i popraw” zawsze wydawało się niemożliwą fantazją. Aż do teraz. Dzięki dwóm ostatnim innowacjom, zoom i ulepszanie jest wreszcie dostępne. Ma ona potencjał, aby radykalnie zmienić nadzór policyjny, często w niepokojący sposób – lub przynajmniej pomóc ci przywrócić twoje zdjęcia z początku lat ’00.

Pierwsza innowacja stojąca za prawdziwym zoomem i ulepszeniem pochodzi ze świata fotografii. Do niedawna fotografowie mieli dwie podstawowe opcje dla aparatów cyfrowych: profesjonalne lustrzanki cyfrowe, takie jak seria Nikon D, lub tanie kompaktowe aparaty konsumenckie, takie jak te, których używasz do robienia zdjęć z urodzin lub podróży. Lustrzanki robią świetne zdjęcia, ale są nieporęczne, rzucają się w oczy i mogą być trudne w obsłudze – nie jest to najlepsze połączenie do pracy w monitoringu. Aparaty kompaktowe rzadko mają jakość niezbędną dla profesjonalistów nadzoru.

To wszystko zaczęło się zmieniać około 2015 roku, wraz ze wzrostem aparatów bezlusterkowych. Aparaty te mają niewielką obudowę aparatu kompaktowego, ale dzięki postępowi w dziedzinie chipów obrazujących, napędzanych częściowo przez smartfony, pakują te same wysokiej jakości czujniki obrazu, które zwykle znajdują się w lustrzankach. Coraz częściej zapożyczają one również złożone oprogramowanie do przetwarzania obrazu ze smartfonów, co jeszcze bardziej zwiększa ich możliwości. I co najważniejsze, pozwalają na użycie profesjonalnych obiektywów – łatwo najważniejszego czynnika do robienia wysokiej jakości zdjęć.

Za kilka tysięcy dolarów, profesjonalista od nadzoru lub policja mogą teraz kupić malutkie, łatwe w użyciu aparaty, które robią lepsze zdjęcia niż najlepsze profesjonalne aparaty sprzed kilku lat.

Wynikiem końcowym jest malutki aparat, który można nosić i używać niepozornie, robiąc jednocześnie niezwykle szczegółowe zdjęcia o wysokiej rozdzielczości. Q, aparat bezlusterkowy od legendarnego niemieckiego producenta aparatów Leica, w dużej mierze zapoczątkował ten trend. Najnowszy model Q waży zaledwie 1,4 funta i wykonuje 47-megapikselowe zdjęcia za pomocą nieprzyzwoicie ostrego obiektywu, który dostrzega więcej szczegółów niż ludzkie oko. Z czułością ISO 50,000 (15 razy wyższą niż ta osiągana przez najszybsze filmy analogowe), może również widzieć w ciemności.

Od tego czasu pojawili się tańsi konkurenci, tacy jak Sony Alpha. Za kilka tysięcy dolarów, profesjonaliści od nadzoru lub policja mogą teraz kupić malutkie, łatwe w użyciu aparaty, które robią lepsze zdjęcia niż najlepsze profesjonalne aparaty sprzed zaledwie kilku lat. Przybliżanie zdjęć zrobionych tymi aparatami może czasami przypominać korzystanie z funkcji zoom i enhance. Szczegóły, które uchwyciły – zwłaszcza w połączeniu z nowoczesnym oprogramowaniem – są niezwykłe.

Ale połącz obrazy z aparatów bezlusterkowych z detekcją kompresyjną, a zoom i wzmocnienie jest naprawdę tutaj. Wykrywanie kompresji pozwala na masowe powiększanie obrazu bez znacznej utraty jakości. Technologia ta istnieje od początku lat 2000, ale zyskała rozgłos w 2010 roku, kiedy badacze pokazali, jak można ją wykorzystać do rekonstrukcji obrazu prezydenta Baracka Obamy przy użyciu maleńkiej próbki losowo rozmieszczonych pikseli.

W 2017 roku Google pokazał, jak zasady detekcji kompresyjnej można połączyć z sieciami neuronowymi, aby zrekonstruować zdegradowane lub niskiej jakości obrazy w procesie zwanym A.I. superrozdzielczość. Technologia działa poprzez rozpoczęcie z przykładowych obrazów – często twarzy lub pomieszczeń – i celowo bałagan je przez co rozmyte, uruchomienie ich przez straszny system kompresji JPEG, i tym podobne.

Sieć neuronowa następnie patrzy na zdegradowanych obrazów, porównuje je do ich wysokiej jakości odpowiedników, i uczy się, jak te dwa odnoszą się. Zasadniczo, sieć uczy się wszystkich sposobów, że obraz cyfrowy może się pogorszyć. Gdy już to wie, proces jest odwracany. System jest podany niskiej jakości lub zdegradowany obraz, a na podstawie jego szkolenia, to konstruuje wysokiej jakości, undegraded wersji od podstaw.

Though Google od tego czasu w dużej mierze opuścił pole, A.I. super-rozdzielczość wystartował. Usługi takie jak Big JPG pozwalają użytkownikom przesłać zdjęcie niskiej jakości i mieć go natychmiast upscaled 400% lub więcej, często z minimalną utratą jakości. Wtyczki do Photoshopa dostarczyły podobną technologię fotografom, którzy używają jej do usuwania rozmycia i wyostrzania obrazów. Moja firma fotograficzna napędzana przez A.I. często używa tej technologii do skalowania zdjęć z aparatów cyfrowych zrobionych we wczesnych latach 2000, pozwalając nawet tym niskiej jakości wczesnym obrazom spełniać dzisiejsze standardy do wykorzystania w publikacjach.

Technologia ta jest jednak również wykorzystywana do nadzoru. Szybko po jego rozwoju, naukowcy zaczęli pokazywać, jak super-rozdzielczość może być używany do upscale niskiej rozdzielczości zdjęć nadzoru lub klatek z nadzoru wideo. Inni skupili się na wykorzystaniu tej technologii w konkretnych zastosowaniach, takich jak rozpoznawanie tablic rejestracyjnych. Wiele grup skupiło się na superrozdzielczości dla obrazów rozpoznawania twarzy, posuwając się aż do opracowania specjalistycznych algorytmów do poprawy obrazów twarzy.

Kilku producentów zintegrowało te algorytmy w dedykowanych produktach programowych. Topaz Labs, z mojego doświadczenia, jest najbardziej zaawansowany. Sparuj jej produkt Gigapixel AI z wyjściem nowoczesnego aparatu bezlusterkowego, a masz zoom i wzmocnienie, które rywalizuje z wyobrażonymi systemami w programach takich jak CSI.

Tutaj, na przykład, znajduje się zdjęcie restauracji Jamba Juice w Marin County, Kalifornia, wykonane moim aparatem bezlusterkowym Leica Q.

Zrobiłem to z drugiej strony ulicy, z aparatem wielkości dłoni zawieszonym na mojej szyi. Następnie przepuściłem zdjęcie przez oprogramowanie Gigapixel AI firmy Topaz, przeskalowując je o 400% i wykorzystując firmowe algorytmy rekonstrukcji i wyostrzania twarzy.

Powiększając zdjęcie do pełnego rozmiaru, można dostrzec kilka niesamowitych szczegółów. Przez frontową witrynę restauracji widać wyraźnie klienta czekającego w kolejce i przeglądającego menu.

Widać nawet, że ma na sobie niebieską maskę chirurgiczną. Świetna robota z zachowaniem bezpieczeństwa, nieznany smoothie man! Widoczne są również ulotki wywieszone na drzwiach, w tym niektóre grafiki na ulotce. Można zobaczyć patronów wewnątrz umieszczając ich zamówienia.

Powiększenie i wzmocnienie innej części obrazu, można zobaczyć tekst na znakach w dalekim tle (“Jamba Curbside Pickup”) i jak zostały one przymocowane do filarów za pomocą żółtej taśmy. A w oddali można zobaczyć manekiny w innym pobliskim sklepie i gości jedzących przy stolikach na zewnątrz.

Przy bardziej zaawansowanym powiększeniu i zmianie ekspozycji można wyraźnie dostrzec charakterystyczne dla sklepu blendery Blendtec na ladzie w środku.

Identyfikacja blendera, oczywiście, nie jest najbardziej przełomowym zastosowaniem nowej technologii. Ale gdy zastosujesz zoom i wzmocnienie w kontekście nadzoru, sprawy szybko stają się przerażające.

Tutaj, na przykład, jest zdjęcie, które zrobiłem podczas protestu Black Lives Matter na Times Square w 2016 roku.

Stosując powiększenie i wzmocnienie, można wyraźnie zobaczyć twarze policjantów w dalekiej tylnej części tłumu. Po zastosowaniu rekonstrukcji twarzy obrazy te byłyby prawdopodobnie wystarczająco dobre, aby znaleźć dopasowania w bazie danych rozpoznawania twarzy.

Połączenie tej technologii z systemami rozpoznawania twarzy, takimi jak Clearview AI, sprawiłoby, że identyfikacja dużej liczby osób w tłumie protestujących byłaby banalnie prosta. Policjant w cywilu lub agent federalny udający turystę mógłby z łatwością przejść przez tłum protestujących, pstrykając zdjęcia malutkim aparatem bezlusterkowym. Zdjęcia mogłyby być przepuszczone przez system super-rozdzielczości, powiększając je masowo i uwydatniając obecne na nich twarze.

Poszczególne twarze mogłyby być następnie wyciągnięte z obrazu i przepuszczone przez system taki jak Clearview’s, aby zidentyfikować każdą osobę z imienia i nazwiska. Siły policyjne i inne agencje podobno już używają A.I. do identyfikacji różnych działań (takich jak włamanie do pojazdu lub włóczęgostwo) oraz do przeszukiwania obrazów z monitoringu w poszukiwaniu osób na podstawie ich fizycznych opisów. Nie jest jasne, czy którakolwiek z nich używa jeszcze super-rozdzielczości, ale niewątpliwie będzie to możliwe. Technologia rekonstrukcji twarzy prawdopodobnie również się poprawi – wiele dzisiejszych twarzy nadal jest zniekształconych po wzmocnieniu, ale błędy rekonstrukcji twarzy prawdopodobnie zmniejszą się z czasem.

Musimy zapewnić, że technologie takie jak zoom i wzmocnienie są dostępne dla organów ścigania, gdy są naprawdę potrzebne. Ale musimy również upewnić się, że nie są one nadużywane.

W miarę doskonalenia technologii, możesz nawet nie potrzebować aparatów bezlusterkowych lub innych aparatów wysokiej jakości. Super-rozdzielczość może ostatecznie stać się na tyle dobre, aby wykonać funkcje zoom i wzmocnienie na niskiej rozdzielczości wyjście tradycyjnej kamery nadzoru, identyfikując każdą osobę w tłumie przy użyciu materiału z kamer drogowych, kamer monitoringu ze sklepu lub pobliskiego domu, a nawet krążącego drona. Mogłoby to również pewnego dnia zostać zastosowane do zdjęć zrobionych smartfonem lub nawet zdjęć o niskiej rozdzielczości wyświetlanych na platformach mediów społecznościowych, takich jak Instagram.

Jak w przypadku każdej nowej technologii nadzoru, zapewnienie odpowiedzialnego wykorzystania zoomu i wzmocnienia jest kwestią ustanowienia odpowiednich przepisów i polityki. Czwarta poprawka do Konstytucji USA już zapewnia ochronę przed przeszukiwaniem bez nakazu. Sądy w przeszłości rozważały kwestie związane z nowymi technologiami – na przykład sprawdzając, czy nadzór z użyciem teleobiektywów narusza Czwartą Poprawkę. Ogólnie rzecz biorąc, orzekły, że powszechnie dostępna technologia, taka jak obiektywy z zoomem, może być używana w wielu kontekstach, ale specjalistyczna technologia, taka jak radar, który widzi przez ściany, nie może.

Nie jest jeszcze jasne, gdzie zoom i wzmocnienie znajdą się na tym spektrum. Technologia ta może być postrzegana jako kolejna wersja obiektywu zoom w tradycyjnym aparacie fotograficznym. Ale biorąc pod uwagę jej elementy sztucznej inteligencji, sądy mogą uznać, że jest to zbyt wyspecjalizowana technologia, aby można ją było uruchomić bez odpowiedniego nakazu przeszukania.

Na razie technologia jest zbyt nowa, aby te precedensy zostały ustanowione. Jako obywatele, najlepszą rzeczą jaką możemy zrobić jest świadomość jej istnienia. Jeśli jesteś na proteście lub innym wrażliwym wydarzeniu, załóż, że jesteś obserwowany i fotografowany. Nawet jeśli nie widzisz kogoś z profesjonalnie wyglądającą kamerą, władze wciąż mogą przechwytywać twój obraz w wystarczająco wysokiej jakości, aby sprawdzić cię za pomocą rozpoznawania twarzy i zidentyfikować cię po imieniu.

Możemy również proaktywnie informować ustawodawców o tym, które nowe technologie są dla nas wygodne, a które nie. Popularny gniew związany z technologiami rozpoznawania twarzy doprowadził do zaproponowania ustawy zakazującej stosowania tej technologii w policji. Musimy zapewnić, że technologie takie jak zoom i wzmocnienie są dostępne dla organów ścigania, kiedy są naprawdę potrzebne. Ale musimy również upewnić się, że nie są one nadużywane.

Tak jak fantastyka naukowa wykonała dobrą robotę przygotowując nas do podróży kosmicznych i komputerów, programy takie jak CSI wykonały dobrą robotę wprowadzając nas w koncepcję zoom i enhance zanim ona zaistniała. Ale kiedy wyjdziesz poza wyimaginowany świat dobrego policjanta walczącego ze złymi przestępcami, etyka w świecie rzeczywistym technologii takich jak zoom i enhance szybko się rozmywa.