And its surveillance implications are scary
We all know the scene.Who Did I’m a proud proud to you do you? 刑事番組に出演している 2 人の刑事が、モニターでいっぱいの薄暗い部屋に立って、監視カメラの画像を確認しています。 技術者（そう、ほとんど男です）は、刑事たちが集中して目を細めながら見ている中、次々と画像を並べます。 「何もない！」と言い張る刑事がいる。 もう一人の刑事（主人公）が「待て！」と叫ぶと、全員が立ち止まる。 「そこにズームインしろ！」と刑事が言う。 技術者は画像の粗い隅に喜んでズームインします。 “それを強調しろ！”と刑事は言う。 技術者がキーを叩いて、アルゴリズムについて何かつぶやくと、突然、画像に焦点が合い、小さな、重要なディテールが明らかになった。
このシーンは、犯罪ドラマの決まり文句のように広く浸透しており、100 万回近く再生されている独自のミーム ビデオを触発しました。 しかし、これまではそうではありませんでした。 最近の 2 つの革新的な技術のおかげで、ズームとエンハンスがついに実現しました。 現実のズームとエンハンスメントの背後にある最初の技術革新は、写真撮影の世界からもたらされました。 最近まで、写真家には、Nikon D シリーズのようなプロ用のデジタル一眼レフカメラと、誕生日や旅行のスナップ写真に使うような安価なコンパクト・コンシューマ・カメラという、主に 2 つの選択肢がありました。 デジタル一眼レフは、写真はきれいに撮れるが、かさばるし、目立つし、操作も難しいし、監視カメラには向かない。 コンパクトカメラは、監視のプロに必要な画質を備えていることはほとんどありません。
それが、2015年頃からミラーレスカメラの台頭で変わり始めました。 コンパクトカメラのような小さな形でありながら、スマートフォンの普及による画像処理チップの進化で、一眼レフカメラと同等の高画質なイメージセンサーを搭載したカメラです。 また、スマートフォンから複雑な画像処理ソフトを導入することで、その機能をさらに高めています。 数千ドルで、監視のプロや警察は、ほんの数年前の最高のプロ用カメラよりも良い写真を撮る、小さくて使いやすいカメラを購入できるようになりました。 このトレンドは、ドイツの伝説的なカメラメーカーであるライカのミラーレスカメラ、Qが大きく先鞭をつけました。 最新モデルのQは、わずか1.4ポンドの重さで、人間の目よりも細かい部分まで見える非常に鮮明なレンズを通して、4700万画素の写真を撮ることができます。 また、ISO感度は50,000（最速のアナログフィルムの15倍）で、基本的に暗闇でも見ることができます。
その後、ソニーαのような低価格の競合機種も登場している。 数千ドルで、監視のプロや警察が、ほんの数年前の最高のプロ用カメラより良い写真を撮る、小さくて使いやすいカメラを購入できるようになりました。 これらのカメラで撮影した写真を拡大すると、まるでズームとエンハンスを使っているような感覚になることがあります。 しかし、ミラーレスカメラの画像と圧縮センシングを組み合わせると、ズームとエンハンスメントが本当に実現されます。 圧縮センシングにより、画質を大きく損なうことなく、画像を大きく拡大することができます。 この技術は 2000 年代初頭からありましたが、2010 年に、研究者が、ランダムに分布したピクセルの小さなサンプルを使用して、バラク・オバマ大統領の画像を再構成するために使用できる方法を示したときに、注目を集めました。
2017年に Google は、圧縮センシングの原理をニューラルネットワークと組み合わせ、AI 超解像というプロセスで劣化した画像や低品質の画像を再構成できる方法を示しました。 この技術は、サンプル画像 (多くの場合、顔や部屋) から始めて、それらをわざとぼやかして、ひどい JPEG 圧縮システムを通して実行するなどして、混乱させることによって機能します。
次に、ニューラルネットワークが劣化した画像を見て、それらを高品質の対応する画像と比較し、2 つの関係がどのようになっているかを学習します。 基本的に、ネットワークはデジタル画像がどのように劣化するのかをすべて学習します。 この学習が終わると、今度は逆戻りだ。 システムは低品質または劣化したイメージを渡され、その学習に基づいて、高品質で劣化していないバージョンをゼロから構築します。
Googleはその後この分野からほぼ撤退しましたが、AI超解像は急成長しました。 Big JPG のようなサービスでは、ユーザーが低品質の写真をアップロードすると、瞬時に 400% 以上アップスケールされ、多くの場合、品質の損失は最小限に抑えられます。 Photoshopのプラグインも同様の技術を提供し、写真家はボケの除去や画像の鮮明化に利用しています。 私の A.I.主導の写真会社では、2000 年代初期に撮影されたデジタル カメラの写真をアップスケールするために、この技術をよく使用しています。 開発後すぐに、研究者たちは、低解像度の監視写真や監視ビデオのフレームをアップスケールするために、この超解像技術をどのように使用できるかを示しはじめました。 また、ナンバープレート認識など、対象を絞ったアプリケーションにこの技術を利用することに着目した研究者もいた。 そして、多くのグループが顔認識画像の超解像に注目し、顔画像を強化するための特別なアルゴリズムを開発するまでになっています。 私の経験では、Topaz Labs が最も進んでいます。 同社の Gigapixel AI 製品を最新のミラーレス カメラの出力と組み合わせると、CSI のような番組で想像されるシステムに匹敵するズームと拡張が可能になります。
例えば、私のLeica Qミラーレスカメラで撮影した、カリフォルニア州マリン郡のJamba Juiceレストランの写真があります。
手のひらサイズのカメラを首から下げて、通りの向こう側から撮影したもの。 この写真をTopazのGigapixel AIソフトウェアにかけ、400%アップスケールし、同社独自の顔復元とシャープニングのアルゴリズムを使っています。
拡大した画像をフルサイズにすると、驚くべきディテールを見ることができます。 レストランの正面の窓から、並んで待っているお客さんがメニューを検討している様子がはっきりと見えます。
青い手術用マスクをしていることまで見える。 知らないスムージーマン、よくぞ無事でいてくれました。 ドアに貼られたフライヤーも、フライヤーのグラフィックの一部を含めて見えています。 あなたは彼らの順序を置く内部のパトロンを見ることができます。
ズームして画像の別の部分を強化し、あなたは遠くの背景に看板のテキスト（ “Jamba Curbside Pickup”）と、それらが黄色のテープを使って柱に取り付けられている方法を見ることができます。 また、遠くには、近くの別の店舗のマネキンや、屋外のテーブルで食事をしている人たちが見えます。
さらに極端なズームと露出の調整により、店内のカウンターにある店の特徴であるBlendtecのブレンダーをはっきりと確認することができます。
ブレンダーの識別は、もちろん、新しいテクノロジーの最も画期的な使用法ではありません。 しかし、監視の文脈でズームとエンハンスを適用すると、事態は急速に悪化します。
たとえば、ここに、2016 年にタイムズ スクエアで行われた Black Lives Matter の抗議活動を撮影した写真があります。 画像中央左の赤いボックスは、下の写真でズームとエンハンスを適用しています。
ズームとエンハンスを適用すると、群集の一番後ろにいる警察官の顔をはっきりと見ることができます。
この技術を Clearview AI のような顔認識システムと組み合わせれば、デモ参加者の群れの中で多数の人々を識別することは些細なことでしょう。 観光客を装った私服の警察官や連邦捜査官は、小さなミラーレス・カメラで写真を撮りながら、デモ参加者の群れの中を簡単に歩き回ることができます。 その写真は超解像システムにかけられ、大幅に拡大され、顔が強調されます。
それから個々の顔を画像から取り出し、クリアビューのようなシステムにかけ、名前によってすべての人を識別することが可能です。 警察やその他の機関は、すでに A.I. を使用して、さまざまな行動（車両への侵入やうろつきなど）を特定したり、監視画像から身体的特徴に基づく人物を検索したりしていると報告されています。 まだ超解像を使っているところがあるかどうかは不明ですが、間違いなくそれはやってくるでしょう。 現在では、多くの顔が強調されると歪んでしまいますが、顔の再構成のエラーは時間とともに減少していくでしょう。 しかし、それらが乱用されないようにする必要もあります。
技術が向上すれば、ミラーレスカメラやその他の高品質なカメラも不要になるかもしれません。 超解像は、最終的には、従来の監視カメラの低解像度出力でズームとエンハンス機能を実行し、交通カメラ、店舗や近くの家の監視カメラ、あるいは旋回するドローンからの映像を使用して、群衆の中のすべての個人を識別できるほど優れたものになる可能性があります。 また、スマートフォンで撮影した写真や、Instagram などのソーシャル メディア プラットフォームに表示される低解像度の写真にも適用できる日が来るかもしれません。
あらゆる新しい監視テクノロジーと同様に、ズームと拡張の責任ある使用を保証することは、正しい法律とポリシーを確立する問題であります。 米国憲法修正第 4 条は、すでに令状なしの捜査に対する保護を規定しています。 例えば、望遠レンズによる監視が憲法修正第4条に違反するかどうかを検討した例もある。 裁判所は一般的に、ズームレンズのような広く利用可能な技術は多くの文脈で使用できるが、壁を見通すレーダーのような特殊な技術は使用できないと裁定してきました。 このテクノロジーは、従来のカメラのズームレンズの別のバージョンとみなされるかもしれません。 しかし、人工知能の要素を考えると、裁判所は、適切な捜査令状なしに動員するには特殊すぎる技術であると判断するかもしれません。
今のところ、この技術はあまりにも新しいので、これらの判例は確立されていません。 市民として、私たちにできることは、その存在に気づくことです。 抗議活動やその他の敏感なイベントに参加する場合、監視され、写真撮影されていることを想定してください。 プロ仕様のカメラを持った人を見ていなくても、当局は、顔認識を使ってあなたを調べ、名前であなたを特定できるほど高い品質で、あなたの画像をキャプチャしているかもしれません。 顔認識技術に対する大衆の怒りは、この技術の警察での使用を禁止する法案を提案させるに至りました。 ズームやエンハンスといった技術が、本当に必要なときに法執行機関で利用できるようにする必要があるのです。 しかし、乱用されないようにする必要もあります。
SFが宇宙旅行やコンピューターに備えるために良い仕事をしたように、CSIなどの番組は、それが存在する前にズームやエンハンスの概念を紹介するために良い仕事をしました。 しかし、悪の犯罪者と戦う善良な警官という想像の世界を超えると、ズームやエンハンスといった技術の現実世界での倫理は、すぐにぼやけてしまう。