GoogleのAIスマホ「Pixel 2」は世界最高水準のカメラ、Deep Learningが鮮やかな画像を生成する

October 6th, 2017

Googleは2017年10月4日、第二世代のAIスマホ「Pixel 2」(下の写真、左側) と「Pixel 2 XL」(下の写真、右側) を発表した。Pixel 2はカメラ性能が大きく進化し、ベンチマークで世界最高位をマークした。高い評価を受けた理由はDeep Learning技法の強化で、AIが高品質の画像を生成する。

出典: Google

AIで構成されるスマートフォン

Pixel 2は音声アシスタント「Google Assistant」、ビジュアル検索機能「Google Lens」、及びイメージ生成技法「Computing Photography」とAI機能をフルに実装している。Pixel 2はイメージ生成機能が格段に強化され、世界最高のスマホカメラと評価されている。カメラの世界標準ベンチマーク「DxOMark」でPixel 2は98ポイントと評価されトップとなった。前モデルのPixelは89ポイントで、Pixel 2のカメラ性能が大きく向上したことが分かる。

人物写真専用モード「Portrait Mode」

Pixel 2は人物を撮影するための機能「Portrait Mode」を導入した。これは人物をシャープに、また、背景をぼかして撮影する機能である (下の写真)。一眼レフカメラでは望遠レンズの絞りを開き被写界深度を浅くして撮影する。Apple iPhone 8では搭載されている二つのカメラで被写体と背景を3Dで捉えてこれを表現する。これに対しPixel 2は一つのカメラでPortrait Modeの撮影ができる。撮影されたイメージをMachine Learningの手法で解析しPortrait Modeに変換する。

出典: Google

特殊なセンサーを搭載

Pixel 2はメインカメラ (12.2MP, f/1.8) に「Dual-Pixel Sensor」という特殊なイメージセンサーを搭載している。撮影した写真はこのセンサーで二つに分解される。右と左の二つのカメラで撮影したように、二枚のイメージとして把握する。つまり、左右二台のカメラで撮影したように、イメージを3Dで捉えることができる。

Machine Learningの手法で画像を生成

次に、このイメージをDeep Learningの手法で解析し被写体と背景を明確に区分けする。アルゴリズムは百万枚の写真を使い教育され様々なシーンに対応できる。アルゴリズムは前面と背景を区別できるようになり、カメラは人物のパーツ部分をシャープにフォーカスし、それ以外の部分はボケ(Bokeh)の効果を与える。人物だけでなくモノに対してもPortrait Modeで撮影できる。このモードを使うとプロカメラマンのように被写体が背景に浮き上がる写真を取ることができる。

自撮りでも使える

Portrait Modeはフロントカメラ (8MP, f/2.4) でも使うことができる。フロントカメラはDual-Pixel Sensorを搭載していないがDeep Learningの手法でPortrait Modeを生成する。アルゴリズムは画像の中で顔を認識し、顔に繋がっている身体パーツや髪などを把握する。つまり、アルゴリズムが人物の形状を認識しそこにフォーカスを当てる。このため、自撮り (Selfie) でPortrait Modeを使うことができる (下の写真、左側)。もし画面に顔が映っていなければPortrait Modeはオフとなる。

出典: Google

イメージを生成する機能「HDR+」

Pixel 2は暗い環境でも細部にわたり精密に表現できる (下の写真)。また、光のコントラストが厳しい状況でもバランスよくイメージを生成する。これは「HDR+」というイメージ合成手法により実現される。そもそも、HDR (High Dynamic Range) イメージングという手法は異なる露出の複数枚の写真を組み合わせて一枚の写真を生成する技術を指し、多くのスマホで幅広く使われている。これに対しHDR+は同じ露出の写真を多数枚組み合わせて一枚の写真を生成する手法である。

出典: Google

Computation Photography

Pixel 2はカメラアプリを開いた時から撮影を始め、シャッターが押されたポイントを撮りたいシーンと理解する。HDR+は数多くの写真を重ねるが、同じ露出で撮影するので暗い部分はノイズが乗る。しかし、暗い部分の写真を数多く重ね合わせることで数学的にノイズを減らす。この手法により、光の条件が厳しいところでも綺麗な写真が撮れ、また、Portrait Modeでは肌が滑らかに仕上がる。HRD+はアルゴリズムがイメージを生成する方式で「Computation Photography」とも呼ばれる。カメラはAIを含むソフトウエアが機能や性能を決定する。

高度な手ぶれ補正機構

Pixel 2のメインカメラはビデオや写真撮影向けに高度な手ぶれ補正機構を搭載している。これは「EIS (electrical image stabilization) 」と「OIS (optical image stabilization)」とMachine Learningで構成される。EISはハードウェア機能でセンサーが画像のブレを補正する。OISはソフトウェア機能でフレームごとのブレをアルゴリズムが補正する。Pixel 2はOISをジャイロと連携し手の物理的な振動を検知する。これらの情報をMachine Learningで解析し安定したイメージを生成する。具体的にはMachine Learningは撮影した各フレームから主要な動き(例えばオートバイの動き)を検知し、これに沿って撮影したフレームからブレを補正する。

ビジュアル検索機能「Google Lens」

Pixel 2はビジュアル検索機能「Google Lens」を搭載した。Google Lensとはカメラが捉えたオブジェクトに関する情報を画面に表示する機能である。Google LensはMachine Vision (画像認識機能) とMachine LearningとKnowledge Graph (知識データベース) で構成される。名所旧跡や本や音楽アルバムや映画などの情報を表示することができる。例えば、建物をGoogle Lensで見るとこれは1236年に建立された東福寺であることが分かる (一つ上の写真、右側)。

AIカメラ「Google Clips」

Googleは小型軽量のカメラ「Google Clips」 (下の写真) を発表した。これはハンズフリーカメラでClipsが自動でビデオを撮影する。Clipsをテーブルの上に立てて置いたり、椅子に挟んで使う。Clipsは興味あるシーンを認識し自動でシャッターを切る。また、専用アプリで利用者がシャッターボタンを押して撮影することもできる。

出典: Google

人物を識別する

Clipsはインテリジェントな機能を持ちAIが人物を識別する。このためClipsは親しい人物を中心に撮影する。また、Clipsは撮影のタイミングも自律的に判断する。被写体の動きが止まったタイミングを見て撮影を始める。また、被写体の一部が隠れているようなときは撮影しない。このため事前にClipsに家族関係者などを教えておく。また、Clipsを使うにつれ搭載されているMachine Learningは親しくしている人物を学びその人を中心に撮影するようになる。Clipsは屋内で家族やペットなどを撮影することを想定してデザインされている。

専用AIプロセッサを搭載

Clipsは専用AIプロセッサを内蔵している。このプロセッサはMovidius社の「Myriad 2」で、Computer Vision機能を司る。ここで人物の顔を認識しAI機能はデバイス上で実行される。この方式は「On-Device AI」と呼ばれる。クラウドと接続する必要はなく、顔情報をデバイスに格納し個人のプライバシーを守ることができる。

カメラとAIは相性がいい

Googleはハードウェア製品にAIをフルに実装し機能強化を推し進めている。Pixel 2ではAIがプロの写真家の役割を担い高品質なイメージを生成する。Clipsではもはや写真を撮影する行為は必要が無くAIが最適なシーンを撮影する。カメラはコンピュータとなり機能や特性はDeep Learningが決定する。カメラとAIは相性が良く技術革新が急速に進むことになる。

GoogleはAIスピーカー「Home」を大幅強化、高度なDeep Learningが製品の価値を決める

October 4th, 2017

Googleは2017年10月4日、ハードウェア新製品を一挙に発表した (下の写真)。製品はハードウェアがソフトウェアとAIに融合した形式となっている。AIが製品を差別化する決定的な要因になっていることが分かる。

出典: Google

新製品ラインアップ

発表された製品は次の通り。「Pixel 2」はスマホ最新モデルでAIを使ったイメージング技術でカメラの性能が格段に向上。AIスピーカーGoogle Homeの小型モデル「Mini」と最上位モデル「Max」が登場。「Google Clips」はAIカメラでアルゴリズムが最適なシーンを識別し自動で撮影する。「Google Pixel Buds」はBluetoothヘッドセットで音楽を再生し異なる言語を翻訳する。この他に「Pixelbook」と「Daydream View」の新製品が登場した。

ドーナツ型の「Mini」

発表の主要テーマはAIで全ての製品がAIで強化された。その中でもGoogle HomeのAI機能が大きく進化した。Google Home製品ラインが拡充され「Mini」と「Max」が登場した。これらは「Home」と同様にAIアシスタント「Google Assistant」が搭載され、ヒトの言葉を理解し音声で操作する。Miniはドーナツサイズの形状で (下の写真)、上部にはLEDライトが搭載されデバイスの状況が表示される。各部屋に一台備えることを前提としたデザインで、家庭空間がAIで埋め尽くされる。

出典: Google

音質を重視した「Max」

Maxは音質を重視したモデルでハードウェアとAIでこれを達成する (下の写真)。Maxは4.5インチのウーファーを2基搭載しディープなサウンドを生成する。「Smart Sound」機能を搭載し、AIが置かれた環境やコンテクストに合わせ音楽を再生する。AIが部屋の形状を把握しそれに最適なサウンドを再生する。また、朝はボリュームを控えて再生するが、食器洗い機が回っている時はボリュームを上げる。

出典: Google

Google Assistantがベース

HomeにはAIアシスタント「Google Assistant」が組み込まれ製品の中核機能となる。Google Assistantはこの他に、スマートフォン (AndroidとiOS)、スマートウォッチ (Android Ware) 及びテレビ (Android TV)にも対応し、製品インターフェイスは急速に音声に向かっている。Google Assistantはエコシステムを広げ、スマートホーム関連ではNest、Philips Hue、SmartThingsなど1000製品とリンクしている。

Google Assistant新機能

Google Assistantは質問に応え、音楽を再生し、家電を制御するハブとなる。また、六人の声を聞き分け (Voice Matchという機能)、利用者に沿った対応ができる。発表イベントではGoogle Assistantの新機能が紹介された。「Everyday Routines」は一言で複数のコマンドを実行する機能。例えば、「Good Morning」というと、Homeは一日のスケジュールを確認し、道路渋滞情報を知らせ、主要ニュースを読み上げる。「Let’s Play a Game」と指示すると子供向けのゲームが始まる。Homeは子供に人気のデバイスで、子供たちが安全に使える機能が登場した。

スマートホーム連携が強化された

Google HomeはAlphabet配下のスマートホーム企業Nestとの連携を強化した。Nestのセキュリティカメラ「Nest Cam」をGoogle Homeから操作できるようになった。例えば、玄関で物音がしたときに「Show me the entryway on my TV」と語ると玄関の様子がテレビに映し出される (下の写真)。

出典: Google

ドアベル「Nest Hello」をGoogle Homeから操作できる。Nest Helloは顔認識機能を備え来訪者を識別できる (Familiar Facesという機能)。来訪者がドアベルを押すとHelloはその人物を認識し、Google Homeは「Anti Susie is at the front door」と訪問者の名前を知らせてくれる。Nestと連携することで家屋のセキュリティをGoogle Homeで集中管理できる。

出典: Google

DeepMindの音声合成技術

Google Homeの音声が高度なAIを適用することでとても滑らかになった。DeepMindは昨年、音声合成(Speech Synthesis)に関する新技術を発表した。これは「WaveNet」と呼ばれDeep Neural Networkを使い人間のような自然な発声ができる技法を開発した。一般に音声合成は言葉をごく小さなパーツに分けてこれを繋ぎ合わせる方式 (Concatenative TTS)でスピーチを生成する。このため機械的でぎこちないトーンとなる。

滑らかなスピーチを生成する仕組み

これに対してDeepMindは従来方式と全くことなるアプローチを取る。WaveNetは多くの音声サンプルを学び、音声の波形(Audio Waveform)をゼロから丸ごと生成する。具体的にはネットワーク (Convolutional Neural Network、下の写真) はスピーチの構成を学習し、どの音色(Tone)の後にどの音色が続くか、また、どんな波形(Waveform)が自然であるかを学ぶ。このため、非常に滑らかな音声を合成できるようになった。

出典: Aaron van den Oord et al.

WaveNetをGoogle Homeに適用

しかし、昨年の時点では音声合成を短時間で実行することができなかった。0.02秒のオーディオを生成するために1秒を要した。DeepMindはこのアルゴリズムを改良し、高速で音声合成ができるようにした。1秒のオーディオを50ミリ秒で生成できリアルタイムで使えるようになった。Google Homeで使われている音声は改良されたWaveNetで生成されたものである。WaveNetは英語と日本語を対象としており、日本で発売されるGoogle Homeの音声はWaveNetで生成されたものである。

AIが差別化の要因

このようにGoogle Homeはシステムの背後で最新のAI技法が幅広く使われている。利用者の音声を認識するだけでなく、音声合成でもAI無しでは実現できない。ハードウェア製品の主要機能は各社とも横並びの状態になり、これからはAIが差別化の要因となり製品価値を決定する。

AIのブラックボックスを開き自動運転のメカニズムを解明、信頼できる完全自動運転車の研究が進む

September 22nd, 2017

我々はAIを信用していいのかという大きな命題に直面している。AI Carは車載カメラの画像から特徴量を高精度で検出し、人間のドライバーよりはるかに安全に走行する。しかし、AIの中身はブラックボックスで、運転テクニックは開発者ではなくAI Carだけが知っている。我々はなぜAI Carが安全に走行できるのかが分からない。この問題を解決するため、AIのブラックボックスを開きそのロジックを解明する研究が進んでいる。

出典: Nvidia

NvidiaのAI Car

AI Carとは入力 (カメラ画像の読み込み) から出力 (ステアリング操作) まですべてAIで実行する完全自動運転車を指す。NvidiaがAI Carの開発に力を注いでおり、そのプロトタイプ「BB8」 (上の写真) を開発し市街地で走行試験を実施した。クルマはハイウェーや一般道路を完全自動で運転する。クルマは道路というコンセプトを理解でき、車線が無くても人間のように運転できる。

AIが人間の運転を見て学ぶ

BB8は人間の運転を見てドライブテクニックを学ぶ。BB8はニューラルネットワーク「PilotNet」を搭載し、車載カメラの画像とそれに対応する運転手のハンドル操作を読み込み、ネットワークが運転技術を学習する。学習したPilotNetはカメラの画像を見るだけでステアリング操作ができるようになる。エンジニアが自動運転のためのルールをプログラムする必要はなく、PilotNetが人間のように運転テクニックを短時間で学ぶ。

AIが学習した内容を出力する研究

しかし、問題はPilotNetが学習したドライブテクニックを人間が理解できないことだ。なぜBB8は車線が描かれていない道路を安全に走れるのかそのロジックが分からない。このためNvidiaはPilotNetが学習した内容を出力するシステムの研究を始めた。AIが学習したことを可視化する研究である。具体的には、PilotNetはどこに着目して運転しているのかを出力する技術を開発した。この研究成果は「Explaining How a Deep Neural Network Trained with End-to-End Learning Steers a Car」として公開された。

BB8が着目している部分

研究ではBB8が運転する際に着目している部分を実際のカメラ画像にオーバーレイして表示した (下の写真、緑色で表示されている部分)。これを見るとPilotNetは他のクルマの下半分に着目していることが分かる (下の写真、上段)。更に、路面に描かれている実線(路肩)や破線(車線)にも着目している。一方、横方向に引かれている線(横断歩道)には注意を払っていない。

出典: Urs Muller et al.

AIが人間のように学習する

車線が描かれていない道路ではPilotNetは駐車しているクルマの側面に着目している (上の写真、中段)。AIはこれを道路の端と理解していることが伺える。砂利道の場合ではPilotNetは道路と草地の境界部分に着目している (上の写真、下段)。人間と同じ考え方で道路の部分を把握していることが読み取れる。これらはエンジニアが運転ルールとしてコーディングしたのではなく、PilotNetが運転の練習を通じで独自で学んだものである。

アルゴリズムを人間が視覚的に理解

PilotNetが着目している部分を見ることでブラックボックスであったアルゴリズムを人間が視覚的に理解できるようになった。PilotNetは何を規準に運転しているかが分かり、システム開発が大きく進むことになる。また、問題が発生すればその原因を表示できトラブルシューティングの効率も上がる。

研究は緒に就いたばかり

しかし、研究はこれで完成というわけではない。この研究はPilotNetの各レイヤの情報を出力したもので、ネットワークが判断基準を説明したわけではない。人間のドライバーであれば、例えば急ハンドルをきるとその理由を言葉で説明するが、PilotNetはまだその段階までには到達していない。更に、これから自動運転車の運転倫理など様々な規約が制定されることになる。AI Carは定められた運行規約にどういう方式で準拠するのかも問われる。AI Carのブラックボックスを解明する研究は緒に就いたばかりである。

Apple Face IDの発表で顔認証技術がブレークする兆し、同時にAIを悪用した攻撃への対応が求められる

September 20th, 2017

AppleはiPhone Xで顔認証技術「Face ID」を発表した。カメラに顔を向けるだけで認証でき、安全性と手軽さが評価され顔認証サービスが普及する勢いとなってきた。スマートフォンや金融サービスで顔認証の導入が一気に進む可能性がある。同時に、顔認証技術はAIを悪用した高度な攻撃に対する備えが求められている。

出典: Apple

顔認証技術は早くから登場していたが

顔認証技術は1960年代に登場した技術であるが、その精度に問題があり特殊な分野に限定して使われ、一般に普及することは無かった。近年では、AIの進化により顔認証技術の精度が向上し、ベンチャー企業が製品化を進めオンラインバンキングなどで試験的な導入が始まった。同時に、スマートフォンでの展開も始まり、SamsungはハイエンドモデルGalaxy Note 8で顔認証技術を導入した。

Samsung Galaxy Note8の顔認証技術

Galaxy Note 8は2017年9月に出荷されたが、発売直後に顔認証機能が破られる事件が発生した。写真をGalaxy Note 8にかざすとロック画面が解除されることが判明した。利用者は別のスマホで自身の顔を撮影し、それをGalaxy Note 8の顔認証画面に向けるとロック画面が解除さる。Samsungは見解を発表していないが、製品説明を読むと「顔認証は指紋認証やPINなどに比べ安全性が低い」と記載されている。Galaxy Note 8の顔認証機能はセキュリティではなく利便性を重視したデザインとなっている。

Apple Face IDのメカニズム

これに対してApple Face IDはセキュリティ機能を格段に強化し安全に使えるデザインとなっている。Face IDは3Dで顔を識別するため写真や動画で認証されることは無い。iPhone Xは「TrueDepth Camera」と呼ばれる特殊なカメラを搭載しセンサーが顔を3Dで認識する。ここに内蔵されているプロジェクター (Dot Projector、下の写真右端のデバイス) から3万個のドットが顔に照射され、これを赤外線カメラ (Infrared Camera、下の写真左端のデバイス) で読み込み顔の3Dマップ (先頭の写真) を作成する。この情報がプロセッサのストレージ (Secure Enclave) に暗号化して格納される。

出典: Apple

顔認証精度が高い理由

Face IDを使うときは光源 (Flood Illuminator、上の写真左から二番目のデバイス) から赤外線が照射され、反射波を赤外線カメラで読み込み、登録した顔のマップと比較して認証を実行する。光源が赤外線であるため外部の光の条件に関わらず、暗がりの中でも正確に認証できる。また、髪を伸ばしたり眼鏡をかけると登録した顔のイメージと異なり本人確認が難しくなる。このためAppleは機械学習 (Machine Learning) の手法を使ってアルゴリズムを教育し両者を正確に比較判定できる技術を開発した。同時に、顔認証への攻撃では映画で登場するフェイスマスクが使われる。本人の顔を3Dでコピーしこれをフェイスマスクで再構築する。Appleは実際にハリウッドでフェイスマスクを作りFace IDの認証精度をベンチマークしたと述べている。この背後にも機械学習の手法が使われており人間の顔とフェイスマスクを見分けることができる。

顔写真から顔の仮想現実を生成

顔認証に関して気になる研究成果が報告されている。昨年、University of North Carolinaの研究者はFacebookやInstagramに掲載されている写真から顔を3Dで構築する手法を公開した (下の写真)。対象者の顔写真を複数枚集め、これらの写真から顔の構造を3Dで再構築する。3D構造に肌の色や質感を加え、更に、様々な表情を追加しVRとしてディスプレイに表示する。

出典: Yi Xu et al.

生成した顔のVRが顔認証を破る

研究論文は生成した顔のVRを顔認証システムに入力し認証に成功したと報告している。市販されている五つの顔認証アプリで試験が実施された。顔認証アプリ名と認証成功率は次の通り;KeyLemon (85%), Mobius (80%), True Key (70%), BioID (55%), 1U App (0%)。これらの顔認証アプリはスマホのセキュリティで使われており、1U Appを除いて四つのアプリで認証技術が破られた。この論文は顔認証のメカニズムを改善する必要があると訴えている。

顔の3Dイメージを3Dプリンターで生成

顔のVRはFace IDで試験されていないが、TrueDepth Cameraは顔を3Dで検知きるため、iPhone Xに不正にアクセスすることはできないと思われる。一方、顔のVRを3Dプリンターに出力すると状況は変わるかもしれない。顔の3Dイメージを3Dプリンターで生成して顔認証システムを試験する研究が進んでいる。Security Research Labsはドイツ・ベルリンに拠点を置く企業でセキュリティ研究所として位置づけられる。同社は被験者の顔型を取りMicrosoftの顔認証システム「Hello」で認証を受けることに成功した。iPhone Xが発売になるとSecurity Research Labs などがFace IDの安全性を検証する作業を始めることになる。

1枚の写真から顔を3Dで構成

英国の大学University of Nottingham とKingston Universityの研究者は1枚の顔写真からAIを使って顔を3Dで構成する技術を発表した。Computer Visionにとって顔を3Dで把握するのは非常に難しい技術となる。上述の通り、数多くの写真を入力しこれらから3Dイメージを再構築するのが一般的な手法となっている。これに対し、CNN (イメージを判定するネットワーク) を顔写真と本人の3Dイメージで教育することで、アルゴリズムは1枚の顔写真からその3Dイメージを再構築できるようになった。(下の写真、Alan Turingの写真 (左側) を入力するとアルゴリズムは3Dイメージ (右側) を生成する。) 研究成果を使って顔認証システムの試験が実施されたわけではないが、今後はAIを悪用した認証システムへの攻撃が急増することを示している。iPhone Xが発売になるとFace IDのハッキングレースが始まりAppleは様々な挑戦を受けることになる。

出典: Aaron S. Jackson et al.

バイオメトリック認証のトレンド

バイオメトリック認証の中で顔認証が注目されているのは訳がある。声による認証はコールセンターなどで使われているが複製されやすいとして普及は限定的である。一方、Amazon Echoなどは認証ではなく利用者を特定するために声を使っている。バイオメトリック認証の中で指紋認証が一番幅広く利用されているが小さなセンサーで指紋を正確に読む技術が難しい。更に、指紋は複製しやすく安全性に関する懸念もある。

Appleは虹彩認証に進むのか

虹彩認識 (Iris Recognition) は精度が高く注目されている方式であるがが赤外線センサーなど専用機器が必要となるため普及が進んでいない。但し、Samsung Galaxy Note 7やNote 8はこの機能を既に搭載しているが認証精度や安全性についてはまだ評価結果が固まっていない。一方、iPhone Xは既に赤外線センサーを搭載しており虹彩認証に進むのではと噂されている。

顔認証がバイオメトリック認証の中心となる

色々なバイオメトリック認証方式がある中、顔認証方式は精度が高く使い勝手がいいことから、今後はこの方式が大きく広がると見られている。3年から5年後には認証技術の半分以上が顔認証になるとの予測もある。Apple iPhone Xの出荷はまだ始まっていないが、Face IDが市場に与えた影響は大きく顔認証方式の動向に注視していく必要がある。

Apple iPhone Xは顔認証を導入、写真はドラマチックに仕上がる、AIチップで画像認識を強化

September 13th, 2017

Appleは新本社で次世代ハイエンドモデル「iPhone X」を発表した。iPhone Xは顔認証方式「Face ID」を導入し、カメラに顔を向けるだけで認証ができる。顔認証は指紋認証より安全性が高く、Appleが導入したことで一気に普及が進む可能性を秘めている。

出典: Apple

次世代モデル三機種を発表

AppleはiPhone次世代モデル三機種を発表した。最上位機種はiPhone X (上の写真、左端) で、デバイスの前面が全てディスプレイ (Super Retina HD Display) となりホームボタンが無くなった。iPhone 7の後継モデルとしてiPhone 8 (上の写真、右端) とiPhone 8 Plus (上の写真、中央) が発表された。三機種とも新型プロセッサ「A11 Bionic」を搭載しAIとグラフィック機能を強化している。

Face IDとは

iPhone Xは顔認証機能「Face ID」を備えており、デバイスのロックを解除するには顔をカメラにかざすだけ (下の写真)。顔がパスワードになりデバイスをオープンできる。また、Apple Payで支払いをする際も顔をカメラに向けるだけで認証が完了する。指をホームボタンに押し付ける操作は不要で、安全なだけでなく使いやすくなった。

出典: Apple

顔認証のメカニズム

Face IDを使うためには事前に顔を登録する必要がある。システムの指示に従って顔をカメラに向け、ディスプレイに示された円に沿って顔を回す (下の写真)。iPhone Xは「TrueDepth Camera」と呼ばれる特殊なカメラを搭載している (先頭の写真左側、ディスプレイ最上部の黒いバーの部分)。顔を登録する時はTrueDepth Cameraのプロジェクター (Dot Projector) から3万個のドットが顔に照射され、これを赤外線カメラ (Infrared Camera) で読み込み顔の3Dマップを作成する。

出典: Apple

この情報がプロセッサのストレージ (Secure Enclave) に暗号化して格納される。Face IDを使うときは光源 (Flood Illuminator) から赤外線が照射されこれを赤外線カメラで読み込み、登録した顔のマップと比較して認証を実行する。

利用者の風貌が変わると

顔認証では利用者の状態が変わるという課題を抱えている。髪を伸ばしたり眼鏡をかけると登録した顔のイメージと異なり本人確認が難しくなる。このためAppleは機械学習 (Machine Learning) の手法を使って両者のイメージを比較する方式を採用した。アルゴリズムは登録した顔が髪を伸ばし眼鏡をかけるとどう変化するかを機械学習の手法で学習する。様々な条件を事前に学習しておき利用者の外観が変わっても高精度に判定できる。また、顔を3Dで比較するので写真を使って不正に認証を受けることはできない。

カメラの特殊効果

TrueDepth Cameraは自撮り (Selfie) する際に特殊効果を出すために使われる。これは「Portrait Lighting」という機能でスタジオで撮影する時のように、あたかも光を調整したかのように特殊効果を出す。Natural Lightというオプションを選択すると自然光のもとで撮影したように写る (下の写真、左側)。Studio Lightを選択するとスタジオの明るい環境で撮影した効果が出る。Contour Lightは顔の凹凸を際立たせ (下の写真、中央) ドラマチックな仕上がりとなる。Stage Lightは背景を黒色にして顔を浮き上がらせる (下の写真、右側)。

出典: Apple

カメラの性能はAIで決まる

TrueDepth Cameraはステレオカメラでオブジェクトを3Dで把握する。カメラが人物と背景を区別し、更に、AIが人物の顔を把握しここに光を当てて特殊効果を生み出す。メインカメラにもPortrait Lighting機能が搭載されており上述の機能を使うことができる。カメラは光学センサーが差別化の要因になっていたが、今ではキャプチャしたイメージをAIで如何に綺麗に処理できるかが問われている。iPhoneカメラはSoftware-Defined Cameraと呼ばれソフトウェアが機能を決定する。

絵文字を動画にしてメッセージを送る

TrueDepth Cameraを使うと絵文字の動画「Animoji」を生成して送信できる。カメラは顔の50のポイントの動きを把握し、これを絵文字キャラクターにマッピングする。笑顔を作るとキャラクターも笑顔になる (下の写真)。ビデオメッセージを作る要領で録画すると、キャラクターがその表情を作り出し音声と共にiMessageで相手に送信される。猫の他にブタやニワトリなど12のキャラクターが揃っている。

出典: Apple

AIプロセッサ

これら機械学習や画像処理を支えているのがAIチップA11 Bionicだ。名前が示しているようにAI処理に特化したエンジン「Neural Engine」を搭載している。Neural Engineは機械学習処理専用のエンジンで人や物や場所などを高速で把握する機能を持つ。このエンジンがFace IDやAnimojiの処理を支えている。またAR (拡張現実) における画像処理もこのエンジンにより高速化されている。

価格と出荷時期 (米国)

ハイエンドのiPhone Xの価格は999ドルからで11月3日から出荷が始まる。また、iPhone 8 Plusの価格は799ドルからでiPhone 8は699ドルからとなっている。両モデルとも9月22日から出荷が始まる。

iPhone発売から10周年

発表イベントは新設されたApple本社 (下の写真、左奥) に隣接するSteve Jobs Theater (下の写真、中央) で開催された。イベントの模様はライブでストリーミングされた。これはSteve Jobsを記念して建設されたシアターで円形のアーキテクチャになっている。一階部分は円盤状のロビーで、シアターは地階部分に設けられている。今年はiPhone発売から10周年の区切りの年になり、これを象徴してiPhone X (10) が登場した。

出典: Apple