新iPhone､自社開発半導体"超絶進化"の全貌 クラウドではなく端末内で高度な処理を実現

一方、アップルはクラウドに情報を送らず、手元のデバイスで処理することを好む。彼らはサービス事業者ではなくハードウエア販売者であり、顧客が端末をどのように使っているかといったプライバシーに関わる可能性のある情報をネットワークの向こう側には送らないという方針を持っているからだ。

アップルは度々、「データをお金にすることはない」と直接的、あるいは間接的に表明している。そうした立ち位置を明確にし、自分たちはあくまでも“ハードウエアメーカー”であることに徹したうえで、進化する方向を示したのがA12 Bionicだと言えよう。

では具体的にどのような機能が実現され、またサードパーティーはどのように活用しているのだろうか。発表会ではいくつかの事例が挙げられた。

リアルタイムで写真に”深度”情報を付加

iPhone Xではインカメラに顔の形状を立体的に認識する機能を付加し、アウトカメラをデュアルとすることで大まかな深度の切り分けが可能になっていた。

この2つの代表的な機能はニューラルエンジンで処理されていたが、今年のモデルではいずれもが8倍以上に性能向上したことで、瞬間的に処理される。Face IDの認識速度も体感できるほど高速化されているほか、アウトカメラの深度情報も瞬間的に分析されるだけでなく、より正確に認識。背景と被写体を分離するポートレイトモードの誤動作は、試用している中では一度もみられなかった。

被写体との距離を画素ごとに記録した深度情報を持つため、撮影後の編集では一眼レフカメラの絞りを変更して“ボケ”を美しく表現したり、あるいはピントの合う範囲を広げてみたりといった“絵作り”を、仮想的に“F値（ハンズオンではfと表記されていたが、絞り値なのでF）”を変更しながら映像表現を変えるデモが行われていた。

撮影サンプルは実に自然で驚かされたが、現場で撮影した写真でも同じような体験ができた。これはニューラルエンジンを用いることで、より正確に背景と被写体を分離し、さらに被写体の形状を推測できるようになったためだ。

そしてiPhone XR。シングルカメラであるにもかかわらず、背景と被写体を分離し、それぞれに適した“ボケ”効果を与えることが可能となった。これもニューラルエンジンの速度向上によってセンサーが捉える映像内の各部を正確に分析、分類して映像処理を行えるようになったためだ。

デュアルカメラのiPhone XS/XS Maxほど分離精度は高くないようで、ポートレイトモードでは背景を暗く落とし込む「ステージ照明」「ステージ照明（モノ）」は利用できないが、ほかの照明モードは自由に選べ、また“F値”を変えてのボケ度合い調整も行える。ただしボケ効果を得られるのは、被写体が“人物”であることが条件で、顔認識をすることではじめて機能する。

現地で質問したところ、顔認識をリアルタイムで行うだけでなく、人の身体全体を認識させることができるため、それによって顔認識から連携して背景と人物の分離を画素単位で行い、深度情報を付与しているようだ。