新iPhone､自社開発半導体"超絶進化"の全貌 クラウドではなく端末内で高度な処理を実現

また、カメラにはもうひとつニューラルエンジンの応用例がある。それがSmart HDRである。これは数の異なる露出での撮影を参照し、あらゆる領域で被写体のディテールを最大限に生かすための写真撮影テクニックだが、これをiPhone XS/XS Max/XRは待ち時間なしでリアルタイムで行う。

実は新しいカメラユニットは読み出しが2倍速となっており、撮影可能なフレームとフレームの間をメモリ内に取り込んでおける。この能力と8コアニューラルエンジンによって合成し、自動的に（フォトグラファーが作品としてHDR撮影を行ったかのように）HDR写真を合成する。しかも、それを後処理ではなく瞬時に撮影直後に行えるのだが、実はそれだけではない。

動画撮影時にも、4K映像を毎秒60フレームで1枚づつ交互に露出を変えながら取り込み、合成したうえで自動的にHDR写真のような映像を最終的に4K、毎秒30フレームで記録する。

バスケットボールのシュートを分析するアプリのデモ（筆者撮影）

このほか、サードパーティーのアプリとして、iPhoneでバスケットボールのシュートを分析するものがデモされた。HOMECOURTというアプリがそれで、バスケットボールのリング方向にカメラを向けて固定しておくと、プレーヤーの骨格の動きやシュートした際のシュートの方向、速度、結果的にゴールできたかなどを自動的に判別、統計してくれ、そのうえで、HOMECOURTは分析結果を基にトレーニングメニューを考えてくれる。

このようにサードパーティーのアプリが登場しているのは、あらかじめニューラルエンジンを用いた機械学習処理のためのツールを提供していたからだ。同じくニューラルエンジンを用いるAR機能も性能が向上している。

ハードとソフトを一体化した価値へと投資

今回のアップデートは、昨年提案されたiPhone Xのアイデアを熟成させ、より使いやすく、高性能なものに仕上げてきた点に意味があるが、こうして振り返るとやはり（繰り返しになるが）A12 Bionicの設計方針、それと連動したiOSの設計方針、それらを組み合わせた機能的な、体験的な質の向上という部分が大きい。

スマートフォンのハードウエア機能は、基本的にそのほとんどがSoCに集約されている。この部分に投資をし、同時に基本ソフト、さらにそれを応用したアプリケーションソフトにまで踏み込んで開発を行わなければ、なかなか差異化はできない。

A12 Bionicはグラフィクス処理を司るGPUを順当に進化させつつも、一般的な処理を行うCPU部分は抑えめとし、一方でニューラルエンジンに多くの資源を投入したが、その活用事例を端末の価値として転換できているのは、やはり基本ソフトだけ、SoCだけ、アプリケーションだけといった単一の技術ではなく、あらゆる要素に関して一貫したポリシーで開発投資できているからだろう。

記事中では言及しなかったが、写真画質に大きな影響を与えるイメージシグナルプロセッサー（ISP）も同時に進化させ、ノイズ処理を強化している。画質面での貢献も大きいが、映像認識の精度を上げていくには、ノイズを正確に取り除くことが不可欠になる。

1年前を振り返るならば、当時、“次の10年”を担う製品として発表されたiPhone Xの意味が、ここで明確に見えてきたともいえるだろう。昨年、アップルは、これからも「よりよいスマートフォン」として進化を続けるための基礎をあらためて作り直した。その成果が、今年の製品へときっちりつながっている。

著者フォローすると、本田 雅一さんの最新記事をメールでお知らせします。