iPhone Xファミリーが遂げた超絶進化の全貌 フィル･シラー氏が明かすカメラ機能の秘密

ニューラルエンジンが現時点でもっとも活躍しているのがカメラ機能であることに疑いはない。独自設計の強力なISP（イメージ信号プロセッサー。カメラ機能はもちろん、画質の根幹部分を司る部分）とニューラルエンジン併用で、画質を高めているからだ。

派手な効果ではないが、iPhone内蔵カメラの満足度を確実に上げている。

iPhone XS/XS Max/XR、すなちApple A12 Bionicを搭載するiPhoneは、いずれも内蔵する強力なISPとニューラルエンジンの恩恵を受ける。

しかし、それは（たとえばファーウェイのスマートフォンのように）実際の撮影では考えられないような、しかし美しく見える描写ではなく、自然なリアリティを伴う描写で描かれる。

そのアプローチの違いについて尋ねたところ、意外な答えが返ってきた。

写真家が生み出す“リアリティ”を表現

「肉眼で見たイメージそのままの自然な描写が基本。しかし、そこに撮影者のクリエイティビティで、より心に深く刺さる写真を撮るための“表現力”が加えられるよう考えて開発をしている。われわれが求めるのはリアリティだ。光が光学デバイスを通じてセンサーに注ぎ込まれ、美しい写真が生まれる。その原理原則をA12 Bionicを用いて、iPhoneのカメラに持ち込んだ」とシラー氏は胸を張る。こうした自信は、“本物”をコンピューティングによって身近なものにしようという強い意志があるからだ。

たとえば、アップルは過去2年にわたって、世界中の名フォトグラファーが使ってきた光学フィルターの使い方を研究し、現実のフィルターが持つ特性を演算でシミュレーションしているという。

一例だが、たとえば“森”あるいは“海”“人物”といった被写体を、立体的かつ美しい色彩で描くために、どのようなフィルターの組み合わせをしてきたかの情報を集めた。そして、そこで使われた光学フィルターの特性をプログラムし、写真の質を高めるために応用している。同様のアプローチは、内蔵カメラ機能の一部である“ポートレートモード”でも使われている。

iPhone Xファミリーが第2世代となる今年9月の発表会で公表されたニューラルエンジンの活用は、ごく一部だった。iPhone XRにおいて被写体の立体形状を予測したうえでボケを生かした写真とする機能、あるいは実存する美しいボケを実現するレンズの光学特性をシミュレーションする、あるいは複数フレームの画像から最適な1コマを自動的に選び出し、さらに異なる2つの露出を合成するスマートHDR、写真の自動分類や思い出のムービーを生成する機能などで活用されているが、多くは語られていない。

撮影された写真に対して、一流の写真家が行ってきたような“より美しい写真”を得るための手法を、ニューラルエンジンを用いた機械学習モデルとして適応。手仕上げのように丁寧な描写の結果を得る――。言葉にすれば、とたんに陳腐になってくる。“本当にそんなことができるのか？”とベンチマークテストが繰り返されるかもしれない。あるいは他社製品との差異化点として、売り上げに貢献することもあるだろう。