AI アルゴリズムがハードウェアを置き換えることは可能でしょうか?

Googleは2021年末にPixel 6シリーズの携帯電話をリリースした際、携帯電話に心拍数モニタリングや呼吸数検出などの機能が搭載されているとは明言していなかった。しかし、システム ソフトウェアの最初のメジャー アップデートの後、これら 2 つの新機能が登場しました。これはちょっと驚きです。これは、ダイナミックデスクトップや新しい写真モードを追加するようなアップグレードではないからです。これらのアップグレードはソフトウェアを変更するだけで実現できますが、心拍数や呼吸の検出には常に追加のハードウェアが必要でした。

では、Pixel 6 はどうやってそれを実現するのでしょうか? これは、AI アルゴリズムを搭載したカメラと LED フラッシュライトを使用することで実現されます。検出の仕組みは、検出機能をオンにして、携帯電話を裏返します。背面のカメラと LED フラッシュライトは非常に近い位置にあります。指をそこに置き、カメラと LED フラッシュライトを同時に押すと、検出が開始されます。このとき、LED からの強い光が指を照らし、指先の端が赤くなります。同時に、カメラは半透明の指組織の血管の拡張と収縮によって生じる反射光の強度の変化を捉えています。

この変更は、Google が Fitbit の買収により獲得した AI アルゴリズムと組み合わせることで、まず心拍数を取得し、次に呼吸数を計算して適合させます。血管の脈動で心拍数を判断するのは信頼できると思うかもしれませんが、呼吸数はどのように判断するのでしょうか?

実際、今日では、専用のハードウェア モジュールを通じて呼吸数を監視するすべてのデバイスは、同様のフィッティング方法を通じて呼吸数も計算します。たとえば、私たちが身につけているさまざまなスポーツ用ブレスレットや腕時計では、呼吸を測るために鼻に当てるように指示されることは決してありませんよね? 違いは、これらのプロ仕様のスポーツ検出装置が使用する光の強度と色は、反射光を計測するのに適しており、精度が高くなることです。

携帯電話の LED フラッシュライトから発せられる白色光を使って測定するだけではどうでしょうか? AI のサポートがなければ、誤差は比較的大きくなります。しかし、AIこそがGoogleの強みであり、度重なるテストを通じて、AIの助けを借りれば、それらの専門モジュールがなくても得られる精度はほぼ同じであることが判明したため、この機能は最初のメジャーアップデート後にリリースされました。

もちろんこれは無料の新機能です。しかし、逆に考えてみると、まず実験でこれが可能であることがわかれば、それは実際には携帯電話の設計と製造においてハードウェアモジュールを 1 つ少なく購入し、それでもモーション監視機能を実現できることに相当します。そのため、ハードウェアの一部が AI に置き換えられ、スポーツや健康用のチップを開発した多くの企業が不満を抱きました。

実際、Google のスマートフォンだけでなく、Xiaomi のスマートフォンでもこれが機能することがわかっていますが、2 つのコンポーネントが比較的離れており、1 本の指で押すことができないため、リア カメラと LED フラッシュライトは使用されていません。

Xiaomi Mi 11 スマートフォンには画面下の指紋センサーが搭載されており、指の圧力を感知すると強い光を発し、指紋を照らしてスマートフォンを認証してロックを解除します。カメラや照明機能も搭載しており、心臓の鼓動のリズムである血管の拡張と収縮のリズムも映し出すことができます。

しかし、Xiaomi の携帯電話は呼吸数を検出しません。おそらく、この値の誤差がまだ比較的大きいためです。したがって、Xiaomi だけでなく、画面下の指紋センサーを使用するすべての携帯電話は、ハードウェアコストをかけずに心拍数モニタリング機能を追加できます。

AIがカメラに取って代わる

実は、AIに置き換えられたのは心拍数モニタリングモジュールだけではありません。2018年以前の携帯電話は上部にカメラが並んでいたため、フルスクリーンの携帯電話を作るのは非常に困難だったことも覚えているでしょう。これらのカメラの一部は、現在では AI に完全に置き換えられています。たとえば、構造化光カメラと ToF (飛行時間型測距センサー) は、顔認識タスク用に特別に設計されています。当時、多くのメーカーが、どちらのソリューションがより有望であるかについてまだ議論していました。しかし、2021年の新しい携帯電話では、これら2つのモジュールはなくなり、誰もが顔認識を実現するために通常の前面カメラとAIアルゴリズムのみを使用しています。

これまで、フロントカメラが使用されなかった理由は、フロントカメラの精度が 3D 構造化光や ToF に比べて悪すぎたためです。誤った判断により安全に関わる機能が常にロック解除されたままでは、許されません。しかし、それはもう必要ありません。

さらに驚くべきことは、スペースと画面デザインスタイルの制限により、携帯電話のフロントカメラが2年以上改良されていないことです。 2020 年の初めから今日まで 2 年以上が経過しましたが、ほとんどのフラッグシップ フォンは依然として IMX615 ソリューションを使用しています。

そのため、AIアルゴリズムは、フロントカメラ自体の性能を向上させることなく、実際に顔認識の精度を大幅に向上させ、プロ用チップでしか実現できない精度を実現します。この改良により、構造化光カメラメーカーと ToF センサーメーカーは不満を抱いています。

AIに置き換えられたもう一つのハードウェアは、携帯電話の背面カメラです。 2019年以前は、さまざまなブランドのフラッグシップスマートフォン、特に写真撮影が得意と謳うモデルには、メインカメラ、超広角、望遠、潜望鏡、独立マクロの4〜5台のカメラが搭載されていることがほとんどでした。たとえば、Xiaomi CC9 Pro 携帯電話は、「5 つのカメラ、4 つのフラッシュ、10 倍ハイブリッド光学ズーム」を搭載していると宣伝されており、携帯電話の背面には多くの円が描かれていました。

この傾向が続くと、携帯電話の写真撮影の品質をさらに向上させたいのであれば、グリップ部分に加えてカメラを取り付けるための穴が開けられることになるでしょう。しかし実際には、2年間の開発期間を経て、ほとんどのトップフラッグシップスマートフォンでは、独立した2つのマクロカメラと望遠カメラが廃止されました。メインカメラと超広角カメラで撮影したデータをAIアルゴリズムで組み合わせることで、独立したマクロカメラで満足のいく写真撮影効果を実現できます。さらに、2019年以降、カメラの数は減ったものの、携帯電話の写真のクオリティは着実に向上しています。

DxOMarkの携帯電話カメラランキングでは、5台のカメラ、4つのフラッシュ、10倍ハイブリッド光学ズームを備えたXiaomi CC9 Proが130点を獲得したのに対し、3台のカメラのみを搭載したXiaomi 11 Extreme Editionは148点を獲得した。これは、カメラを2台減らした後、1世代分の画質の大幅な向上です。しかし実際には、カメラの数を減らすことで、携帯電話はコストを節約します。

AI アルゴリズムのサポートにより、精度ではリードしているものの代替機能を持つハードウェアを、AI のサポートを通じて魔法の杖に変身させることができます。 AIは人手を削減し、ソフトウェア機能を強化するだけでなく、一部のハードウェアモジュールを置き換えることもできます。