ユーザーが何を見ているかを分析することで、Apple GlassやARヘッドセットがビデオ処理のパフォーマンスを向上させることができます。
拡張現実システムは、ユーザーに混合現実のイメージをより良く提供するために、環境に関するデータを収集することに依存しています。
ほとんどの人にとって、これは主に、ユーザーの目の近くからライブカメラのフィードを撮影し、デジタル操作して、それを変更した状態でユーザーに見せることですが、これは深度マッピングのような他のデータタイプをカバーすることもできます。
多くのVRおよびARシステムでは、ホストコンピュータにテザリングされたヘッドセットを使用しているため、環境に関するデータを取り込む必要があり、一度にテザリングを介して転送できるデータの数が限られているため、問題が発生する可能性があります。高解像度やフレームレートなど、長年にわたるカメラの改良により、分析や処理すべきデータがさらに増え、処理するには多すぎる可能性があります。
また、データが多ければ多いほど、AR画像を作成するための処理が必要になる可能性があるため、処理リソースも考慮する必要があります。
Appleは、メインの処理が行われる前に、処理が必要なビデオデータを絞り込むことで、侵入の問題に対処しようとしています。
つまり、この特許では、ヘッドセットが環境の画像を撮影し、シーンにいくつかのフィルターを適用し、それぞれがビデオフレームの異なる領域をカバーすることを提案しています。これらのフィルターは、処理のためにホストに送信されるデータを決定するもので、ユーザーの視線や、頭部の位置や動きなどの典型的なARやVRデータポイントに基づいて配置されます。
フィルタリングされたデータ層は、ワイヤレスでホストに送信され、処理されてヘッドセットにフィードバックされて表示されます。その後、ループが繰り返されます。
この背後にある論理は、カメラで拾ったデータのすべてが、ユーザーが実際に見ているものを処理するために必ずしも必要ではないということです。
ユーザーがある方向を向いていても、目が片方に向いている場合があり、ユーザーの視界の反対側のコンテンツのレンダリングは実質的に無意味になります。
小さくてメインのサブセットは、ユーザーが積極的に見ているため、処理の優先度が与えられます。二次のより広いサブセットは、ユーザの周辺部にあるため、より少ない処理を必要とする可能性があり、したがって、より重要性が低い。また、この二次データは、優先データサブセットほど重要ではないため、完全な品質でホストに送信されない可能性があります。
ユーザのために最終的な画像をレンダリングする際に、これらのデータは、可能な限り目立たない方法でそれらを効果的に結合するために適用されるフィルタをさらに有することができます。
実際には、システムは、プライマリ品質のサブセットと低品質の周辺サブセットとの間のラインをぼかし、ARアプリでオーバーレイされているカメラフィードの残りの部分を表示します。
サブセットの識別は、必ずしも一度に生成される必要はない。アップルは、第1のフレームの視覚データがカメラによって生成された後に第1のサブセットが生成されてもよいですが、第2のフレームの生成中に第2のサブセット領域が決定されてもよいという可能性を示唆しています。
さらに、第2のフレームに関連付けられた視線検出データは、処理のために第1のフレームの2次サブセット領域を知らせることができます。これは、ユーザの視線が移動している場合に有用であり、これにより、ユーザにとって視点が変化し、システムが追いつき、ユーザの視野内にデータを配置しなければならないことによる望ましくない影響を和らげることができるからです。
Appleは毎週のように多数の特許出願を行っていますが、出願の存在はAppleの調査開発に関心のある分野を示していますが、将来の製品やサービスでの使用を保証するものではありません。
アップルは、かなりの数年間、ARまたはVRヘッドセットの何らかの形で取り組んでいると噂されています。より最近の憶測の大部分は、Apple Glassとして知られているものを取り巻くと、潜在的にARヘッドセットの形を取ると考えられ、そしておそらく後でスマートグラス、それは典型的なメガネにサイズが似ているメガネの形を取ることができるという噂です。
ホストデバイスに届くデータを制限するのではなく、ディスプレイに届くデータをすべて制限しています。データのサブセットと同様の方法で、Appleは、高解像度画像と低解像度画像からなる2つの異なるストリームのデータをディスプレイで使用することを提案しています。
視線検出を使うと、システムは、ユーザーが見ているところに高解像度の画像のみを配置し、その後に周辺の低解像度のデータを配置します。これにより、ディスプレイ自体が更新する際に扱うデータ量が少なくて済むため、より高いリフレッシュレートでの利用が可能となります。