Apple Glassは、視線の中にあるものだけをレンダリングすることでARを高速化

applearglassIT

ユーザーが何を見ているかを分析することで、Apple GlassやARヘッドセットがビデオ処理のパフォーマンスを向上させることができます。

拡張現実システムは、ユーザーに混合現実のイメージをより良く提供するために、環境に関するデータを収集することに依存しています。ほとんどの人にとって、これは主に、ユーザーの目の近くからライブカメラのフィードを撮影し、デジタル操作して、それを変更した状態でユーザーに見せることですが、これは深度マッピングのような他のデータタイプをカバーすることもできます。

多くのVRおよびARシステムでは、ホストコンピュータにテザリングされたヘッドセットを使用しているため、環境に関するデータを取り込む必要があり、一度にテザリングを介して転送できるデータの数が限られているため、問題が発生する可能性があります。高解像度やフレームレートなど、長年にわたるカメラの改良により、分析や処理すべきデータがさらに増え、テザーで処理するには多すぎる可能性があります。

また、データが多ければ多いほど、AR画像を作成するための処理が必要になる可能性があるため、処理リソースも考慮する必要があります。

火曜日に米国特許商標庁から付与された特許では、Appleは、メインの処理が行われる前に、処理が必要なビデオデータを絞り込むことで、侵入の問題に対処しようとしています。

つまり、この特許では、ヘッドセットが環境の画像を撮影し、シーンにいくつかのフィルターを適用し、それぞれがビデオフレームの異なる領域をカバーすることを提案しています。これらのフィルターは、処理のためにホストに送信されるデータを決定するもので、ユーザーの視線や、頭部の位置や動きなどの典型的なARやVRデータポイントに基づいて配置されます。

フィルタリングされたデータ層は、テザーまたはワイヤレスでホストに送信され、処理されてヘッドセットにフィードバックされて表示されます。その後、ループが繰り返されます。

この背後にある論理は、カメラで拾ったデータのすべてが、ユーザーが実際に見ているものを処理するために必ずしも必要ではないということです。ユーザーがある方向を向いていても、目が片方に向いている場合があり、ユーザーの視界の反対側のコンテンツのレンダリングは実質的に無意味になります。

Appleのシステムでは、視線を検出してから、そのデータポイントを画像データのフレームに適用する必要があります。データの複数のサブセットは、優先順位をつけることができる画像の様々な形状とサイズを定義することができ、ユーザーが積極的に見ている部分はメインサブセットの下に、より大きなセカンダリバージョンは周囲の領域をカバーします。

小さくてメインのサブセットは、ユーザーが積極的に見ているため、処理の優先度が与えられます。二次のより広いサブセットは、ユーザの周辺部にあるため、より少ない処理を必要とする可能性があり、したがって、より重要性が低い。また、この二次データは、優先データサブセットほど重要ではないため、完全な品質でホストに送信されない可能性があります。

ユーザのために最終的な画像をレンダリングする際に、これらのデータは、可能な限り目立たない方法でそれらを効果的に結合するために適用されるフィルタをさらに有することができる。実際には、システムは、プライマリ品質のサブセットと低品質の周辺サブセットとの間のラインをぼかし、ARアプリでオーバーレイされているカメラフィードの残りの部分を表示します。

サブセットの識別は、必ずしも一度に生成される必要はない。アップルは、第1のフレームの視覚データがカメラによって生成された後に第1のサブセットが生成されてもよいが、第2のフレームの生成中に第2のサブセット領域が決定されてもよいという可能性を示唆している。

さらに、第2のフレームに関連付けられた視線検出データは、処理のために第1のフレームの2次サブセット領域を知らせることができる。これは、ユーザの視線が移動している場合に有用であり、これにより、ユーザにとって視点が変化し、システムが追いつき、ユーザの視野内にデータを配置しなければならないことによる望ましくない影響を和らげることができるからである。

この特許は、2018年7月19日に出願されたものです。

Appleは毎週のように多数の特許出願を行っていますが、出願の存在はAppleの研究開発に関心のある分野を示していますが、将来の製品やサービスでの使用を保証するものではありません。

アップルは、かなりの数年間、ARまたはVRヘッドセットの何らかの形で取り組んでいると噂されている, より最近の憶測の大部分は、”Apple Glass”として知られているものを取り巻くと、潜在的にARヘッドセットの形を取ると考えられ、そしておそらく後でスマートグラス, それは典型的なメガネにサイズが似ているメガネの形を取ることができるという噂です。

当然のことながら、Appleはこの分野に関連する多くの特許出願を提出していますが、コアコンセプトが非常に似ています。その出願でAppleは、処理されるデータ量を制限することで、ヘッドセットディスプレイの処理性能とレンダリング性能を向上させる方法があるのではないかと提案しています。

今回の出願では、ホストデバイスに届くデータを制限するのではなく、ディスプレイに届くデータをすべて制限しています。データのサブセットと同様の方法で、Appleは、高解像度画像と低解像度画像からなる2つの異なるストリームのデータをディスプレイで使用することを提案しています。

視線検出を使うと、システムは、ユーザーが見ているところに高解像度の画像のみを配置し、その後に周辺の低解像度のデータを配置します。これにより、ディスプレイ自体が更新する際に扱うデータ量が少なくて済むため、より高いリフレッシュレートでの利用が可能となる。

★ お気に入り追加