SketchARのマーカーレス・コンピュータービジョン・トラッキングは、表面認識における最も強力なCVトラッキングソリューションです。
コンピュータービジョンは、絶え間ない研究開発の上に成り立つ複雑な分野です。ここでは、コンピュータービジョンにおける重大な課題のひとつ——「平面への恐怖」——を私たちがどのように解決したのか、その理由と方法をご紹介します。
SketchARは、スマートフォンのカメラを通して見える平面——白い紙や壁を見ているとき——に着目してきました。この環境を理解するために、あらゆる表面に対応できる手法とアルゴリズムを開発する必要がありました。マーカーレス・トラッキングの仕組みについては、以前の記事ですでに触れました。今回は、その可能性のあらゆるユースケースと、どのような分野で活用できるかを共有したいと思います。
SketchARのマーカーレス・トラッキング手法は、平面を検出することができます。さらに、カメラが環境をはっきりと捉えられない場合や、ズームインして白い表面だけを映している場合など、極端な条件下でも安定性を保ちます。
SketchAR対ARKit/ARCore
ここでは、SketchARのトラッキングを、AppleとGoogleによる最も普及したソリューション——ARKit/ARCore——と比較します。同じデバイスで同じ条件、つまり極端なズームと紙を動かす操作を行いました。
白の上の白
もうひとつ注目すべきSketchARの特徴は、白いテーブルの上に置かれた白い紙のように、色が同一または類似した表面同士でも検出できる点です。
特に注目していただきたい点は以下の通りです。
- 白いテーブルの上の白い紙のような複雑な表面を、カメラがどれほど容易に認識できるか。
- カメラが環境をはっきり捉えられない場合や、ズームインして白い表面だけを見ている場合に、仮想イメージがどれほど安定しているか。
- 紙がカメラの視界からどれだけ外れても認識し続けられるか。ここでは紙の25%しかカメラに映っていませんが、それでも仮想イメージは非常に安定しています。
- 手で表面をさまざまな角度に動かしたときに、仮想イメージがどれほどしっかりと「貼り付いて」いるか。
屋外での検証
マーカーレス・トラッキングがさまざまな条件下でうまく機能するもう一つの好例が、SketchARが街中の壁で行ったテストです。キャンバスのように見える壁の一部を見つけ、アプリのライブラリからスケッチを選んで壁に配置し、できる限り壁に近づけてみました——表面から10cmまで。スマートフォンを左右に動かしても、仮想イメージは十分に安定していました。
白い壁が完全に真っ白な場合、カメラが正しく機能するためのフォーカスを見つけられないことがあります。この問題についてはすでに解決策があり、近くカーネルのアップデートを予定しています。
仕組みについて
アプリを正しく機能させるために、私たちがユーザーから得た膨大なデータを分析する際に機械学習とニューラルネットワークをどのように活用しているかについては、以前触れました。ここでは、私たちが分析している要素をご紹介します。
SketchARは、スマートフォンの画面上で起きているすべての事象を分析しています。
- 表面（種類、構造など）。
- 紙（形状、寸法）。
- 付加的な物体——カメラにとって「ノイズ」となる表面から、これらを区別するため。
- 畳み込みニューラルネットワークによって検出される手。
- 影——CVトラッキングを常に妨げる要因であるため。
- ユーザーによる描画——元の画像とのズレを一致させるため。
- 変換行列（機械学習＋ニューラルネットワーク）に基づく表面（紙）の構造認識。スマートフォンのカメラは、類似した白（あるいは他の単色）の多くの色調を識別できます。
- グリッド上のすべての点はリアルタイムで連結されています。再初期化が行われると、グリッド上の点は元の位置に戻ります。手がフレームから外れたり、別のマスに移動したりすると、その位置の目的のピクセルが再認識されます。
この手法により、実際のSketchARユーザー（10万人のユーザーのうち約80%がこれを許可しています）からすべてのデータを収集することができます。私たちのカーネルは、このデータをアンカーポイント間のつながりや関係性として分析し、GPUを用いてリアルタイム30fpsで、遅延なく実際の表面に対する仮想オブジェクトの位置を補正します。
私たちの世界は表面で構成されています。私たちの目標は、機械が環境をより深く理解し、世界とより正確に相互作用できるように教えることです。
製品について詳しくはこちら。
よろしくお願いします。
SketchARチーム
