私たちは紙の上のマーカーを完全になくす方向へ進んでいます。そこではユーザーが描くどんな線もマーカーとして扱われます。それまでの間に、私たちはより優れた検出とアタッチメントを実現しました。例えば、4つのマーカーのうち3つを隠しても、私たちのアルゴリズムがそれらがあるべき位置を推測し、仮想画像を保存してその場に保持します。さらに、一部のマーカーがフレームの外に出てしまっても、画像はその場に留まります！私たちはこの手法を「マーカーの予測」と呼んでいます。
どのような仕組みなのか？
私たちはフレーム内でマーカーの位置を検出し、マーカーが見失われたときには、前のフレームでの位置と照合することでアルゴリズムがその位置を推測します。例えば、前のフレームで左下のマーカーが座標100 x 100で見つかっていた場合、このフレームで見つかった最も近いマーカーが左下のマーカーだということになります。
私たちは、マーカーが1つ、2つ、3つ見失われた3つのケースでテストに成功しました。4つのマーカーすべてが見失われた場合は、今のところ予測できません。そのため、現時点ではアルゴリズムが少なくとも1つのマーカーを検出する必要があります。
検出されるマーカーが多いほど、予測の精度は上がります。
- 3つのマーカーが見つかった場合、カメラをかなり広い範囲で動かしたり、紙に対して平行移動やスケールを変更したりすることができます。
まず1つのマーカーを検出し、それを前のフレームのマーカーと結びつけます（例えば、これが左下のマークだと認識します）。前のフレームから現在のフレームまでマーカーがどのように動いたかを見て、スケッチ全体をそれに合わせて移動させます。私たちは動きが線形であると想定し、精度は非常に低いものの予測を行います。しかし、カメラが少しだけ動く場合には十分です。
- 2つのマーカーが検出された場合、カメラのどんな動きに対してもずれが目立つようになります。
- そして、1つのマーカーしか見つからない場合、カメラがほんの数センチ動くだけで、目立つ問題が発生します。
この手法は私たちの小さな技術的勝利であり、ユーザー体験を大きく向上させるものです。
SketchARのiOS版をアップデートして、その違いを確かめてください！
