今や、SketchARは拡張現実を使った絵の描き方を教える本格的なツールになったと言えます！
私たちがSketchARの最初のアイデアを考えたとき、その使い方は何十通りもあるだろうと理解していました。紙の上で、壁の上で、アーティストが、あるいは絵のスキルを伸ばしたい初心者が使う、といった具合です。お気づきの方もいるかもしれませんが、私たちはこれまで「絵を学ぶ」という表現をあえて避けてきました。それにはいくつか理由があります。学習ツールとしての明らかな可能性があるにもかかわらず、一部のユーザーはこれを誤解し、このアプリは画像をトレースするためだけに作られたのだと考えてしまったのです。初代バージョンのアプリに関して言えば、確かにそう思われても仕方のない面もありました。トレース機能はプロのアーティストにとって、望むサーフェスにスケッチを簡単かつ便利に写し取る手段として役立ちます。しかし一般のユーザーの多くは、SketchARの使い方がいかに多様であるかに気づいていなかったのかもしれません。
拡張現実を使ったステップバイステップの描画。SketchAR
さて、本題に入りましょう。今回の新しいアップデートには、たくさんのワクワクする新機能が詰まっています。以下でご紹介します。
1. SketchAR School
拡張現実を使って、ステップバイステップで簡単に絵を学ぶ。
Schoolは、さまざまな描画レッスンを集めたセクションです。この学習体験のユニークな特徴は、アプリ本来の主機能――つまり、描画時にARを使うことを学ぶという点にあります。これは、ステップバイステップのガイドに従い、線をなぞることで実現されます。
拡張現実を使ったステップバイステップの描画。SketchAR
紙にマーカー（4つのプラス記号）を描いた後、ユーザーは描画の次のステップへと順を追って案内されます。さらに、各ステップにはテキストによる説明が添えられています。
紙に描く新しいマーカー。
2. マーカーの簡略化。「ゼロ」から「プラス」へ。
マーカーをどのように選んだかについては、以前にも書いたことがあります。SketchARの初代バージョンでは円を採用しました。これによっていくつかの複雑な問題を回避できたからです。
プラス記号（＋やX）はユーザーにとって描きやすい一方、カメラで検出・認識するのは技術的により難しくなります。最終的に私たちは手法を改良し、「プラス」マーカーへと切り替えました。
3. 内部の改善点。
イノベーションの多くは目に見えない部分にあります。重要なステップとして、私たちの「プログレッシブマーカー」の手法を統合しました。この手法によって、ユーザーが描くあらゆるものに関する認識プロセスが向上しました。これらのデータはアプリの性能を継続的に磨き上げ、それぞれの描き手固有のニーズに合わせたアルゴリズムの提案につながります。
この手法についての説明は英語版とロシア語版でご覧いただけます。
4. 人工知能
私たちは機械学習を、SketchARがユーザーに対して特定の対象物をどう描けばよいかを教え、そのユーザーの描画の癖を把握するアシスタントとしての役割を果たすための重要な要素として活用しています。この情報をもとに、各ユーザー専用のアルゴリズムが、オーダーメイドのサポートによって描画技術の目標達成を後押しします。
5. ニューラルネットワーク
畳み込みニューラルネットワークによるアプローチは、アプリのコア部分における非常に有望な改良です。このネットワークは、SketchARを実際に使用した人々から得た大量の実例データをもとに学習します。このデータは、実際のサーフェス上に仮想スケッチを配置するための最適なアルゴリズムを見つけ出すために使われます。利用可能な情報をすべて活用しながら自ら学習することで、アルゴリズムの安定性はさらに高まります。すでに良好な結果が得られており、学習データが増えるにつれて、このアルゴリズムはより汎用的なものになっていくでしょう。
ここでご紹介したのは、まだ最初の一歩にすぎません。技術そのものの質はもちろん、レッスンの数や種類も今後さらに充実させていきます。
アプリはiOS、Android、MS Hololensからダウンロードできます。
今後もぜひご注目ください！
