SketchAR推出的无标记计算机视觉追踪技术，是目前针对平面最强大的CV追踪解决方案。
计算机视觉是一个复杂的领域，建立在持续不断的研究和开发之上。以下是我们解决计算机视觉一大关键难题——“恐惧平面”——的原因和方法。
SketchAR 关注的是通过智能手机摄像头看到的平面，比如看着一张白纸或一面墙时的情形。为了理解这种环境，我们不得不发明方法和算法，让我们能够处理各种表面。我们已经在一篇文章中提到过无标记追踪（Markerless Tracking）是如何工作的。我们想和大家分享它的所有应用场景和潜力，以及它可以用于哪些领域。
SketchAR 的无标记追踪方法能够检测平面。而且，即使在极端条件下——比如摄像头无法清晰看到环境，或者放大后只能看到一片白色表面——它依然保持稳定。
SketchAR 对比 ARKit/ARCore
在这里，我们将SketchAR的追踪技术与来自苹果和谷歌的最流行方案——ARKit/ARCore——进行对比。我们在同一设备上使用了相同的条件：极限缩放，以及移动纸张。
白上白
SketchAR 另一个值得强调的功能是，它能够通过颜色检测出相同或相似的表面，比如白色桌子上的一张白纸。
以下是我们想要强调的一些特点：
- 摄像头能多么轻松地识别出像白桌子上的白纸这样复杂的表面。
- 当摄像头无法清晰看到环境、放大后只看到白色表面时，虚拟图像有多稳定。
- 纸张能超出摄像头视野多远。这里你可以看到摄像头只能看到25%的纸张，但虚拟图像在这种条件下依然非常稳定。
- 当用手以不同角度移动表面时，虚拟图像是如何被“粘住”的。
户外
另一个能很好说明无标记追踪在不同条件下成功运作的例子，是SketchAR 在街头一面墙上进行的测试。我们找到了一面看起来像画布的墙。然后从应用的素材库中选择了一幅草图，把它放在墙上，并尽可能地靠近墙面——距表面10厘米。即使左右移动手机，虚拟图像依然足够稳定。
有时一面白墙可能是100%纯白的，摄像头找不到可以正常工作的对焦点。对此我们已经有了解决方案，并将很快更新内核。
它是如何工作的。
我们已经提到过，为了让应用成功运行，我们如何利用机器学习和神经网络来分析来自用户的海量数据。以下是我们分析的内容：
SketchAR会分析智能手机屏幕上发生的一切。
- 表面（类型、结构等）。
- 纸张（形状、尺寸）。
- 额外的物体——将它们从表面中区分出来，因为它们对摄像头来说是“噪音”。
- 使用卷积神经网络检测手部。
- 阴影，因为它总是会干扰CV追踪。
- 用户的绘画内容，用于将这些不一致之处与原始图像进行匹配。
- 基于变换矩阵（机器学习+神经网络）的表面（纸张）结构识别。智能手机的摄像头可以识别多种色调相近的白色（或其他任何单一颜色）。
- 网格中的点实时全部相连。当发生重新初始化时，网格中的点会返回到原始位置。当手离开画面或移动到另一个方格时，该位置所需的像素会被重新识别。
这种方法使我们能够从真实的SketchAR用户那里收集所有数据（10万用户中约80%允许我们这样做）。我们的内核将这些数据作为锚点之间的连接和关系进行分析，然后利用GPU以实时30帧每秒的速度，不产生延迟地修正虚拟物体相对于真实表面的位置。
我们的世界由各种表面构成。我们的目标是教会机器更好地理解环境，更精准地与世界互动。
了解更多产品信息，请点击这里。
此致，
SketchAR团队
