Después de dos años, estamos listos para mostrarte una de las etapas más críticas en el desarrollo de SketchAR. También, en la visión por computadora en general.
Ya sabes cómo hemos desarrollado algunos de nuestros métodos en visión por computadora (CV, por sus siglas en inglés). Estos métodos ayudan a fijar objetos virtuales sobre superficies, incluso sobre superficies planas.
¡El mejor marcador es no tener marcador! La complejidad del desarrollo se ha visto agravada por la falta de información en el área de CV. El desarrollo más sofisticado en CV hasta ahora ha ocurrido en el campo del reconocimiento facial. También se han logrado avances con textos, señales y objetos, pero no tantos en cuanto a superficies planas. Así que tenemos que encontrar, paso a paso, soluciones a estos problemas fundamentales.
Sketch AR-Anchors.
El método de seguimiento sin marcadores de SketchAR es capaz de detectar superficies planas. Además, se mantiene estable incluso en condiciones extremas, como cuando la cámara no ve el entorno con claridad al hacer zoom y solo enfoca una superficie blanca.
¿Cómo funciona?
¿Recuerdas la película ‘50 sombras de gris’? Aunque no la recuerdes, el título basta para entender que hemos habilitado el reconocimiento de más de ‘50 tonos de blanco’. La cámara de un smartphone puede reconocer muchos tonos de blanco. No olvides que la tarea se complica más cuando una mano cruza constantemente la superficie. Además de esto, usamos machine learning y redes neuronales para analizar el entorno. Recopilamos todos los datos como conexiones y relaciones entre los puntos de anclaje, y luego analizamos la posición del objeto virtual en relación con la superficie real.
Mira el siguiente ejemplo, donde los ‘anclajes’ sobre el papel pierden sus puntos debido al movimiento de las manos sobre el papel.
Problemas de ARKit/ARCore: una imagen virtual se aleja si la cámara está cerca de una superficie plana.
Nuestro algoritmo resuelve el problema mejor que ARKit o ARCore, que ofrecen poca precisión sobre una superficie plana y cuando un objeto virtual se aleja de su posición actual.
Puedes ver en el ejemplo cómo la imagen virtual tiembla mucho, porque la cámara no percibe ningún entorno, solo superficies planas blancas. El problema de que los objetos virtuales se alejen cada vez que se colocan frente a cualquier superficie plana es un gran problema para cualquier empresa que trabaje con realidad aumentada.
El método de seguimiento sin marcadores de SketchAR se basa en una matriz de transformación (más ML y NN). Las conexiones entre los puntos no permiten que el dibujo virtual se desplace (el boceto virtual no se muestra en el video). Además, ocurre una reinicialización y los puntos de la cuadrícula vuelven a su posición original. Cuando una mano sale del cuadro o se mueve a otro cuadrante, el píxel deseado de su lugar se vuelve a reconocer.
Método de SketchAR vs. ARKit/ARCore
Con el STMWM, una imagen virtual (una rana) se mantiene estable incluso si la mano cruza la superficie en más del 60%. (ARKit/ARCore no está involucrado).
Hemos resuelto este problema, y la implementación de la tecnología es un proceso continuo. Seguiremos usando nuestra solución anterior con marcadores hasta que el STMWM pueda hacer todo el trabajo por sí mismo más adelante este año.
Gracias,
Equipo de SketchAR
