Depois de dois anos, estamos prontos para mostrar a você uma das etapas mais críticas no desenvolvimento do SketchAR. E também na visão computacional em geral.
Você já conhece alguns dos nossos métodos desenvolvidos em visão computacional (VC). Esses métodos ajudam a fixar objetos virtuais em superfícies, mesmo em superfícies planas.
O melhor marcador é nenhum marcador! A complexidade do desenvolvimento foi agravada pela falta de informação na área de VC. O desenvolvimento mais sofisticado em VC até agora ocorreu na área de reconhecimento facial. Também houve avanços com textos, sinais e objetos, mas pouco em relação a superfícies planas. Por isso, precisamos encontrar, passo a passo, soluções para esses problemas fundamentais.
Sketch AR-Anchors.
O Método de Rastreamento Sem Marcadores do SketchAR é capaz de detectar superfícies planas. Além disso, ele se mantém estável mesmo em condições extremas, como quando a câmera não consegue enxergar o ambiente com clareza ao dar zoom e vê apenas uma superfície branca.
Como funciona?
Você se lembra do filme '50 tons de cinza'? Mesmo que não se lembre, o título já é suficiente para entender que conseguimos habilitar o reconhecimento de mais de '50 tons de branco'. A câmera de um smartphone consegue reconhecer muitos tons de branco. Não se esqueça de que a tarefa fica mais complicada quando uma mão está sempre passando sobre a superfície. Além disso, usamos aprendizado de máquina e redes neurais para analisar o ambiente. Coletamos todos os dados como conexões e relações entre os pontos de ancoragem e, então, analisamos a posição do objeto virtual em relação à superfície real.
Veja o exemplo abaixo, onde as 'âncoras' no papel perdem seus pontos por causa do movimento das mãos sobre o papel.
Problemas do ARKit/ARCore: a imagem virtual voa para longe se a câmera se aproxima de uma superfície plana.
Nosso algoritmo resolve o problema melhor do que o ARKit ou o ARCore, que apresentam baixa precisão em superfícies planas e fazem com que o objeto virtual se afaste da posição atual.
Você pode ver no exemplo como a imagem virtual treme bastante, porque a câmera não enxerga nenhum ambiente, apenas superfícies planas e brancas. O problema de objetos virtuais se afastarem toda vez que são posicionados diante de qualquer superfície plana é um grande problema para qualquer empresa que trabalhe com realidade aumentada.
O Método de Rastreamento Sem Marcadores do SketchAR é baseado em uma matriz de transformação (+ ML e RN). As conexões entre os pontos não permitem que o desenho virtual se desloque (o esboço virtual não é exibido no vídeo). Além disso, ocorre a reinicialização e os pontos na grade retornam à sua posição original. Quando uma mão sai do quadro ou se move para outro quadrado, o pixel desejado daquele local é reconhecido novamente.
Método do SketchAR vs. ARKit/ARCore
Com o STMWM, uma imagem virtual (o sapo) permanece estável mesmo quando a mão cobre mais de 60% da superfície. (ARKit/ARCore não está envolvido).
Resolvemos esse problema, e a implementação da tecnologia é um processo contínuo. Continuaremos usando nossa solução anterior com marcadores até que o STMWM seja capaz de fazer todo o trabalho sozinho, ainda este ano.
Obrigado,
Equipe SketchAR
