O Rastreamento por Visão Computacional sem Marcadores da SketchAR é a solução de rastreamento por CV mais poderosa para superfícies.
Visão computacional é uma área complexa baseada em um processo contínuo de pesquisa e desenvolvimento. Aqui estão alguns motivos e explicações de como resolvemos um dos problemas cruciais da visão computacional – o medo da superfície plana.
A SketchAR se dedica às superfícies planas vistas através da câmera de um smartphone ao olhar para uma folha de papel branca ou uma parede. Para entender esse ambiente, tivemos que inventar métodos e algoritmos que nos permitissem trabalhar com todos os tipos de superfície. Já mencionamos em um artigo como funciona o Rastreamento sem Marcadores. Queremos compartilhar com vocês todos os casos de uso e as possibilidades desse potencial, além dos tipos de área em que pode ser aplicado.
O Método de Rastreamento sem Marcadores da SketchAR é capaz de detectar superfícies planas. Além disso, ele permanece estável mesmo em condições extremas, como quando a câmera não consegue enxergar o ambiente com clareza ou quando está em zoom, olhando apenas para uma superfície branca.
SketchAR vs. ARKit/ARCore
Aqui comparamos o Rastreamento da SketchAR com as soluções mais populares da Apple e do Google – ARKit e ARCore. Usamos as mesmas condições no mesmo dispositivo: zoom extremo e movimentação do papel.
Branco no branco
Outro recurso da SketchAR que vale a pena destacar é a capacidade de detectar superfícies iguais ou semelhantes em cor, como uma folha de papel branca sobre uma mesa branca.
Aqui estão alguns pontos que gostaríamos de destacar:
- Com que facilidade a câmera consegue reconhecer uma superfície tão complexa quanto uma folha de papel branca sobre uma mesa branca.
- Quão estável a imagem virtual permanece quando a câmera não enxerga o ambiente com clareza, quando está em zoom e olhando apenas para uma superfície branca.
- Até que ponto o papel pode sair do campo de visão da câmera. Aqui você pode ver que a câmera enxerga apenas 25% do papel, mas a imagem virtual permanece muito estável nessas condições.
- Como a imagem virtual fica ‘colada’ à superfície quando ela é movida manualmente em diferentes ângulos.
Ao ar livre
Outro bom exemplo de como o Rastreamento sem Marcadores funciona com sucesso em diferentes condições é o teste da SketchAR feito na rua, em uma parede. Encontramos um pedaço de parede que parecia uma tela de pintura. Depois, escolhemos um esboço da biblioteca do aplicativo e o posicionamos na parede, aproximando-nos o máximo possível – a apenas 10 cm da superfície. A imagem virtual se manteve bastante estável, mesmo movendo o smartphone para a esquerda ou para a direita.
Às vezes, uma parede branca pode ser 100% branca, e a câmera não consegue encontrar um foco para funcionar corretamente. Já temos uma solução para isso e em breve atualizaremos o kernel.
Como funciona.
Já mencionamos como usamos aprendizado de máquina e redes neurais para analisar toneladas de dados dos nossos usuários para que o aplicativo funcione com sucesso. Aqui estão as coisas que analisamos:
A SketchAR analisa tudo o que acontece na tela do smartphone.
- Superfície (tipos, estrutura, etc.).
- Papel (formas, dimensões).
- Objetos adicionais – para separá-los da superfície, já que são ‘ruído’ para a câmera.
- Mãos são detectadas usando redes neurais convolucionais.
- Sombras, pois elas sempre atrapalham o rastreamento por CV.
- Desenhos do usuário, para comparar essas inconsistências com a imagem original.
- Reconhecimento da estrutura da superfície (um papel) baseado em Matriz de Transformação (ML+NN). A câmera de um smartphone consegue reconhecer diversos tons de branco semelhantes (ou de qualquer outra cor lisa).
- Os pontos da grade estão todos conectados em tempo real. A reinicialização ocorre, e os pontos da grade retornam à posição original. Quando uma mão sai do quadro ou se move para outro quadrado, o pixel desejado naquele local é reconhecido novamente.
Essa abordagem nos permite coletar todos os dados de usuários reais da SketchAR (100 mil usuários, dos quais cerca de 80% nos permitem fazer isso). Nosso kernel analisa esses dados como conexões e relações entre os pontos de ancoragem e, então, corrige a posição do objeto virtual em relação à superfície real sem travamentos, em tempo real, a 30 fps, usando a GPU.
Nosso mundo é feito de superfícies. Nosso objetivo é ensinar as máquinas a entender o ambiente muito melhor e a interagir com o mundo de forma mais precisa.
Saiba mais sobre o produto aqui.
Até mais,
Equipe SketchAR
