Après deux ans, nous sommes prêts à vous montrer l’une des étapes les plus critiques du développement de SketchAR. Aussi, dans la vision par ordinateur en général.
Vous savez déjà comment nous avons développé certaines de nos méthodes en vision par ordinateur (VPO). Ces méthodes permettent de fixer des objets virtuels sur des surfaces, même sur des surfaces planes.
Le meilleur marqueur, c’est l’absence de marqueur ! La complexité du développement a été aggravée par le manque d’informations dans le domaine de la VPO. Le développement le plus avancé en VPO à ce jour a eu lieu dans le domaine de la reconnaissance faciale. Des progrès ont également été réalisés concernant les textes, les panneaux et les objets, mais peu concernant les surfaces planes. Nous devons donc trouver, étape par étape, des solutions à ces problèmes fondamentaux.
Sketch AR-Anchors.
La méthode de suivi sans marqueur de SketchAR est capable de détecter les surfaces planes. De plus, elle reste stable même dans des conditions extrêmes, par exemple lorsque la caméra ne voit pas clairement l’environnement en zoomant et n’observe qu’une surface blanche.
Comment ça marche ?
Vous vous souvenez du film « 50 nuances de Grey » ? Même si ce n’est pas le cas, le titre suffit à comprendre que nous avons rendu possible la reconnaissance de plus de « 50 nuances de blanc ». La caméra d’un smartphone peut reconnaître de nombreuses teintes de blanc. N’oubliez pas que la tâche se complique lorsqu’une main traverse constamment la surface. En plus de cela, nous utilisons l’apprentissage automatique et les réseaux de neurones pour analyser l’environnement. Nous collectons toutes les données sous forme de connexions et de relations entre les points d’ancrage, puis nous analysons la position de l’objet virtuel par rapport à la surface réelle.
Regardez l’exemple ci-dessous, où les « ancres » sur le papier perdent leurs points à cause du mouvement des mains sur le papier.
Problèmes d’ARKit/ARCore : une image virtuelle s’envole lorsque la caméra se rapproche d’une surface plane.
Notre algorithme résout le problème mieux qu’ARKit ou ARCore, qui offrent une faible précision sur une surface plane et lorsqu’un objet virtuel s’éloigne de sa position actuelle.
Vous pouvez voir dans l’exemple à quel point l’image virtuelle tremble beaucoup, car la caméra ne voit aucun environnement, seulement des surfaces planes blanches. Le problème des objets virtuels qui s’éloignent à chaque fois qu’ils sont placés devant une surface plane est un problème majeur pour toute entreprise travaillant dans la réalité augmentée.
La méthode de suivi sans marqueur de SketchAR est basée sur une matrice de transformation (+ ML et RN). Les connexions entre les points empêchent le dessin virtuel de se décaler (le croquis virtuel n’est pas affiché sur la vidéo). De plus, une réinitialisation se produit et les points de la grille reviennent à leur position d’origine. Lorsqu’une main quitte le cadre ou se déplace vers une autre case, le pixel souhaité de son emplacement est à nouveau reconnu.
Méthode de SketchAR vs. ARKit/ARCore
Avec la STMWM, une image virtuelle (grenouille) reste stable même si la main traverse plus de 60 % de la surface. (ARKit/ARCore n’est pas impliqué).
Nous avons résolu ce problème, et la mise en œuvre de cette technologie est un processus continu. Nous continuerons à utiliser notre solution précédente avec marqueurs jusqu’à ce que la STMWM soit capable de tout faire seule, plus tard cette année.
Merci,
L’équipe SketchAR
