Le suivi par vision par ordinateur sans marqueurs de SketchAR est la solution de suivi CV la plus puissante pour les surfaces.
La vision par ordinateur est un domaine complexe fondé sur un processus continu de recherche et de développement. Voici quelques raisons expliquant pourquoi et comment nous avons résolu l'un des problèmes cruciaux de la vision par ordinateur – la peur de la surface plane.
SketchAR s'intéresse aux surfaces planes vues à travers la caméra d'un smartphone, comme lorsqu'on regarde une feuille de papier blanche ou un mur. Pour comprendre cet environnement, nous avons dû inventer des méthodes et algorithmes qui nous ont permis de travailler avec toutes les surfaces. Nous avons déjà mentionné dans un article le fonctionnement du suivi sans marqueurs (Markerless Tracking). Nous souhaitons partager avec vous tous les cas d'usage et les possibilités qu'il offre, ainsi que les domaines dans lesquels il pourrait être utilisé.
La méthode de suivi sans marqueurs de SketchAR est capable de détecter les surfaces planes. De plus, elle reste stable même dans des conditions extrêmes, par exemple lorsque la caméra ne voit pas clairement l'environnement ou lorsqu'elle est zoomée sur une surface blanche uniquement.
SketchAR vs. ARKit/ARCore
Nous comparons ici le suivi de SketchAR avec les solutions les plus populaires d'Apple et de Google – ARKit et ARCore. Nous avons utilisé les mêmes conditions sur le même appareil : zoom extrême et déplacement de la feuille de papier.
Blanc sur blanc
Une autre fonctionnalité de SketchAR qu'il convient de souligner est sa capacité à détecter des surfaces identiques ou similaires en couleur, comme une feuille de papier blanche posée sur une table blanche.
Voici quelques points que nous souhaitons mettre en avant :
- La facilité avec laquelle une caméra peut reconnaître une surface aussi complexe qu'une feuille de papier blanche sur une table blanche.
- La stabilité de l'image virtuelle lorsque la caméra ne voit pas clairement l'environnement, lorsqu'elle est zoomée et qu'elle ne regarde qu'une surface blanche.
- Jusqu'où une feuille de papier peut sortir du champ de la caméra. Ici, on ne voit que 25 % du papier à l'écran, mais l'image virtuelle reste très stable dans ces conditions.
- Comment l'image virtuelle reste « collée » lorsqu'on déplace la surface selon différents angles à la main.
En extérieur
Un autre bon exemple du bon fonctionnement du suivi sans marqueurs dans différentes conditions est le test réalisé par SketchAR dans la rue, sur un mur. Nous avons trouvé un pan de mur qui ressemble à une toile. Nous avons ensuite choisi un croquis dans la bibliothèque de l'application, l'avons placé sur le mur, puis nous nous en sommes approchés le plus possible – jusqu'à 10 cm de la surface. L'image virtuelle est restée suffisamment stable, même en déplaçant le smartphone vers la gauche ou la droite.
Parfois, un mur blanc peut être blanc à 100 %, et la caméra ne parvient pas à trouver un point de mise au point pour fonctionner correctement. Nous avons déjà une solution à ce problème, et une mise à jour du noyau (kernel) arrivera bientôt.
Comment ça marche.
Nous avons déjà mentionné comment nous utilisons le machine learning et les réseaux de neurones pour analyser des tonnes de données provenant de nos utilisateurs afin que l'application fonctionne correctement. Voici les éléments que nous analysons :
SketchAR analyse tout ce qui se passe sur l'écran d'un smartphone.
- Surface (types, structure, etc.).
- Papier (formes, dimensions).
- Objets additionnels – afin de les distinguer de la surface, qui constitue un « bruit » pour la caméra.
- Les mains sont détectées à l'aide d'un réseau de neurones convolutif (CNN).
- Les ombres, car elles perturbent toujours le suivi CV.
- Les dessins de l'utilisateur, afin de faire correspondre ces incohérences avec l'image originale.
- Reconnaissance de la structure de la surface (une feuille de papier) basée sur une matrice de transformation (ML + NN). La caméra d'un smartphone peut reconnaître de nombreuses nuances de blanc similaires (ou de toute autre couleur unie).
- Les points de la grille sont tous connectés en temps réel. Une réinitialisation se produit, et les points de la grille reviennent à leur position d'origine. Lorsqu'une main quitte le cadre ou se déplace vers un autre carré, le pixel souhaité à cet emplacement est de nouveau reconnu.
Cette approche nous permet de collecter toutes les données des véritables utilisateurs de SketchAR (100 000 utilisateurs, dont environ 80 % nous y autorisent). Notre noyau analyse ces données sous forme de connexions et de relations entre les points d'ancrage, puis corrige la position de l'objet virtuel par rapport à la surface réelle sans latence, en temps réel à 30 images par seconde grâce au GPU.
Notre monde est constitué de surfaces. Notre objectif est d'apprendre aux machines à mieux comprendre leur environnement et à interagir avec le monde de manière plus précise.
En savoir plus sur le produit ici.
À bientôt,
L'équipe SketchAR
