La méthode des marqueurs prédictifs, ou comment nous nous rapprochons de la feuille blanche.

Nous avançons vers l'absence totale de marqueurs sur le papier, où chaque trait tracé par l'utilisateur est considéré comme un marqueur. En attendant, nous avons obtenu une meilleure détection et un meilleur accrochage : par exemple, si vous cachez trois des quatre marqueurs, notre algorithme devine où ils devraient se trouver, en conservant l'image virtuelle en place. Et même si certains marqueurs sortent du cadre, l'image reste également en place ! Nous appelons cette méthode « prédiction des marqueurs ».

Comment ça marche ?

Nous détectons la position du marqueur dans l'image, et lorsque le marqueur est perdu, notre algorithme suppose son emplacement en le faisant correspondre avec sa position sur l'image précédente. Par exemple, si dans l'image précédente le marqueur inférieur gauche se trouvait aux coordonnées 100 x 100, alors le marqueur le plus proche trouvé sur cette image est celui du bas à gauche.
Nous avons testé avec succès trois cas : lorsqu'un, deux ou trois marqueurs étaient perdus. Si les quatre marqueurs sont perdus, nous ne pouvons pas encore faire de prédiction. Pour l'instant, l'algorithme doit donc détecter au moins un marqueur.

Plus il y a de marqueurs détectés, plus la prédiction est précise :

1. Lorsque trois marqueurs sont trouvés, il est possible de déplacer la caméra dans une plage assez large, ainsi que de la décaler par rapport à la feuille et de la mettre à l'échelle.

D'abord, nous détectons un marqueur, puis nous le relions au marqueur de l'image précédente (par exemple, nous déterminons qu'il s'agit du marqueur inférieur gauche). Nous observons comment le marqueur s'est déplacé entre l'image précédente et l'image actuelle, puis nous déplaçons simplement l'ensemble du croquis. Nous partons du principe que le mouvement est linéaire et faisons la prédiction avec une précision assez faible, mais c'est suffisant si la caméra bouge légèrement.

1. Lorsque deux marqueurs sont détectés, le décalage sera perceptible pour tout mouvement de la caméra.
2. Et si un seul marqueur est trouvé, un déplacement de la caméra de quelques centimètres entraîne des problèmes notables.

Cette méthode représente une petite victoire technologique de notre part, qui améliorera considérablement l'expérience utilisateur.

Mettez à jour la version iOS de SketchAR pour découvrir la différence !