Markerloses Computer-Vision-Tracking von SketchAR ist die leistungsstärkste CV-Tracking-Lösung für Oberflächen.
Computer Vision ist ein komplexer Bereich, der auf einem fortlaufenden Prozess aus Forschung und Entwicklung basiert. Hier sind einige Gründe, warum und wie wir eines der entscheidenden Probleme der Computer Vision gelöst haben – die Angst vor der flachen Oberfläche.
SketchAR beschäftigt sich mit den flachen Oberflächen, die man durch die Smartphone-Kamera sieht, wenn man auf ein weißes Blatt Papier oder eine Wand blickt. Um diese Umgebung zu verstehen, mussten wir Methoden und Algorithmen entwickeln, die es uns ermöglichen, mit allen Oberflächen zu arbeiten. Wir haben bereits in einem Artikel erwähnt, wie Markerless Tracking funktioniert. Wir möchten euch alle Anwendungsfälle und Möglichkeiten dieses Potenzials vorstellen und zeigen, für welche Bereiche es genutzt werden kann.
Die markerlose Tracking-Methode von SketchAR kann flache Oberflächen erkennen. Zudem bleibt sie auch unter extremen Bedingungen stabil, etwa wenn die Kamera die Umgebung nicht klar erfassen kann oder beim Hineinzoomen nur eine weiße Oberfläche sieht.
SketchAR vs. ARKit/ARCore
Hier vergleichen wir das SketchAR-Tracking mit den bekanntesten Lösungen von Apple und Google – ARKit und ARCore. Wir haben dabei dieselben Bedingungen auf demselben Gerät verwendet: extremes Zoomen und das Bewegen des Papiers.
Weiß auf Weiß
Eine weitere bemerkenswerte Funktion von SketchAR zeigt, wie wir gleiche oder ähnliche Oberflächen anhand der Farbe erkennen können, etwa ein weißes Blatt Papier auf einem weißen Tisch.
Hier sind ein paar Punkte, die wir hervorheben möchten:
- Wie leicht eine Kamera eine so komplexe Oberfläche wie ein weißes Blatt Papier auf einem weißen Tisch erkennen kann.
- Wie stabil ein virtuelles Bild bleibt, wenn die Kamera die Umgebung nicht klar sieht, beim Hineinzoomen nur eine weiße Oberfläche erfasst.
- Wie weit ein Blatt Papier aus dem Kamerabild herausragen kann. Hier seht ihr, dass die Kamera nur 25 % des Papiers erfasst, das virtuelle Bild aber unter diesen Bedingungen sehr stabil bleibt.
- Wie ein virtuelles Bild „festklebt“, wenn die Oberfläche von Hand in verschiedenen Winkeln bewegt wird.
Draußen
Ein weiteres gutes Beispiel dafür, wie gut das markerlose Tracking unter unterschiedlichen Bedingungen funktioniert, ist der Test von SketchAR auf der Straße an einer Wand. Wir fanden ein Stück Wand, das wie eine Leinwand aussah. Dann wählten wir eine Skizze aus der App-Bibliothek aus, platzierten sie an der Wand und näherten uns so weit wie möglich – bis auf 10 cm an die Oberfläche heran. Das virtuelle Bild blieb stabil, selbst beim Bewegen des Smartphones nach links oder rechts.
Manchmal kann eine weiße Wand zu 100 % weiß sein, sodass die Kamera keinen Fokus findet, um richtig zu arbeiten. Dafür haben wir bereits eine Lösung und werden das Kernel bald entsprechend aktualisieren.
So funktioniert es.
Wir haben bereits erwähnt, wie wir mit maschinellem Lernen und neuronalen Netzen riesige Datenmengen unserer Nutzer analysieren, damit die App zuverlässig funktioniert. Hier ist, was wir analysieren:
SketchAR analysiert alles, was auf dem Smartphone-Bildschirm passiert.
- Oberfläche (Typen, Struktur usw.).
- Papier (Formen, Maße).
- Zusätzliche Objekte – um sie von der Oberfläche zu trennen, da sie für die Kamera „Rauschen“ darstellen.
- Hände werden mittels eines faltenden neuronalen Netzes (CNN) erkannt.
- Schatten, da diese das CV-Tracking immer wieder stören.
- Zeichnungen der Nutzer, um diese Abweichungen mit dem Originalbild abzugleichen.
- Erkennung der Oberflächenstruktur (eines Papiers) basierend auf einer Transformationsmatrix (ML + NN). Die Kamera eines Smartphones kann viele Nuancen von ähnlichem Weiß (oder jeder anderen einheitlichen Farbe) erkennen.
- Die Punkte im Raster sind alle in Echtzeit miteinander verbunden. Bei einer Neuinitialisierung kehren die Punkte im Raster in ihre ursprüngliche Position zurück. Wenn eine Hand den Bildausschnitt verlässt oder sich in ein anderes Quadrat bewegt, wird das gewünschte Pixel an ihrer Stelle neu erkannt.
Dieser Ansatz erlaubt es uns, alle Daten echter SketchAR-Nutzer zu sammeln (100.000 Nutzer, davon ermöglichen uns rund 80 % dies). Unser Kernel analysiert diese Daten als Verbindungen und Beziehungen zwischen den Ankerpunkten und korrigiert dann die Position des virtuellen Objekts relativ zur realen Oberfläche – ohne Verzögerung, in Echtzeit mit 30 fps mittels GPU.
Unsere Welt besteht aus Oberflächen. Unser Ziel ist es, Maschinen beizubringen, die Umgebung viel besser zu verstehen und präziser mit der Welt zu interagieren.
Mehr über das Produkt erfahrt ihr hier.
Viele Grüße,
Das SketchAR-Team
