Nach zwei Jahren sind wir bereit, euch eine der wichtigsten Etappen in der Entwicklung von SketchAR zu zeigen. Und auch im Bereich Computer Vision im Allgemeinen.
Ihr kennt bereits einige unserer Methoden im Bereich Computer Vision (CV), die wir entwickelt haben. Diese Methoden helfen dabei, virtuelle Objekte auf Oberflächen zu fixieren, sogar auf flachen Oberflächen.
Der beste Marker ist gar kein Marker! Die Komplexität der Entwicklung wurde durch den Mangel an Informationen im CV-Bereich noch verstärkt. Die bisher ausgefeilteste CV-Entwicklung fand im Bereich der Gesichtserkennung statt. Auch bei Texten, Schildern und Objekten wurden Fortschritte gemacht, aber bei flachen Oberflächen kaum. Also mussten wir Schritt für Schritt Lösungen für diese grundlegenden Probleme finden.
Sketch AR-Anchors.
Die SketchAR Tracking-Methode ohne Marker ist in der Lage, flache Oberflächen zu erkennen. Zudem bleibt sie auch unter extremen Bedingungen stabil, etwa wenn die Kamera beim Hineinzoomen die Umgebung nicht klar sieht und nur eine weiße Oberfläche erfasst.
Wie funktioniert das?
Erinnert ihr euch an den Film „Fifty Shades of Grey“? Auch wenn nicht, reicht der Titel aus, um zu verstehen, dass wir die Erkennung von mehr als „50 Schattierungen von Weiß“ ermöglicht haben. Die Kamera eines Smartphones kann viele Weißtöne erkennen. Dabei darf man nicht vergessen, dass die Aufgabe noch komplizierter wird, wenn eine Hand ständig über die Oberfläche fährt. Außerdem nutzen wir maschinelles Lernen und neuronale Netze, um die Umgebung zu analysieren. Wir erfassen alle Daten als Verbindungen und Beziehungen zwischen den Ankerpunkten und analysieren anschließend die Position des virtuellen Objekts relativ zur realen Oberfläche.
Schaut euch das Beispiel unten an, bei dem die „Anker“ auf dem Papier ihre Punkte verlieren, weil die Hand über das Papier bewegt wird.
Probleme von ARKit/ARCore: Ein virtuelles Bild „fliegt weg“, wenn sich die Kamera einer flachen Oberfläche nähert.
Unser Algorithmus löst das Problem besser als ARKit oder ARCore, die bei flachen Oberflächen und bei einem sich von der aktuellen Position entfernenden virtuellen Objekt nur eine geringe Genauigkeit liefern.
Im Beispiel seht ihr, wie stark das virtuelle Bild wackelt, weil die Kamera keine Umgebung erkennt, sondern nur weiße, flache Oberflächen. Das Problem, dass sich virtuelle Objekte jedes Mal verschieben, wenn sie vor einer flachen Oberfläche platziert werden, ist für jedes Unternehmen, das mit Augmented Reality arbeitet, ein enormes Problem.
Die Tracking-Methode ohne Marker von SketchAR basiert auf einer Transformationsmatrix (plus ML und NN). Verbindungen zwischen den Punkten verhindern, dass sich die virtuelle Zeichnung verschiebt (die virtuelle Skizze wird nicht im Video angezeigt). Zudem findet eine Reinitialisierung statt, bei der die Punkte im Raster wieder in ihre ursprüngliche Position zurückkehren. Verlässt eine Hand das Bild oder bewegt sie sich in ein anderes Quadrat, wird das gewünschte Pixel an dieser Stelle erneut erkannt.
SketchARs Methode vs. ARKit/ARCore
Mit der STMWM bleibt ein virtuelles Bild (Frosch) stabil, selbst wenn die Hand mehr als 60 % der Oberfläche überquert. (ARKit/ARCore sind hierbei nicht beteiligt.)
Wir haben dieses Problem gelöst, und die Implementierung der Technologie ist ein fortlaufender Prozess. Wir werden weiterhin unsere bisherige Lösung mit Markern verwenden, bis STMWM später in diesem Jahr in der Lage ist, alle Aufgaben allein zu übernehmen.
Vielen Dank,
euer SketchAR-Team
