İki yılın ardından, SketchAR'ın gelişiminde en kritik aşamalardan birini sizlere gösterme zamanı geldi. Ayrıca genel olarak bilgisayarlı görüde de.
Bilgisayarlı görüde (CV) yöntemlerimizden bazılarını nasıl geliştirdiğimizi zaten biliyorsunuz. Bu yöntemler, sanal nesnelerin yüzeylere, hatta düz yüzeylere bile sabitlenmesine yardımcı oluyor.
En iyi işaretleyici, işaretleyici olmayandır! Geliştirme sürecinin karmaşıklığı, CV alanındaki bilgi eksikliğiyle daha da arttı. Şu ana kadar en gelişmiş CV çalışmaları yüz tanıma alanında gerçekleşti. Metinler, işaretler ve nesneler konusunda da ilerleme kaydedildi, ancak düz yüzeyler konusunda pek fazla ilerleme yok. Bu yüzden bu temel sorunlara adım adım çözümler bulmak zorundayız.
Sketch AR-Anchors.
SketchAR İşaretleyicisiz Takip Yöntemi, düz yüzeyleri algılayabiliyor. Üstelik kamera yakınlaştırıldığında çevreyi net bir şekilde görmediği ve sadece beyaz bir yüzeye baktığı gibi aşırı koşullarda bile stabil kalıyor.
Peki nasıl çalışıyor?
'50 Ton Gri' filmini hatırlıyor musunuz? Hatırlamasanız bile, başlığın kendisi '50'den fazla beyaz tonunu' tanımaya olanak sağladığımızı anlamanız için yeterli. Bir akıllı telefonun kamerası, beyazın pek çok tonunu tanıyabiliyor. Bir elin sürekli yüzeyin üzerinden geçmesi durumunda görevin daha da zorlaştığını unutmayın. Bunun yanı sıra, çevreyi analiz etmek için makine öğrenimi ve sinir ağları kullanıyoruz. Tüm verileri çıpa noktaları arasındaki bağlantılar ve ilişkiler olarak topluyor, ardından sanal nesnenin gerçek yüzeye göre konumunu analiz ediyoruz.
Aşağıdaki örnekte, kağıt üzerindeki 'çıpaların', el kağıdın üzerinden geçtiğinde noktalarını nasıl kaybettiğini inceleyin.
ARKit/ARCore sorunları: kamera düz bir yüzeye yaklaştığında sanal görüntü uçup gidiyor.
Algoritmamız bu sorunu, düz bir yüzeyde düşük doğruluk sağlayan ve sanal nesnenin mevcut konumundan uzaklaştığı ARKit veya ARCore'dan daha iyi çözüyor.
Örnekte, kamera hiçbir çevreyi görmediği, sadece beyaz düz yüzeyleri gördüğü için sanal görüntünün ne kadar çok titrediğini görebilirsiniz. Sanal nesnelerin herhangi bir düz yüzeyin önüne her yerleştirildiğinde uzaklaşması sorunu, artırılmış gerçeklikle çalışan her şirket için büyük bir problem.
SketchAR'ın İşaretleyicisiz Takip Yöntemi, dönüşüm matrisine (+ ML ve NN) dayanıyor. Noktalar arasındaki bağlantılar, sanal çizimin kaymasına izin vermiyor (sanal taslak videoda görüntülenmiyor). Ayrıca, yeniden başlatma gerçekleşiyor ve ızgaradaki noktalar orijinal konumlarına dönüyor. Bir el kareden çıktığında veya başka bir kareye geçtiğinde, yerlerinin istenen pikseli yeniden tanınıyor.
SketchAR'ın Yöntemi vs. ARKit/ARCore
STMWM ile, el yüzeyin %60'ından fazlasını kapladığında bile sanal görüntü (kurbağa) stabil kalıyor. (ARKit/ARCore burada kullanılmıyor).
Bu sorunu çözdük ve teknolojiyi uygulamaya koymak devam eden bir süreç. STMWM bu yılın ilerleyen zamanlarında tüm işleri tek başına yapabilene kadar işaretleyicili önceki çözümümüzü kullanmaya devam edeceğiz.
Teşekkürler,
SketchAR Ekibi
