SketchAR'ın Markersiz Bilgisayarlı Görü Takibi, yüzeyler için en güçlü CV takip çözümüdür.
Bilgisayarlı görü, sürekli devam eden bir araştırma ve geliştirme sürecine dayanan karmaşık bir alan. İşte bunun nedenleri ve bilgisayarlı görünün en önemli sorunlarından birini -düz yüzey korkusunu- nasıl çözdüğümüz.
SketchAR, akıllı telefon kamerasından beyaz bir kağıda veya duvara bakıldığında görülen düz yüzeylerle ilgileniyor. Bu ortamı anlayabilmek için tüm yüzeylerle çalışmamızı sağlayan yöntem ve algoritmalar geliştirmemiz gerekti. Markersiz Takip'in nasıl çalıştığından daha önce bir makalede bahsetmiştik. Bu yazıda bu teknolojinin tüm kullanım senaryolarını, potansiyelini ve hangi alanlarda kullanılabileceğini sizinle paylaşmak istiyoruz.
SketchAR Markersiz Takip Yöntemi düz yüzeyleri algılayabiliyor. Üstelik kamera ortamı net görmediğinde veya yakınlaştırılıp sadece beyaz bir yüzeye bakıldığında gibi aşırı koşullarda bile stabil kalıyor.
SketchAR ile ARKit/ARCore karşılaştırması
Burada SketchAR Takip sistemini Apple ve Google'ın en popüler çözümleri olan ARKit/ARCore ile karşılaştırıyoruz. Aynı cihazda aynı koşulları kullandık: aşırı yakınlaştırma ve kağıdı hareket ettirme.
Beyaz üzerine beyaz
SketchAR'ın belirtmeye değer bir başka özelliği de, beyaz bir masa üzerindeki beyaz bir kağıt gibi renk açısından aynı veya benzer yüzeyleri nasıl algılayabildiğimizi göstermesi.
İşte vurgulamak istediğimiz birkaç özellik:
- Bir kameranın beyaz masa üzerindeki beyaz kağıt gibi karmaşık bir yüzeyi ne kadar kolay tanıyabildiği.
- Kamera ortamı net görmediğinde, yakınlaştırıldığında ve yalnızca beyaz bir yüzeye baktığında sanal görüntünün ne kadar stabil kaldığı.
- Bir kağıdın kamera görüş alanının ne kadar dışına çıkabildiği. Burada kameranın kağıdın sadece %25'ini gördüğünü görebilirsiniz, ancak sanal görüntü bu koşullarda bile çok stabil.
- Yüzey elle farklı açılarda hareket ettirildiğinde sanal görüntünün nasıl yüzeye 'yapışık' kaldığı.
Açık hava
Markersiz takibin farklı koşullarda ne kadar başarılı çalıştığına dair bir başka güzel örnek de SketchAR'ın sokakta bir duvar üzerinde yaptığı testler. Tuval gibi görünen bir duvar parçası bulduk. Ardından uygulama kütüphanesinden bir çizim seçtik, duvara yerleştirdik ve duvara mümkün olduğunca yaklaştık - yüzeyden 10 cm mesafeye kadar. Akıllı telefonu sağa veya sola hareket ettirsek bile sanal görüntü yeterince stabildi.
Bazen bir duvar %100 beyaz olabiliyor ve kamera doğru çalışabilmek için bir odak noktası bulamıyor. Buna zaten bir çözümümüz var ve yakında çekirdek güncellemesi yapacağız.
Nasıl çalışır?
Uygulamanın başarılı çalışması için kullanıcılarımızdan gelen devasa miktarda veriyi analiz etmek üzere makine öğrenimi ve sinir ağlarını nasıl kullandığımızdan zaten bahsetmiştik. İşte analiz ettiğimiz şeyler:
SketchAR, akıllı telefon ekranında olan her şeyi analiz ediyor.
- Yüzey (türleri, yapısı vb.).
- Kağıt (şekiller, boyutlar).
- Ek nesneler - kamera için 'gürültü' oluşturan bu nesneleri yüzeyden ayırmak için.
- Eller, evrişimli sinir ağı (CNN) kullanılarak tespit ediliyor.
- Gölgeler, çünkü bunlar her zaman CV takibini bozuyor.
- Kullanıcının çizimleri, bu tutarsızlıkları orijinal görüntüyle eşleştirmek için.
- Dönüşüm Matrisi'ne (ML+NN) dayalı yüzey (kağıt) yapısı tanıma. Akıllı telefonun kamerası, benzer beyazın (veya herhangi bir düz rengin) birçok tonunu tanıyabiliyor.
- Izgaradaki noktalar gerçek zamanlı olarak birbirine bağlanır. Yeniden başlatma gerçekleştiğinde, ızgaradaki noktalar orijinal konumlarına geri döner. Bir el kareden çıktığında veya başka bir kareye hareket ettiğinde, istenen piksel yeniden tanınır.
Bu yaklaşım, gerçek SketchAR kullanıcılarından (100 bin kullanıcının yaklaşık %80'i bunu bize izin veriyor) tüm verileri toplamamızı sağlıyor. Çekirdeğimiz bu verileri çapa noktaları arasındaki bağlantılar ve ilişkiler olarak analiz eder ve ardından GPU kullanarak gerçek zamanlı 30 fps hızında, gecikme olmadan sanal nesnenin gerçek yüzeye göre konumunu düzeltir.
Dünyamız yüzeylerden oluşuyor. Amacımız, makinelere ortamı çok daha iyi anlamayı ve dünyayla daha hassas bir şekilde etkileşim kurmayı öğretmek.
Ürün hakkında daha fazla bilgi almak için buraya tıklayın.
Sevgilerle,
SketchAR Ekibi
