SketchAR의 마커리스 컴퓨터 비전 트래킹, 표면 인식을 위한 가장 강력한 CV 트래킹 솔루션.
컴퓨터 비전은 끊임없는 연구 개발 과정을 기반으로 하는 복잡한 분야입니다. 컴퓨터 비전의 핵심 난제 중 하나인 '평평한 표면에 대한 두려움'을 저희가 어떻게, 그리고 왜 해결했는지 몇 가지 이유를 소개합니다.
SketchAR은 흰 종이나 벽을 스마트폰 카메라로 바라볼 때 보이는 평평한 표면에 주목합니다. 이러한 환경을 이해하기 위해 저희는 모든 표면에서 작동할 수 있는 방법과 알고리즘을 개발해야 했습니다. 마커리스 트래킹이 어떻게 작동하는지는 이전 글에서 이미 다룬 바 있습니다. 이번에는 그 잠재력을 활용할 수 있는 모든 사용 사례와 가능성, 그리고 어떤 분야에 적용될 수 있는지를 공유하고자 합니다.
SketchAR의 마커 없는 트래킹 방식은 평평한 표면을 감지할 수 있습니다. 게다가 카메라가 환경을 명확히 보지 못하거나, 확대해서 흰 표면만 비추는 극단적인 조건에서도 안정적으로 유지됩니다.
SketchAR vs. ARKit/ARCore
여기서는 SketchAR 트래킹을 Apple과 Google의 가장 대중적인 솔루션인 ARKit/ARCore와 비교합니다. 동일한 기기에서 동일한 조건, 즉 극단적인 확대와 종이를 움직이는 상황으로 테스트했습니다.
흰색 위의 흰색
주목할 만한 SketchAR의 또 다른 기능은 흰 탁자 위의 흰 종이처럼 색상이 같거나 비슷한 표면도 감지할 수 있다는 점입니다.
여기서 몇 가지 짚어보고 싶은 특징이 있습니다:
- 흰 탁자 위의 흰 종이처럼 복잡한 표면을 카메라가 얼마나 쉽게 인식하는지.
- 카메라가 환경을 명확히 보지 못하거나, 확대해서 흰 표면만 비출 때 가상 이미지가 얼마나 안정적인지.
- 종이가 카메라 화면 밖으로 얼마나 벗어나도 괜찮은지. 여기서는 카메라가 종이의 25%만 보고 있지만, 가상 이미지는 이런 조건에서도 매우 안정적입니다.
- 손으로 표면을 다양한 각도로 움직일 때 가상 이미지가 어떻게 표면에 '고정'되는지.
야외에서
마커리스 트래킹이 다양한 조건에서 성공적으로 작동하는 또 다른 좋은 예시는 SketchAR이 거리의 벽에서 진행한 테스트입니다. 캔버스처럼 보이는 벽면을 찾아, 앱 라이브러리에서 스케치를 골라 벽에 배치한 뒤, 벽에서 10cm까지 최대한 가까이 다가가 보았습니다. 스마트폰을 좌우로 움직여도 가상 이미지는 충분히 안정적이었습니다.
때로는 흰 벽이 100% 순백색이라 카메라가 초점을 제대로 잡지 못하는 경우도 있습니다. 이 문제에 대한 해결책은 이미 마련되어 있으며, 곧 커널 업데이트를 진행할 예정입니다.
작동 원리
앱이 성공적으로 작동하도록 저희가 사용자들의 방대한 데이터를 분석하는 데 머신러닝과 신경망을 어떻게 활용하는지는 이미 언급한 바 있습니다. 저희가 분석하는 항목들은 다음과 같습니다:
SketchAR은 스마트폰 화면에서 일어나는 모든 것을 분석합니다.
- 표면(종류, 구조 등).
- 종이(모양, 크기).
- 추가 객체 – 카메라 입장에서 '노이즈'가 되는 표면과 구분하기 위함.
- 손은 합성곱 신경망(CNN)을 이용해 감지합니다.
- 그림자 – CV 트래킹을 항상 방해하는 요소이기 때문입니다.
- 사용자가 그린 그림 – 원본 이미지와의 불일치를 맞추기 위함.
- 변환 행렬(머신러닝+신경망) 기반의 표면(종이) 구조 인식. 스마트폰 카메라는 비슷한 흰색(또는 다른 단색)의 수많은 톤을 구분할 수 있습니다.
- 격자 안의 점들은 실시간으로 모두 연결되어 있습니다. 재초기화가 일어나면 격자 안의 점들은 원래 위치로 돌아갑니다. 손이 화면 밖으로 벗어나거나 다른 칸으로 이동하면, 해당 위치의 픽셀이 다시 인식됩니다.
이러한 접근 방식 덕분에 실제 SketchAR 사용자(10만 명 중 약 80%가 데이터 제공에 동의)로부터 모든 데이터를 수집할 수 있습니다. 저희 커널은 이 데이터를 앵커 포인트 간의 연결과 관계로 분석한 뒤, GPU를 이용해 실시간 30fps로 지연 없이 가상 객체의 위치를 실제 표면에 맞게 보정합니다.
우리가 사는 세상은 표면으로 이루어져 있습니다. 저희의 목표는 기계가 환경을 훨씬 더 잘 이해하고, 세상과 더 정밀하게 상호작용하도록 가르치는 것입니다.
제품에 대해 더 알아보려면 여기를 클릭하세요.
감사합니다,
SketchAR 팀
