Công nghệ theo dõi thị giác máy tính không cần điểm đánh dấu từ SketchAR là giải pháp CV-tracking mạnh mẽ nhất cho các bề mặt.
Thị giác máy tính là một lĩnh vực phức tạp, dựa trên một quá trình nghiên cứu và phát triển không ngừng. Đây là một vài lý do và cách chúng tôi đã giải quyết một trong những vấn đề then chốt của thị giác máy tính – nỗi ám ảnh mang tên bề mặt phẳng.
SketchAR quan tâm đến các bề mặt phẳng được nhìn qua camera smartphone khi hướng vào một tờ giấy trắng hay một bức tường. Để hiểu được môi trường này, chúng tôi đã phải phát minh ra các phương pháp và thuật toán cho phép xử lý mọi loại bề mặt. Chúng tôi đã từng đề cập trong một bài viết về cách Markerless Tracking hoạt động. Lần này chúng tôi muốn chia sẻ với các bạn tất cả các trường hợp sử dụng cũng như tiềm năng của công nghệ này, và nó có thể được ứng dụng trong những lĩnh vực nào.
Phương pháp theo dõi không dùng điểm đánh dấu của SketchAR có khả năng phát hiện các bề mặt phẳng. Hơn nữa, nó vẫn ổn định ngay cả trong điều kiện khắc nghiệt, chẳng hạn khi camera không nhìn rõ môi trường xung quanh hoặc khi zoom vào và chỉ nhìn thấy một bề mặt trắng.
SketchAR so với ARKit/ARCore
Ở đây chúng tôi so sánh SketchAR Tracking với các giải pháp phổ biến nhất từ Apple và Google – ARKit/ARCore. Chúng tôi sử dụng cùng điều kiện trên cùng một thiết bị: zoom cực đại và di chuyển tờ giấy.
Trắng trên trắng
Một tính năng khác của SketchAR đáng được nhắc đến là khả năng phát hiện các bề mặt giống hoặc tương đồng về màu sắc, chẳng hạn như một tờ giấy trắng đặt trên một chiếc bàn trắng.
Dưới đây là một vài đặc điểm chúng tôi muốn chỉ ra:
- Camera có thể nhận diện dễ dàng như thế nào đối với một bề mặt phức tạp như tờ giấy trắng trên bàn trắng.
- Hình ảnh ảo ổn định ra sao khi camera không nhìn rõ môi trường xung quanh, khi zoom vào và chỉ nhìn thấy một bề mặt trắng.
- Tờ giấy có thể vượt ra khỏi khung hình camera đến mức nào. Ở đây bạn chỉ thấy 25% tờ giấy nằm trong tầm nhìn của camera, nhưng hình ảnh ảo vẫn rất ổn định trong điều kiện đó.
- Hình ảnh ảo được "dán chặt" như thế nào khi di chuyển bề mặt theo các góc khác nhau bằng tay.
Ngoài trời
Một ví dụ tuyệt vời khác cho thấy Markerless tracking hoạt động hiệu quả trong nhiều điều kiện khác nhau là bài kiểm tra của SketchAR trên đường phố, trên một bức tường. Chúng tôi tìm được một mảng tường trông giống như một tấm canvas. Sau đó chọn một bản phác thảo từ thư viện của ứng dụng, đặt lên tường, rồi tiến lại gần bức tường hết mức có thể – chỉ cách 10cm so với bề mặt. Hình ảnh ảo vẫn đủ ổn định, ngay cả khi di chuyển điện thoại sang trái hoặc phải.
Đôi khi một bức tường trắng có thể trắng 100%, khiến camera không tìm được điểm lấy nét để hoạt động chính xác. Chúng tôi đã có giải pháp cho vấn đề này, và sẽ sớm cập nhật kernel.
Cách thức hoạt động
Chúng tôi đã từng đề cập đến việc chúng tôi sử dụng machine learning và mạng nơ-ron để phân tích khối lượng lớn dữ liệu từ người dùng nhằm giúp ứng dụng hoạt động hiệu quả. Dưới đây là những gì chúng tôi phân tích:
SketchAR phân tích mọi thứ diễn ra trên màn hình smartphone.
- Bề mặt (loại, cấu trúc, v.v.).
- Giấy (hình dạng, kích thước).
- Các vật thể bổ sung – để tách chúng khỏi bề mặt, vì chúng là "nhiễu" đối với camera.
- Bàn tay được phát hiện bằng mạng nơ-ron tích chập (CNN).
- Bóng đổ, vì nó luôn làm gián đoạn cv-tracking.
- Các nét vẽ của người dùng để đối chiếu những sai lệch đó với hình ảnh gốc.
- Nhận diện cấu trúc bề mặt (tờ giấy) dựa trên Ma trận Biến đổi (ML+NN). Camera của smartphone có thể nhận biết nhiều sắc độ khác nhau của cùng một màu trắng (hoặc bất kỳ màu phẳng nào khác).
- Các điểm trong lưới được kết nối với nhau theo thời gian thực. Quá trình khởi tạo lại diễn ra, và các điểm trong lưới trở về vị trí ban đầu. Khi bàn tay rời khỏi khung hình hoặc di chuyển sang ô khác, pixel mong muốn tại vị trí đó sẽ được nhận diện lại.
Cách tiếp cận này cho phép chúng tôi thu thập toàn bộ dữ liệu từ những người dùng SketchAR thực (100K người dùng, trong đó khoảng 80% cho phép chúng tôi làm điều này). Kernel của chúng tôi phân tích dữ liệu này dưới dạng các mối liên kết và quan hệ giữa các điểm neo, sau đó điều chỉnh vị trí của vật thể ảo so với bề mặt thực mà không bị trễ, theo thời gian thực với tốc độ 30 khung hình/giây bằng GPU.
Thế giới của chúng ta được tạo nên từ các bề mặt. Mục tiêu của chúng tôi là dạy cho máy móc hiểu môi trường xung quanh tốt hơn và tương tác với thế giới một cách chính xác hơn.
Tìm hiểu thêm về sản phẩm tại đây.
Thân ái,
Đội ngũ SketchAR
