Biến Bàn Tay Thành Màn Hình Cảm Ứng VR

Hiện đang ở giai đoạn thử nghiệm, EgoTouch là công nghệ do nhóm nghiên cứu tại Viện Tương Tác Người-Máy Carnegie Mellon phát triển. Công nghệ này tận dụng ý tưởng đặt giao diện điều khiển cảm ứng lên cơ thể ảo của người dùng trong VR, thay thế các menu nổi hoặc bộ điều khiển cầm tay.

Các nghiên cứu trước đây đã chỉ ra rằng giao diện trên cơ thể có tốc độ, độ chính xác và tính tiện dụng vượt trội so với các hệ thống "chạm giữa không trung" – vốn thường gây mệt mỏi và thiếu chính xác khi thao tác lâu dài. Tuy nhiên, một vấn đề lớn của các giao diện này là chúng cần camera đo độ sâu đặc biệt để theo dõi chuyển động của bàn tay và ngón tay trong thế giới thực.

EgoTouch đã giải quyết rào cản này bằng cách chỉ sử dụng camera RGB tích hợp sẵn trong kính VR, không cần cảm biến bổ sung. Khi ngón tay người dùng chạm vào lòng bàn tay, camera nhận diện bóng và biến dạng da, sau đó thuật toán phân tích hình ảnh để xác định chính xác vị trí tiếp xúc trên giao diện ảo.

Học Máy Giúp Xác Định Cử Chỉ Chính Xác Đến 96%

Để huấn luyện thuật toán, nhóm nghiên cứu đã yêu cầu một nhóm tình nguyện viên thực hiện các thao tác chạm, nhấn, vuốt trên lòng bàn tay trong khi đeo camera RGB gắn trên đầu. Đồng thời, cảm biến cảm ứng được đặt dưới ngón tay của họ để ghi lại vị trí, lực nhấn và thời gian chạm. Dữ liệu này giúp AI học cách xác định chính xác thao tác chạm dựa trên hình ảnh, bất kể sự khác biệt về màu da, lông tay hay điều kiện ánh sáng.

Khi thử nghiệm thực tế, EgoTouch đạt độ chính xác 96% trong việc nhận diện vị trí chạm trên lòng bàn tay, với tỷ lệ báo lỗi chỉ 5%. Ngoài ra, hệ thống còn đạt 98% độ chính xác khi xác định lực chạm mạnh hay nhẹ, đồng thời có thể nhận diện các thao tác như nhấn, thả và kéo thả trên giao diện ảo.

VR Tương Lai – Không Cần Bộ Điều Khiển

Điểm đột phá của EgoTouch nằm ở khả năng hoạt động ngay lập tức mà không cần hiệu chỉnh. Theo tiến sĩ Vimal Mollyn, trưởng nhóm nghiên cứu:

“Lần đầu tiên, chúng tôi có một hệ thống chỉ sử dụng camera có sẵn trong kính VR. Mô hình của chúng tôi không cần hiệu chỉnh, có thể hoạt động ngay khi khởi động. Giờ đây, chúng ta có thể biến ý tưởng giao diện trên da thành hiện thực.”

Công nghệ này không chỉ giúp người dùng VR thoải mái hơn, mà còn mở ra tiềm năng tương tác mượt mà và tự nhiên hơn trong môi trường thực tế ảo. Với EgoTouch, tương lai của VR không điều khiển đã trở nên gần hơn bao giờ hết!

Nghiên cứu về EgoTouch đã được công bố trên Proceedings of the 37th Annual ACM Symposium on User Interface Software and Technology.