Các nhà nghiên cứu cho biết, công nghệ này có tiềm năng cách mạng hóa cách chúng ta tương tác với thiết bị, bằng việc liên tục theo dõi tư thế bàn tay theo thời gian thực, chỉ với loa và micro sẵn có trên smartwatch. Đây là lần đầu tiên cảm biến âm thanh kết hợp AI được ứng dụng để theo dõi cử động tay trên smartwatch thương mại mà không cần thêm phần cứng.

“Trong tương lai, với công nghệ này, chúng ta thậm chí có thể theo dõi thao tác gõ phím chỉ bằng smartwatch,” chia sẻ Chi-Jung Lee, nghiên cứu sinh ngành khoa học thông tin tại Cornell, đồng tác giả của công trình sẽ được trình bày tại hội nghị ACM CHI về Tương tác Người – Máy vào ngày 13/4 tại Barcelona.

Ngoài việc điều khiển thiết bị bằng cử chỉ, WatchHand còn có thể hỗ trợ công nghệ trợ năng cho người khuyết tật vận động hoặc ngôn ngữ, và trở thành bộ điều khiển trong môi trường thực tế ảo (VR) và thực tế tăng cường (AR).

Đột phá trong tương tác người – máy

Theo Jiwan Kim, nghiên cứu sinh ngành kỹ thuật điện tại KAIST, WatchHand giúp giảm đáng kể rào cản đối với công nghệ theo dõi cử động tay: “Chỉ cần thiết bị có loa và micro, phương pháp này đều có thể áp dụng.”

Khác với các nguyên mẫu trước đây vốn cồng kềnh và khó dùng hàng ngày, WatchHand tận dụng loa và micro có sẵn trên smartwatch. Loa phát ra sóng âm thanh không nghe được, phản xạ từ bàn tay rồi quay lại micro, tạo thành “hình ảnh hồi âm”. Thuật toán máy học trên đồng hồ sẽ phân tích dữ liệu này để ước lượng tư thế bàn tay trong không gian 3D theo thời gian thực.

Đặc biệt, toàn bộ dữ liệu và xử lý đều diễn ra ngay trên thiết bị, đảm bảo quyền riêng tư của người dùng.

Thử nghiệm và hạn chế

WatchHand đã được thử nghiệm với 40 người tham gia trong 4 nghiên cứu, tổng cộng 36 giờ dữ liệu cử chỉ. Công nghệ này hoạt động ổn định trên nhiều mẫu smartwatch khác nhau, cả tay trái lẫn tay phải, và trong môi trường nhiều tiếng ồn. Tuy nhiên, nó vẫn gặp khó khăn khi người dùng đang di chuyển, chẳng hạn như đi bộ. Ngoài ra, hiện tại WatchHand mới chỉ hỗ trợ smartwatch chạy Android, chưa tương thích với Apple Watch.

Tầm nhìn dài hạn

Cheng Zhang, giám đốc phòng thí nghiệm SciFi Lab tại Cornell, cho biết: “WatchHand phản ánh tầm nhìn của chúng tôi về việc biến các thiết bị đeo hàng ngày thành nền tảng thông minh, có khả năng cảm nhận hành vi.” Trước đó, phòng lab này từng phát triển cảm biến theo dõi cổ tay, bàn tay, lưỡi, khuôn mặt, cơ thể và thậm chí cả răng, tích hợp vào nhẫn, kính, vòng cổ, tai nghe và cả quần áo.

Trong vài năm gần đây, nhóm nghiên cứu chuyển sang công nghệ cảm biến âm thanh vì độ chính xác cao và tiêu thụ năng lượng thấp. Zhang nhấn mạnh: “Chỉ với một bản cập nhật phần mềm, chúng ta có thể mở khóa những khả năng hoàn toàn mới trên hàng triệu thiết bị hiện có.”