Giờ đây, các kỹ sư của MIT đã thiết kế một chiếc vòng đeo tay siêu âm có khả năng theo dõi chính xác chuyển động tay của người đeo trong thời gian thực. Chiếc vòng đeo tay này tạo ra hình ảnh siêu âm của các cơ, gân và dây chằng ở cổ tay khi bàn tay chuyển động, và được kết hợp với một thuật toán trí tuệ nhân tạo (AI) liên tục chuyển đổi các hình ảnh đó thành vị trí tương ứng của năm ngón tay và lòng bàn tay.

Nghiên cứu sinh Dian Li đang làm việc với một cánh tay robot. Ảnh: Melanie Gonick, MIT

Các nhà nghiên cứu có thể huấn luyện chiếc vòng đeo tay để học các chuyển động tay của người đeo, và thiết bị có thể truyền đạt những chuyển động này theo thời gian thực đến một robot hoặc môi trường ảo. Nghiên cứu của nhóm đã được công bố trên tạp chí Nature Electronics .

Trong các cuộc trình diễn, nhóm nghiên cứu đã chứng minh rằng người đeo vòng tay có thể điều khiển một cánh tay robot không dây. Khi người đó ra hiệu hoặc chỉ tay, robot sẽ làm tương tự. Trong một dạng tương tác điều khiển rối không dây, người đeo có thể điều khiển robot chơi một giai điệu đơn giản trên đàn piano và ném một quả bóng rổ nhỏ vào rổ trên bàn làm việc. Với cùng chiếc vòng tay đó, người đeo cũng có thể thao tác các đối tượng trên màn hình máy tính, ví dụ như dùng hai ngón tay chụm lại để phóng to và thu nhỏ một đối tượng ảo.

Nhóm nghiên cứu đang sử dụng vòng đeo tay để thu thập dữ liệu chuyển động tay từ nhiều người dùng khác nhau với kích thước bàn tay, hình dạng ngón tay và cử chỉ khác nhau. Họ hình dung việc xây dựng một tập dữ liệu lớn về chuyển động tay có thể được sử dụng, ví dụ, để huấn luyện robot hình người thực hiện các nhiệm vụ đòi hỏi sự khéo léo, chẳng hạn như thực hiện một số thủ thuật phẫu thuật nhất định. Vòng đeo tay siêu âm cũng có thể được sử dụng để nắm, thao tác và tương tác với các vật thể trong trò chơi điện tử, ứng dụng thiết kế hoặc các môi trường ảo khác.

"Chúng tôi cho rằng công trình này có tác động tức thời, có khả năng thay thế các kỹ thuật theo dõi bàn tay bằng vòng đeo siêu âm trong thực tế ảo và thực tế tăng cường," Xuanhe Zhao, Giáo sư Cơ khí Uncas và Helen Whitaker tại MIT, cho biết. "Nó cũng có thể cung cấp lượng dữ liệu huấn luyện khổng lồ cho các robot hình người khéo léo."

Zhao, Gengxi Lu và các đồng nghiệp giới thiệu thiết kế mới của vòng đeo tay cùng với các đồng tác giả đến từ MIT, bao gồm các cựu nghiên cứu sinh sau tiến sĩ Xiaoyu Chen, Shucong Li và Bolei Deng; các nghiên cứu sinh cao học SeongHyeon Kim và Dian Li; các nghiên cứu sinh sau tiến sĩ Shu Wang và Runze Li, và Anantha Chandrakasan, hiệu trưởng MIT kiêm Giáo sư Vannevar Bush về Kỹ thuật Điện và Khoa học Máy tính. Các đồng tác giả khác bao gồm các nghiên cứu sinh cao học Yushun Zheng và Junhang Zhang, Baoqiang Liu, Chen Gong và Giáo sư Qifa Zhou từ Đại học Nam California.

Các kỹ sư tại MIT đã thiết kế một chiếc vòng đeo tay siêu âm có khả năng theo dõi chính xác chuyển động tay của người đeo trong thời gian thực. Chiếc vòng đeo tay này tạo ra hình ảnh siêu âm của các cơ, gân và dây chằng ở cổ tay khi bàn tay chuyển động. Ảnh: Melanie Gonick, MIT

Nhìn thấy các sợi dây

Hiện nay có nhiều phương pháp khác nhau để thu thập và mô phỏng sự khéo léo của bàn tay con người trong robot. Một số phương pháp sử dụng camera để ghi lại chuyển động tay của người khi họ thao tác vật thể hoặc thực hiện nhiệm vụ. Các phương pháp khác liên quan đến việc cho người đeo găng tay có gắn cảm biến, ghi lại chuyển động tay của người đó và truyền dữ liệu đến robot nhận. Tuy nhiên, việc thiết lập một hệ thống camera phức tạp cho các ứng dụng khác nhau là không thực tế và dễ bị cản trở về mặt thị giác, và găng tay chứa đầy cảm biến có thể hạn chế các chuyển động và cảm giác tự nhiên của bàn tay người.

Một phương pháp thứ ba sử dụng tín hiệu điện từ các cơ ở cổ tay hoặc cẳng tay, sau đó các nhà khoa học sẽ liên hệ chúng với các chuyển động cụ thể của bàn tay. Các nhà nghiên cứu đã đạt được những tiến bộ đáng kể trong phương pháp này. Tuy nhiên, các tín hiệu này dễ bị ảnh hưởng bởi nhiễu trong môi trường. Chúng cũng không đủ nhạy để phân biệt những thay đổi tinh tế trong chuyển động. Ví dụ, chúng có thể phân biệt được ngón cái và ngón trỏ đang khép lại hay tách ra, nhưng không thể phân biệt được nhiều chuyển động ở giữa.

Nhóm của Zhao tự hỏi liệu hình ảnh siêu âm có thể ghi lại được những chuyển động tay khéo léo và liên tục hơn hay không. Nhóm của ông đã phát triển nhiều dạng miếng dán siêu âm - phiên bản thu nhỏ của các đầu dò được sử dụng trong phòng khám bác sĩ, được kết hợp với vật liệu hydrogel có thể dính an toàn vào da.

Trong nghiên cứu mới của mình, nhóm nghiên cứu đã tích hợp thiết kế miếng dán siêu âm vào một vòng đeo tay để liên tục chụp ảnh các cơ và gân ở cổ tay.

"Các gân và cơ ở cổ tay của bạn giống như những sợi dây kéo những con rối, mà những con rối đó chính là các ngón tay của bạn," Lu nói. "Vì vậy, ý tưởng là, mỗi lần bạn chụp ảnh trạng thái của các sợi dây, bạn sẽ biết được trạng thái của bàn tay."

Thao tác lập bản đồ

Nhóm nghiên cứu đã thiết kế một chiếc vòng đeo tay có gắn miếng dán siêu âm, kích thước bằng một chiếc đồng hồ thông minh, và tích hợp thêm các thiết bị điện tử nhỏ gọn như một chiếc điện thoại di động. Họ gắn chiếc vòng đeo tay vào cổ tay của một tình nguyện viên và xác nhận rằng thiết bị tạo ra hình ảnh rõ nét và liên tục của cổ tay khi tình nguyện viên cử động các ngón tay theo nhiều tư thế khác nhau.

Thử thách đặt ra là làm sao để liên hệ các hình ảnh siêu âm đen trắng của cổ tay với các vị trí cụ thể của bàn tay. Hóa ra, các ngón tay và ngón cái có khả năng chuyển động với 22 mức độ tự do, hay các cách duỗi hoặc tạo góc khác nhau. Các nhà nghiên cứu phát hiện ra rằng họ có thể xác định các vùng cụ thể trong hình ảnh siêu âm cổ tay tương ứng với mỗi trong số 22 mức độ tự do này. Ví dụ, sự thay đổi ở một vùng liên quan đến việc duỗi ngón cái, trong khi sự thay đổi ở một vùng khác tương quan với chuyển động của ngón trỏ.

Để thiết lập các kết nối này, một tình nguyện viên đeo vòng tay sẽ di chuyển tay ở nhiều vị trí khác nhau trong khi các nhà nghiên cứu ghi lại các cử chỉ bằng nhiều camera xung quanh tình nguyện viên. Bằng cách đối chiếu những thay đổi ở một số vùng nhất định của hình ảnh siêu âm với các vị trí tay được ghi lại bởi camera, nhóm nghiên cứu có thể gán nhãn các vùng hình ảnh cổ tay với mức độ tự do tương ứng trong bàn tay. Nhưng việc thực hiện chuyển đổi này liên tục và trong thời gian thực sẽ là một nhiệm vụ bất khả thi đối với con người.

Vì vậy, nhóm nghiên cứu đã chuyển sang sử dụng trí tuệ nhân tạo. Họ sử dụng một thuật toán AI có thể được huấn luyện để nhận dạng các mẫu hình ảnh và liên kết chúng với các nhãn cụ thể, và trong trường hợp này, là các mức độ tự do khác nhau của bàn tay. Các nhà nghiên cứu đã huấn luyện thuật toán bằng các hình ảnh siêu âm mà họ đã dán nhãn một cách tỉ mỉ, chú thích các vùng hình ảnh liên quan đến một mức độ tự do cụ thể. Họ đã thử nghiệm thuật toán trên một tập hợp hình ảnh siêu âm mới và thấy rằng nó đã dự đoán chính xác các cử chỉ tay tương ứng.

Sau khi các nhà nghiên cứu kết hợp thành công thuật toán AI với vòng đeo tay, họ đã thử nghiệm thiết bị trên nhiều tình nguyện viên hơn. Trong nghiên cứu mới này, tám tình nguyện viên với kích thước bàn tay và cổ tay khác nhau đã đeo vòng đeo tay trong khi thực hiện nhiều cử chỉ và động tác cầm nắm khác nhau, bao gồm cả việc tạo ra các ký hiệu cho tất cả 26 chữ cái trong ngôn ngữ ký hiệu Mỹ. Họ cũng cầm các vật thể như quả bóng tennis, chai nhựa, kéo và bút chì. Trong mỗi trường hợp, vòng đeo tay đều theo dõi và dự đoán chính xác vị trí của bàn tay.

Để minh họa các ứng dụng tiềm năng, nhóm nghiên cứu đã phát triển một chương trình máy tính đơn giản và kết nối không dây chương trình đó với vòng đeo tay. Khi người đeo thực hiện các động tác chụm và nắm, các cử chỉ này tương ứng với việc phóng to và thu nhỏ một đối tượng trên màn hình máy tính, đồng thời di chuyển và thao tác ảo với đối tượng đó một cách mượt mà và liên tục.

Các nhà nghiên cứu cũng đã thử nghiệm chiếc vòng đeo tay như một bộ điều khiển không dây cho một cánh tay robot thương mại đơn giản. Trong khi đeo vòng đeo tay, một tình nguyện viên đã thực hiện các động tác chơi đàn phím. Robot sau đó đã bắt chước các động tác này trong thời gian thực để chơi một giai điệu đơn giản trên đàn piano. Robot này cũng có thể bắt chước các thao tác chạm ngón tay của người chơi để chơi trò chơi bóng rổ trên máy tính để bàn.

Zhao đang lên kế hoạch thu nhỏ hơn nữa phần cứng của vòng đeo tay, cũng như huấn luyện phần mềm AI với nhiều cử chỉ và chuyển động hơn từ các tình nguyện viên có kích thước và hình dạng bàn tay đa dạng. Cuối cùng, nhóm đang hướng tới một thiết bị theo dõi bàn tay đeo được mà bất cứ ai cũng có thể sử dụng, để điều khiển robot hình người hoặc các vật thể ảo không dây với độ khéo léo cao.

"Chúng tôi tin rằng đây là phương pháp tiên tiến nhất để theo dõi chuyển động khéo léo của bàn tay, thông qua hình ảnh đeo được của cổ tay," Zhao nói. "Chúng tôi nghĩ rằng những vòng đeo siêu âm này có thể cung cấp khả năng điều khiển trực quan và linh hoạt cho thực tế ảo và bàn tay robot."

https://techxplore.com/news/2026-03-wristband-enables-wearers-robotic-movements.html (ctngoc)