Tuy nhiên, độ chính xác nhận dạng cử chỉ vẫn bị cản trở bởi chất lượng dữ liệu thấp do các cảm biến có thể đeo được, thường là do chúng cồng kềnh và tiếp xúc kém với người dùng cũng như ảnh hưởng của các vật thể bị che khuất tầm nhìn và ánh sáng kém.

Những thách thức khác nảy sinh từ việc tích hợp dữ liệu trực quan và cảm quan vì chúng đại diện cho các tập dữ liệu không khớp phải được xử lý riêng biệt và sau đó được hợp nhất ở cuối, không hiệu quả và dẫn đến thời gian phản hồi chậm hơn.

Để giải quyết những thách thức này, nhóm NTU đã tạo ra một hệ thống tổng hợp dữ liệu 'bioinspired' sử dụng các cảm biến  có thể co giãn giống như da được làm từ các ống nano carbon đơn và một phương pháp tiếp cận AI tương tự như cách mà da cảm nhận và thị giác được xử lý cùng nhau trong não.

Các nhà khoa học đã phát triển hệ thống AI lấy cảm hứng từ sinh học bằng cách kết hợp ba phương pháp tiếp cận mạng nơ-ron trong một hệ thống: họ sử dụng 'mạng nơ-ron phức hợp', là một phương pháp học máy để xử lý thị giác, một mạng thần kinh đa lớp để xử lý thông tin cảm giác và một 'mạng thần kinh thưa thớt' để 'hợp nhất' thông tin thị giác và thính giác với nhau.

Kết quả là một hệ thống có thể nhận dạng cử chỉ của con người chính xác và hiệu quả hơn các phương pháp hiện có.

Kiến trúc tổng hợp dữ liệu của các nhà khoa học có các tính năng lấy cảm hứng sinh học độc đáo của riêng nó, bao gồm một hệ thống do con người tạo ra giống như hệ thống phân cấp tổng hợp cảm giác-thị giác trong não. Họ tin rằng những tính năng như vậy làm cho kiến trúc của chúng ta trở nên độc đáo so với các phương pháp hiện có.

ctngoc