Bên trong một nhà kho tự động khổng lồ, hàng trăm robot lao nhanh dọc theo các lối đi khi chúng thu thập và phân phối hàng hóa để đáp ứng dòng đơn đặt hàng liên tục từ khách hàng. Trong môi trường bận rộn này, ngay cả những ùn tắc nhỏ hoặc va chạm nhẹ cũng có thể nhanh chóng leo thang thành sự chậm trễ nghiêm trọng.

Để tránh “hiệu ứng tuyết lở” của sự kém hiệu quả đó, các nhà nghiên cứu từ MIT và công ty công nghệ Symbotic đã phát triển một phương pháp mới giúp tự động giữ cho cả đội robot di chuyển trơn tru. Phương pháp này học cách xác định robot nào nên đi trước tại mỗi thời điểm, dựa trên cách ùn tắc đang hình thành và điều chỉnh để ưu tiên những robot sắp bị kẹt. Nhờ vậy, hệ thống có thể điều hướng lại robot từ sớm để tránh các điểm nghẽn.

Hệ thống này sử dụng học tăng cường sâu (deep reinforcement learning), một phương pháp trí tuệ nhân tạo mạnh mẽ để giải các bài toán phức tạp, nhằm xác định robot nào cần được ưu tiên. Sau đó, một thuật toán lập kế hoạch nhanh và đáng tin cậy sẽ gửi chỉ dẫn cho robot, giúp chúng phản ứng nhanh trong môi trường luôn thay đổi.

Trong các mô phỏng lấy cảm hứng từ bố cục kho thương mại điện tử thực tế, phương pháp mới này đạt mức tăng khoảng 25% về thông lượng so với các phương pháp khác. Quan trọng hơn, hệ thống có thể nhanh chóng thích nghi với môi trường mới có số lượng robot khác nhau hoặc bố cục kho thay đổi.

“Có rất nhiều bài toán ra quyết định trong sản xuất và logistics mà các công ty dựa vào các thuật toán do con người thiết kế. Nhưng chúng tôi đã chứng minh rằng, với sức mạnh của học tăng cường sâu, chúng ta có thể đạt hiệu suất vượt trội hơn con người. Đây là một hướng tiếp cận rất khả thi, bởi trong các nhà kho khổng lồ này, chỉ cần tăng 2–3% thông lượng cũng có thể tạo ra tác động rất lớn,” Han Zheng, nghiên cứu sinh tại Phòng thí nghiệm Hệ thống Thông tin và Quyết định (LIDS) của MIT và là tác giả chính của bài báo, cho biết.

Tham gia nghiên cứu còn có Yining Ma, nghiên cứu sinh sau tiến sĩ tại LIDS; Brandon Araki và Jingkai Chen từ Symbotic; cùng tác giả cao cấp Cathy Wu, Phó Giáo sư ngành Kỹ thuật Dân dụng và Môi trường và Viện Dữ liệu, Hệ thống và Xã hội tại MIT, đồng thời là thành viên LIDS. Nghiên cứu được công bố trên Journal of Artificial Intelligence Research.

Điều hướng lại robot

Việc phối hợp hàng trăm robot trong một kho thương mại điện tử cùng lúc không hề đơn giản.

Bài toán trở nên phức tạp hơn vì kho là một môi trường động, và robot liên tục nhận nhiệm vụ mới sau khi hoàn thành mục tiêu. Chúng cần được điều hướng lại nhanh chóng khi ra vào khu vực làm việc.

Các công ty thường sử dụng các thuật toán do chuyên gia con người viết để quyết định robot nên di chuyển ở đâu và khi nào nhằm tối đa hóa số lượng kiện hàng xử lý.

Tuy nhiên, nếu xảy ra ùn tắc hoặc va chạm, doanh nghiệp có thể buộc phải dừng toàn bộ kho trong nhiều giờ để xử lý thủ công.

“Trong bối cảnh này, chúng tôi không có dự đoán chính xác về tương lai. Chúng tôi chỉ biết những khả năng có thể xảy ra, như số lượng kiện hàng đến hoặc phân bố đơn hàng trong tương lai. Hệ thống lập kế hoạch cần thích ứng với những thay đổi đó trong quá trình vận hành,” Zheng nói.

Các nhà nghiên cứu MIT đạt được khả năng thích ứng này bằng học máy. Họ bắt đầu bằng việc thiết kế một mô hình mạng nơ-ron để quan sát môi trường kho và quyết định cách ưu tiên robot. Mô hình được huấn luyện bằng học tăng cường sâu, một phương pháp thử-sai trong đó mô hình học cách điều khiển robot thông qua các mô phỏng giống kho thực tế. Mô hình được “thưởng” khi đưa ra quyết định giúp tăng thông lượng tổng thể và tránh xung đột.

Theo thời gian, mạng nơ-ron học cách phối hợp nhiều robot một cách hiệu quả.

“Bằng cách tương tác với các mô phỏng lấy cảm hứng từ bố cục kho thực tế, hệ thống của chúng tôi nhận được phản hồi để cải thiện khả năng ra quyết định. Mạng nơ-ron sau khi huấn luyện có thể thích nghi với các kho có bố cục khác nhau,” Zheng giải thích.

Hệ thống được thiết kế để nắm bắt các ràng buộc và trở ngại dài hạn trên đường đi của từng robot, đồng thời xem xét các tương tác động giữa các robot khi chúng di chuyển trong kho.

Bằng cách dự đoán các tương tác hiện tại và tương lai giữa robot, mô hình có thể lập kế hoạch để tránh ùn tắc trước khi nó xảy ra.

Sau khi mạng nơ-ron quyết định robot nào được ưu tiên, hệ thống sử dụng một thuật toán lập kế hoạch đã được kiểm chứng để chỉ dẫn mỗi robot di chuyển từ điểm này sang điểm khác. Thuật toán hiệu quả này giúp robot phản ứng nhanh trong môi trường kho luôn biến đổi.

Sự kết hợp này là yếu tố then chốt. “Cách tiếp cận này dựa trên công trình của nhóm tôi về việc kết hợp tốt nhất giữa học máy và các phương pháp tối ưu hóa cổ điển. Các phương pháp học máy thuần túy vẫn gặp khó khăn với các bài toán tối ưu phức tạp, trong khi việc thiết kế phương pháp hiệu quả bằng tay lại tốn rất nhiều thời gian và công sức. Nhưng khi kết hợp đúng cách, các phương pháp do chuyên gia thiết kế có thể giúp đơn giản hóa đáng kể bài toán học máy,” Wu cho biết.

Vượt qua độ phức tạp

Sau khi huấn luyện mạng nơ-ron, các nhà nghiên cứu thử nghiệm hệ thống trong các kho mô phỏng khác với những gì nó đã thấy trước đó. Do các mô phỏng công nghiệp quá kém hiệu quả cho bài toán phức tạp này, họ đã tự xây dựng môi trường mô phỏng riêng để tái hiện hoạt động của kho thực tế.

Trung bình, phương pháp lai dựa trên học này đạt thông lượng cao hơn 25% so với các thuật toán truyền thống cũng như phương pháp tìm kiếm ngẫu nhiên, xét theo số kiện hàng được giao trên mỗi robot. Phương pháp này cũng có thể tạo ra các kế hoạch đường đi khả thi giúp vượt qua tình trạng ùn tắc do các phương pháp truyền thống gây ra.

“Đặc biệt khi mật độ robot trong kho tăng lên, độ phức tạp tăng theo cấp số mũ và các phương pháp truyền thống nhanh chóng không còn hiệu quả. Trong những môi trường này, phương pháp của chúng tôi hiệu quả hơn nhiều,” Zheng nói.

Dù hệ thống này vẫn còn xa mới có thể triển khai trong thực tế, các thử nghiệm đã cho thấy tính khả thi và lợi ích của việc áp dụng cách tiếp cận dựa trên học máy trong tự động hóa kho.

Trong tương lai, các nhà nghiên cứu muốn đưa việc phân công nhiệm vụ vào mô hình, vì việc quyết định robot nào thực hiện nhiệm vụ nào cũng ảnh hưởng đến ùn tắc. Họ cũng dự định mở rộng hệ thống cho các kho lớn hơn với hàng nghìn robot.

Nghiên cứu này được tài trợ bởi Symbotic.