Trung tâm dữ liệu hiệu quả hơn nhờ hệ thống cân bằng tải thông minh
Các nhà nghiên cứu tại MIT vừa phát triển một hệ thống mới giúp tăng hiệu suất phần cứng lưu trữ flash trong trung tâm dữ liệu mà không cần bổ sung thêm thiết bị.
Trong các trung tâm dữ liệu, nhiều ổ lưu trữ thường được gộp chung để nhiều ứng dụng có thể sử dụng. Tuy nhiên, ngay cả khi gộp lại, dung lượng thiết bị vẫn chưa được khai thác hết do sự khác biệt về hiệu năng giữa các ổ.
Hệ thống mới của MIT xử lý đồng thời ba nguyên nhân chính gây ra sự biến động hiệu suất, thay vì chỉ giải quyết từng yếu tố riêng lẻ như các phương pháp truyền thống. Nhờ đó, tốc độ xử lý tăng gần gấp đôi khi thử nghiệm trên các tác vụ thực tế như huấn luyện mô hình AI và nén hình ảnh.
Kiến trúc hai tầng: “toàn cảnh” và “cục bộ”
Hệ thống mang tên Sandook (tiếng Urdu nghĩa là “hộp lưu trữ”) sử dụng kiến trúc hai tầng:
- Bộ điều khiển trung tâm phân bổ công việc cho toàn bộ cụm thiết bị.
- Bộ điều khiển cục bộ trên từng ổ SSD phản ứng nhanh, điều chỉnh dữ liệu khi thiết bị gặp khó khăn.
Cách tiếp cận này giúp hệ thống thích ứng theo thời gian thực với khối lượng công việc thay đổi, mà không cần phần cứng chuyên dụng.
Ba nguồn biến động hiệu suất SSD
Sandook xử lý đồng thời ba yếu tố gây chậm trễ:
- Khác biệt phần cứng: tuổi thọ, độ hao mòn và dung lượng của SSD từ nhiều nhà sản xuất.
- Xung đột đọc/ghi: khi ghi dữ liệu mới, SSD phải xóa dữ liệu cũ, làm chậm quá trình đọc.
- Thu gom rác (garbage collection): quá trình dọn dữ liệu thừa diễn ra ngẫu nhiên, gây gián đoạn.
Nhờ cơ chế luân phiên đọc/ghi và giảm tải tạm thời cho ổ đang thu gom rác, Sandook duy trì hiệu suất ổn định hơn.
Kết quả thử nghiệm
Trong thử nghiệm với 10 SSD trên bốn tác vụ (cơ sở dữ liệu, huấn luyện AI, nén ảnh, lưu trữ dữ liệu người dùng), Sandook:
- Tăng thông lượng ứng dụng từ 12% đến 94%.
- Cải thiện mức sử dụng dung lượng SSD thêm 23%.
- Đạt tới 95% hiệu suất lý thuyết tối đa của SSD mà không cần phần cứng mới.
Theo Gohar Chaudhry, nghiên cứu sinh ngành Kỹ thuật điện và Khoa học máy tính tại MIT:
“Chúng tôi muốn tận dụng tối đa tuổi thọ của những thiết bị đắt đỏ và tiêu tốn nhiều carbon này. Với giải pháp phần mềm thích ứng, bạn vẫn có thể khai thác hiệu suất cao từ thiết bị hiện có trước khi phải thay mới.”
Trong tương lai, nhóm nghiên cứu dự định tích hợp các giao thức mới trên SSD hiện đại để kiểm soát vị trí dữ liệu tốt hơn, đồng thời tận dụng tính dự đoán của khối lượng công việc AI để tăng hiệu quả.
Josh Fried, kỹ sư phần mềm tại Google, nhận xét:
“Công trình này là một bước tiến thực tế và thanh nhã, đưa lưu trữ flash tiến gần hơn tới tiềm năng tối đa trong các hệ thống điện toán đám mây.”