Red Hat AI cung cấp nền tảng AI doanh nghiệp để đào tạo và suy luận mô hình giúp tăng hiệu quả, trải nghiệm đơn giản hóa và linh hoạt triển khai ở bất kỳ đâu trên môi trường đám mây lai.

Ngay cả khi các doanh nghiệp tìm cách giảm chi phí triển khai các mô hình ngôn ngữ lớn (LLM) trên quy mô lớn để giải quyết số lượng ngày càng tăng các trường hợp sử dụng, họ vẫn phải đối mặt với thách thức trong việc tích hợp các mô hình đó với dữ liệu độc quyền của họ để thúc đẩy các trường hợp sử dụng đó đồng thời có thể truy cập dữ liệu này ở bất cứ đâu nó tồn tại. cho dù trong trung tâm dữ liệu, trên đám mây công cộng hay thậm chí ở biên.

Bao gồm cả Red Hat OpenShift AI và Red Hat Enterprise Linux AI (RHEL AI), Red Hat AI giải quyết những mối quan tâm này bằng cách cung cấp nền tảng AI doanh nghiệp cho phép người dùng áp dụng các mô hình hiệu quả và tối ưu hóa hơn, được điều chỉnh dựa trên dữ liệu dành riêng cho doanh nghiệp và sau đó có thể được triển khai trên đám mây lai để đào tạo và suy luận trên một loạt các kiến trúc điện toán tăng tốc.

Red Hat OpenShift AI

Red Hat OpenShift AI cung cấp một nền tảng AI hoàn chỉnh để quản lý vòng đời AI dự đoán và tạo (AI thế hệ) trên đám mây lai, bao gồm các hoạt động máy học (MLOps) và các khả năng LLMOps. Nền tảng này cung cấp chức năng để xây dựng các mô hình dự đoán và điều chỉnh các mô hình AI thế hệ, cùng với các công cụ để đơn giản hóa việc quản lý mô hình AI, từ khoa học dữ liệu và quy trình mô hình và giám sát mô hình đến quản trị, v.v.

Red Hat OpenShift AI 2.18, bản phát hành mới nhất của nền tảng, bổ sung các bản cập nhật và khả năng mới để hỗ trợ mục tiêu của Red Hat AI là mang lại các mô hình AI được tối ưu hóa tốt hơn và hiệu quả hơn cho đám mây lai. Các tính năng chính bao gồm:

Phân phối: Được phân phối thông qua máy chủ suy luận vLLM, phân phối phân tán cho phép các nhóm CNTT phân chia mô hình phân phối trên nhiều đơn vị xử lý đồ họa (GPU). Điều này giúp giảm bớt gánh nặng cho bất kỳ máy chủ đơn lẻ nào, tăng tốc độ đào tạo và tinh chỉnh, đồng thời sử dụng hiệu quả hơn tài nguyên điện toán, đồng thời giúp phân phối dịch vụ trên các nút cho các mô hình AI.

Trải nghiệm điều chỉnh mô hình toàn diện: Sử dụng quy trình khoa học dữ liệu InstructLab và Red Hat OpenShift AI, tính năng mới này giúp đơn giản hóa việc tinh chỉnh LLM, giúp chúng có thể mở rộng, hiệu quả hơn và có thể kiểm tra hơn trong môi trường sản xuất lớn đồng thời cung cấp khả năng quản lý thông qua bảng điều khiển Red Hat OpenShift AI.

AI Guardrails: Red Hat OpenShift AI 2.18 giúp cải thiện độ chính xác, hiệu suất, độ trễ và tính minh bạch của LLM thông qua bản xem trước công nghệ của AI Guardrails để giám sát và bảo vệ tốt hơn cả tương tác đầu vào của người dùng và đầu ra mô hình. AI Guardrails cung cấp các điểm phát hiện bổ sung trong việc giúp các nhóm CNTT xác định và giảm thiểu lời nói thù địch, lăng mạ hoặc tục tĩu, thông tin nhận dạng cá nhân, thông tin cạnh tranh hoặc dữ liệu khác bị giới hạn bởi các chính sách của công ty.

Đánh giá mô hình: Sử dụng thành phần đánh giá mô hình ngôn ngữ (lm-eval) để cung cấp thông tin quan trọng về chất lượng tổng thể của mô hình, đánh giá mô hình cho phép các nhà khoa học dữ liệu đánh giá hiệu suất của LLM của họ trên nhiều nhiệm vụ khác nhau, từ lý luận logic và toán học đến ngôn ngữ tự nhiên đối nghịch và hơn thế nữa, cuối cùng giúp tạo ra các mô hình AI hiệu quả, đáp ứng và phù hợp hơn.

RHEL AI

Là một phần của danh mục Red Hat AI, RHEL AI là một nền tảng mô hình nền tảng để phát triển, thử nghiệm và chạy LLM nhất quán hơn để cung cấp năng lượng cho các ứng dụng doanh nghiệp. RHEL AI cung cấp cho khách hàng các công cụ căn chỉnh mô hình Granite LLM và InstructLab được đóng gói dưới dạng hình ảnh máy chủ Red Hat Enterprise Linux có thể khởi động và có thể được triển khai trên đám mây lai.

Ra mắt vào tháng 2 năm 2025, RHEL 1.4 đã bổ sung một số cải tiến mới bao gồm:

Hỗ trợ mô hình Granite 3.1 8B cho phần bổ sung mới nhất cho dòng mô hình Granite được cấp phép mã nguồn mở. Mô hình bổ sung hỗ trợ đa ngôn ngữ cho suy luận và tùy chỉnh phân loại/kiến thức (xem trước dành cho nhà phát triển) cùng với cửa sổ ngữ cảnh 128k để cải thiện kết quả tóm tắt và các tác vụ tạo tăng cường truy xuất (RAG).

Giao diện người dùng đồ họa mới cho các kỹ năng và đóng góp kiến thức, có sẵn dưới dạng bản xem trước dành cho nhà phát triển, để đơn giản hóa việc nhập và chia nhỏ dữ liệu cũng như cách người dùng thêm các kỹ năng và đóng góp của riêng họ vào mô hình AI.

Tài liệu Kiến thức (DK-bench) để so sánh dễ dàng hơn các mô hình AI được tinh chỉnh trên dữ liệu riêng tư, có liên quan với hiệu suất của cùng một mô hình cơ sở chưa được điều chỉnh.

Red Hat AI InstructLab trên IBM Cloud

Ngày càng có nhiều doanh nghiệp tìm kiếm các giải pháp AI ưu tiên độ chính xác và bảo mật dữ liệu, đồng thời giữ chi phí và độ phức tạp ở mức thấp nhất có thể. Red Hat AI InstructLab được triển khai dưới dạng dịch vụ trên IBM Cloud được thiết kế để đơn giản hóa, mở rộng quy mô và giúp cải thiện dấu chân bảo mật cho việc đào tạo và triển khai các mô hình AI. Bằng cách đơn giản hóa việc điều chỉnh mô hình InstructLab, các tổ chức có thể xây dựng các mô hình hiệu quả hơn phù hợp với nhu cầu riêng của tổ chức trong khi vẫn giữ quyền kiểm soát dữ liệu của họ.

Đào tạo nền tảng AI miễn phí

AI là một cơ hội chuyển đổi đang xác định lại cách doanh nghiệp hoạt động và cạnh tranh. Để hỗ trợ các tổ chức trong bối cảnh năng động này, Red Hat hiện cung cấp các khóa đào tạo trực tuyến Nền tảng AI miễn phí. Red Hat đang cung cấp hai chứng chỉ học tập AI được thiết kế cho các nhà lãnh đạo cấp cao có kinh nghiệm cũng như người mới làm quen với AI, giúp giáo dục người dùng ở mọi cấp độ về cách AI có thể giúp chuyển đổi hoạt động kinh doanh, hợp lý hóa việc ra quyết định và thúc đẩy đổi mới. Khóa đào tạo AI Foundations hướng dẫn người dùng cách áp dụng kiến thức này khi sử dụng Red Hat AI.

Red Hat AI InstructLab trên IBM Cloud sẽ sớm có sẵn. Đào tạo Nền tảng AI từ Red Hat hiện đã có sẵn cho khách hàng.

Joe Fernandes, Phó chủ tịch kiêm tổng giám đốc, Đơn vị Kinh doanh AI, Red Hat, cho biết: "Red Hat biết rằng các doanh nghiệp sẽ cần cách quản lý chi phí ngày càng tăng của việc triển khai AI tổng quát của họ, khi họ đưa nhiều trường hợp sử dụng hơn vào sản xuất và chạy trên quy mô lớn. Họ cũng cần giải quyết thách thức trong việc tích hợp các mô hình AI với dữ liệu doanh nghiệp tư nhân và có thể triển khai các mô hình này ở bất cứ nơi nào dữ liệu của họ có thể tồn tại. Red Hat AI giúp các doanh nghiệp giải quyết những thách thức này bằng cách cho phép họ tận dụng các mô hình hiệu quả hơn, được xây dựng có mục đích, được đào tạo trên dữ liệu của họ và cho phép suy luận linh hoạt trên các môi trường tại chỗ, đám mây và biên."

Régis Lesbarreres, giám đốc phân tích nâng cao và đổi mới AI, đổi mới kỹ thuật số, Airbus Helicopters, cho biết: "Khi bắt đầu hành trình AI của chúng tôi, Airbus Helicopters đã tìm cách tích hợp AI vào kiến trúc hiện có của chúng tôi, giảm CNTT ngầm, hợp nhất các nhà khoa học dữ liệu của chúng tôi dưới một nền tảng AI duy nhất và tối ưu hóa chi phí trên quy mô lớn. Với Red Hat OpenShift AI, chúng tôi đã có thể hoàn thành tất cả các mục tiêu này, dẫn đến trường hợp sử dụng kinh doanh đầu tiên của chúng tôi cho AI. Tầm nhìn của Red Hat về AI phù hợp với các mục tiêu kinh doanh của chúng tôi và cho phép chúng tôi đáp ứng chúng trong khi vẫn duy trì tính linh hoạt, khả năng tiếp cận và minh bạch."

Javier Olaizola Casin, đối tác quản lý toàn cầu, đám mây lai và dữ liệu, IBM Consulting, cho biết: "Các doanh nghiệp đang ngày càng áp dụng AI để chuyển đổi các quy trình kinh doanh cốt lõi và họ cần các giải pháp AI linh hoạt, tiết kiệm chi phí và được điều chỉnh với dữ liệu doanh nghiệp đáng tin cậy để đáp ứng nhu cầu riêng của họ. Red Hat AI mang đến tính nhất quán, độ tin cậy và tốc độ mà các tổ chức cần để xây dựng và triển khai các mô hình và ứng dụng AI trên các kịch bản đám mây lai. Kết hợp lĩnh vực, công nghệ và chuyên môn ngành của IBM Consulting với các công nghệ AI của Red Hat, chúng tôi đang giúp khách hàng thúc đẩy ROI từ các khoản đầu tư công nghệ của họ."

Torsten Volks, nhà phân tích chính, hiện đại hóa ứng dụng, ESG, cho biết: "Các tổ chức hàng đầu khai thác việc ra quyết định dựa trên AI, tập trung vào dữ liệu giữa các nhóm và đơn vị kinh doanh. Do đó, khả năng phát triển, triển khai, tích hợp, mở rộng quy mô và quản lý các khả năng dựa trên AI trong toàn doanh nghiệp nhanh chóng và tiết kiệm chi phí trở thành một yếu tố thành công quan trọng. Thiết lập khả năng này đòi hỏi một nền tảng AI mở và có thể mở rộng đảm bảo tích hợp liền mạch với các hệ thống và quy trình hiện có, hoạt động linh hoạt và quản trị liên tục. Cho phép nhân viên và khách hàng hưởng lợi từ các khả năng AI nhanh hơn và toàn diện hơn là rất quan trọng để tiếp tục thành công trong kinh doanh."

Anand Swamy, Phó chủ tịch điều hành và giám đốc toàn cầu về hệ sinh thái, HCLTech, cho biết: "Để nhận ra toàn bộ tiềm năng của AI tổng quát, các tổ chức cần ưu tiên cơ sở hạ tầng linh hoạt và linh hoạt. Bằng cách kết hợp các khả năng của Red Hat AI, bao gồm RHEL AI và Red Hat OpenShift AI để cung cấp nền tảng ứng dụng AI toàn diện, với chuyên môn AI hàng đầu và các dịch vụ cơ sở hạ tầng nhận thức của HCLTech, một phần của giải pháp HCLTech AI Foundry, khách hàng có được một lộ trình hợp lý để mở khóa đổi mới AI, giúp họ vượt qua những thách thức phổ biến như bảo mật dữ liệu, mở rộng khối lượng công việc AI và giảm thiểu chi phí cơ sở hạ tầng."

Duncan MacRae

https://www.cloudcomputing-news.net