Mạng lưới thần kinh và các dạng AI khác học cách thực hiện nhiệm vụ của chúng – chẳng hạn như đưa ra chẩn đoán cụ thể – dựa trên dữ liệu đào tạo. Hãy tưởng tượng, nhiệm vụ là phân biệt các dấu hiệu ác tính và lành tính trên phim X-quang ngực. Để hệ thống có thể đưa ra quyết định, cần có hàng nghìn hoặc hàng triệu bức ảnh chụp X-quang về các thay đổi mô lành tính và ác tính làm dữ liệu huấn luyện. Thuật toán phân loại từng hình ảnh đào tạo này và so sánh kết quả với chẩn đoán do con người thực hiện. Nếu chẩn đoán của thuật toán không chính xác, các trọng số được gán cho các kết nối riêng lẻ giữa các nơ-ron ảo sẽ được điều chỉnh lại để cải thiện độ chính xác vào lần tiếp theo. 

Khi tất cả dữ liệu huấn luyện đã được xử lý, một tập dữ liệu mới, nhỏ hơn sẽ được sử dụng để kiểm tra tính chính xác của thuật toán được huấn luyện đầy đủ. Bước này được gọi là xác nhận.

Không còn nghi ngờ gì nữa: Độ chính xác của thuật toán AI chỉ có thể tốt bằng chất lượng của dữ liệu đào tạo. 

Tuy nhiên, việc có được dữ liệu đào tạo chất lượng cao cho các thuật toán thường trở nên khó khăn vì hệ thống chăm sóc sức khỏe của chúng ta chỉ đang dần được số hóa. Dữ liệu đã được xác thực cẩn thận và thủ công rất hiếm nhưng thuật toán đòi hỏi một lượng dữ liệu huấn luyện rất lớn. Khi có thể thu được một khối lượng lớn dữ liệu số, nó thường đến từ các nguồn có chất lượng không nhất quán. Vấn đề về số lượng và chất lượng này còn phức tạp hơn bởi các vấn đề về quyền riêng tư trong chăm sóc sức khỏe. 

Nguồn gốc của sự thiên vị không phải lúc nào cũng rõ ràng: Ở Mỹ, thuật toán AI đã được sử dụng để ước tính bệnh nhân nội trú nào sẽ cần được chăm sóc thêm. Dữ liệu huấn luyện sử dụng chi phí mà bệnh nhân phải chịu trước đây làm dấu hiệu cho mức độ nghiêm trọng của bệnh. Điều này dẫn đến thực tế là đối với bệnh nhân người Mỹ gốc Phi, việc chăm sóc bổ sung ít được khuyến nghị hơn vì trước đây những bệnh nhân này phải chịu chi phí thấp hơn. Điều này không phải do mức độ nghiêm trọng của bệnh thấp hơn mà do khả năng tiếp cận dịch vụ chăm sóc sức khỏe thấp hơn, tức là bất lợi về mặt hệ thống đã tồn tại từ trước.