Mặc dù mô hình này thể hiện khả năng tốt trong nhiều nhiệm vụ chẩn đoán y khoa, nhưng kết quả này đã đặt ra câu hỏi nghiêm túc về khả năng của chúng trong các tình huống lâm sàng, nhất là những nhiệm vụ yêu cầu kỹ năng thị giác và điều hành.

Từ nghiên cứu, ChatGPT 4o đạt điểm cao nhất trong số các chatbot với 26/30 điểm, theo sau là ChatGPT 4 và Claude với 25/30, trong khi đó Gemini 1.0 có điểm thấp nhất chỉ 16/30. Tất cả các mô hình đều thể hiện sự kém hiệu quả trong các nhiệm vụ liên quan đến kỹ năng thị giác không gian và chức năng điều hành, như nhiệm vụ tạo dấu vết và bài kiểm tra vẽ đồng hồ. Đặc biệt, các phiên bản của mô hình Gemini không thành công trong nhiệm vụ ghi nhớ chuỗi từ.

Mặc dù nhóm nghiên cứu thừa nhận sự khác biệt rõ rệt giữa não người và mô hình ngôn ngữ lớn, việc tất cả các mô hình này đều thất bại trong nhiệm vụ đòi hỏi trừu tượng hóa trực quan và chức năng điều hành là một điểm yếu nghiêm trọng. Điều này có thể hạn chế khả năng áp dụng của chúng trong các tình huống lâm sàng, nhấn mạnh rằng AI hiện tại chưa thể thay thế hoàn toàn bác sĩ trong lĩnh vực y tế.