Các nhà nghiên cứu tại Bệnh viện Brigham and Women's - bệnh viện giảng dạy của Trường Y Harvard ở Boston, Massachusetts - phát hiện ra rằng các phát đồ điều trị ung thư do ChatGPT tạo ra có rất nhiều sai sót.
Theo nghiên cứu được công bố trên tạp chí JAMA Oncology và được Bloomberg đưa tin ban đầu, khi được yêu cầu lập phát đồ điều trị cho nhiều trường hợp ung thư, 1/3 câu trả lời của mô hình ngôn ngữ lớn chứa thông tin không chính xác.
Nghiên cứu cũng lưu ý rằng chatbot có xu hướng trộn lẫn thông tin đúng và không chính xác với nhau, theo cách gây khó khăn cho việc xác định đâu là chính xác. Báo cáo cho biết, trong tổng số 104 truy vấn, khoảng 98% câu trả lời của ChatGPT bao gồm ít nhất một khuyến nghị điều trị đáp ứng các nguyên tắc của Mạng lưới Ung thư Toàn diện Quốc gia.
Đồng tác giả, Tiến sĩ Danielle Bitterman nói với Insider rằng các tác giả bị ấn tượng bởi mức độ thông tin không chính xác được trộn lẫn với thông tin chính xác, khiến việc phát hiện sai sót trở nên đặc biệt khó khăn, ngay cả đối với các chuyên gia.
Cô nói thêm: “Các mô hình ngôn ngữ lớn được đào tạo để đưa ra những câu trả lời nghe có vẻ rất thuyết phục, nhưng chúng không được thiết kế để cung cấp lời khuyên y tế chính xác. Tỷ lệ lỗi và tính không ổn định của phản hồi là những vấn đề an toàn quan trọng cần được giải quyết trong lĩnh vực lâm sàng”.
ChatGPT đã trở thành hiện tượng chỉ sau một đêm khi ra mắt vào tháng 11/2022, đạt 100 triệu người dùng hoạt động hai tháng sau khi ra mắt. Chatbot này đã làm dấy lên làn sóng đầu tư vào các công ty AI và tranh luận gay gắt về tác động lâu dài của trí tuệ nhân tạo; Nghiên cứu của Goldman Sachs cho thấy nó có thể ảnh hưởng đến 300 triệu việc làm trên toàn cầu.
Bất chấp thành công của ChatGPT, các mô hình AI tổng quát vẫn dễ bị ảo giác, nơi chúng tự tin trình bày thông tin sai lệch hoặc cực kỳ không chính xác.
Nổi tiếng, đối thủ ChatGPT của Google, Bard, đã xóa sạch 120 tỷ USD giá trị cổ phiếu của công ty khi đưa ra câu trả lời không chính xác cho câu hỏi về kính viễn vọng không gian James Webb.
Những nỗ lực tích hợp AI vào chăm sóc sức khỏe, chủ yếu là để hợp lý hóa các nhiệm vụ hành chính đã được tiến hành. Đầu tháng này, một nghiên cứu lớn cho thấy việc sử dụng AI để sàng lọc ung thư vú là an toàn và cho thấy nó có thể giảm gần một nửa khối lượng công việc của các bác sĩ X quang.
Một nhà khoa học máy tính tại Harvard gần đây đã phát hiện ra rằng GPT-4, phiên bản mới nhất của mô hình, có thể vượt qua kỳ thi cấp giấy phép y tế của Hoa Kỳ một cách xuất sắc và cho rằng nó có khả năng phán đoán lâm sàng tốt hơn một số bác sĩ.
Nghiên cứu của JAMA cho thấy 12,5% phản hồi của ChatGPT là ảo giác và chatbot có nhiều khả năng đưa ra thông tin không chính xác nhất khi được hỏi về phương pháp điều trị cục bộ cho các bệnh tiến triển hoặc liệu pháp miễn dịch. OpenAI đã thừa nhận rằng ChatGPT có thể không đáng tin cậy.
Điều khoản sử dụng của công ty cảnh báo rằng các mẫu máy của họ không được thiết kế để cung cấp thông tin y tế và không nên được sử dụng để cung cấp dịch vụ chẩn đoán hoặc điều trị cho các tình trạng bệnh lý nghiêm trọng.