ChatGPT có thể đạt xấp xỉ 60% ngưỡng điểm đỗ của Kỳ thi lấy chứng chỉ hành nghề y của Mỹ (USMLE); các câu trả lời của nó mạch lạc và chi tiết - theo một nghiên cứu được đăng ngày 9/2 trên tạp chí truy cập mở PLOS Digital Health.
TS Tiffany Kung và các đồng nghiệp tại công ty y tế Ansible Health đã thử nghiệm khả năng của AI mới này bằng cách cho làm bài thi USMLE gồm ba phần được chuẩn hóa và có quy định nghiêm ngặt, phải thi đỗ mới được cấp phép hành nghề y tại Mỹ. Người tham gia kỳ thi là các sinh viên y khoa và bác sĩ thực tập. USMLE đánh giá kiến thức trải dài hầu hết lĩnh vực y khoa, từ hóa sinh cho tới lý luận chẩn đoán, đạo đức sinh học.
Sau khi sàng lọc để loại bỏ các câu hỏi dựa trên hình ảnh, nhóm tác giả cho phần mềm này thực hiện 350 trong số 376 câu hỏi công khai có sẵn từ kỳ thi USMLE vào 6/2022.
Sau khi loại bỏ các câu trả lời không rõ ràng, ChatGPT có thể đạt từ 52,4% đến 75% trong ba bài thi USMLE. Ngưỡng điểm đỗ hằng năm là vào khoảng 60%. ChatGPT thể hiện mức độ phù hợp lên tới 94,6% trong mọi câu trả lời, và tạo ra ít nhất một thông tin đáng chú ý (một điều mới, chưa rõ, và có giá trị lâm sàng) trong 88,9% câu trả lời của nó. Đáng chú ý là, ChatGPT vượt qua cả thành tích của PubMedGPT, một mô hình được đào tạo riêng về tài liệu lĩnh vực y sinh. Mô hình này đạt 50,8% khi trả lời bộ dữ liệu câu hỏi dạng USMLE cũ hơn.
Tuy quy mô đầu vào tương đối nhỏ hạn chế chiều sâu và phạm vi phân tích, các tác giả lưu ý rằng phát hiện của họ cung cấp một cái nhìn sơ bộ về tiềm năng của ChatGPT trong việc nâng cao giáo dục y tế, và cuối cùng là thực hành lâm sàng. Chẳng hạn, các bác sĩ tại AnsibleHealth đã dùng ChatGPT để viết lại các báo cáo sử dụng nhiều từ chuyên môn để bệnh nhân dễ hiểu hơn.
Các tác giả nhận xét, việc ChatGPT đạt số điểm đủ để vượt qua kỳ thi chuyên gia nổi tiếng gian nan này mà không có bất kỳ sự hỗ trợ nào từ con người đánh dấu một cột mốc đáng chú ý trong sự trưởng thành của AI lâm sàng.
TS Tiffany Kung nói thêm rằng ChatGPT có nhiều đóng góp trong việc viết bản thảo của họ. "Chúng tôi tương tác với ChatGPT giống như với đồng nghiệp vậy, yêu cầu nó tổng hợp, đơn giản hóa và đưa ra các phản biện cho các bản nháp đang viết... Tất cả các đồng tác giả đều đánh giá cao ý kiến của ChatGPT."
| Hệ thống trí tuệ nhân tạo ChatGPT là một mô hình ngôn ngữ lớn (LLM). Nó có thể tạo ra văn bản như người viết bằng cách dự đoán các chuỗi từ tiếp theo. Không giống như đa phần chatbot khác, ChatGPT không thể tìm kiếm trên internet - thay vào đó, nó tạo ra văn bản bằng cách sử dụng các các mối quan hệ từ do các quy trình nội tại dự đoán. |
Nguồn:
Ngọc Chi