AI hallucination trong y tế: Rủi ro và cách kiểm soát

AI đang giúp bệnh viện và phòng khám giảm tải công việc tư vấn dịch vụ, đặt lịch và chăm sóc bệnh nhân. Tuy nhiên, điều gì xảy ra khi chatbot đưa ra hướng dẫn chuẩn bị xét nghiệm sai hoặc cung cấp thông tin thuốc không có căn cứ, dù câu trả lời nghe rất thuyết phục?

Trong môi trường y tế, những sai lệch này có thể ảnh hưởng đến trải nghiệm và an toàn người bệnh. Đây là lý do AI hallucination trong y tế trở thành vấn đề cần được quan tâm. Trong bài viết này, Bizfly sẽ cùng bạn tìm hiểu nguyên nhân, rủi ro và các biện pháp kiểm soát để ứng dụng AI hiệu quả, an toàn hơn.

AI hallucination trong y tế là gì?

AI hallucination trong y tế (ảo giác AI) là hiện tượng trí tuệ nhân tạo tạo ra thông tin sai lệch, không có căn cứ hoặc không được dữ liệu nguồn hỗ trợ nhưng vẫn trình bày như thông tin đáng tin cậy.

Hiện tượng này có thể xảy ra khi AI tư vấn sức khỏe, tra cứu thông tin thuốc hoặc tổng hợp hồ sơ bệnh án. Chẳng hạn, chatbot tự đưa ra hướng dẫn sử dụng thuốc không có trong tài liệu đã được phê duyệt, tiềm ẩn rủi ro đối với bệnh nhân.

Khác với lỗi do dữ liệu đầu vào không chính xác, AI hallucination liên quan đến việc AI tạo ra nội dung không có căn cứ xác thực. Hai dạng sai sót này cũng có thể xuất hiện đồng thời.

AI hallucination gây ra những rủi ro nào trong y tế?

AI hallucination có thể ảnh hưởng đến an toàn người bệnh, chất lượng chăm sóc và hiệu quả vận hành của cơ sở y tế. Rủi ro không chỉ đến từ thông tin sai lệch mà còn từ việc bệnh nhân hoặc nhân viên y tế tin tưởng và sử dụng thông tin đó khi chưa được kiểm chứng.

Mức độ ảnh hưởng phụ thuộc vào nội dung sai lệch, đối tượng tiếp nhận và phạm vi AI được phép xử lý. Chẳng hạn, trả lời sai giờ làm việc chủ yếu gây bất tiện, trong khi thông tin không chính xác về thuốc hoặc điều trị có thể ảnh hưởng trực tiếp đến sức khỏe người bệnh.

Vì vậy, bệnh viện cần đánh giá rủi ro theo từng nghiệp vụ thay vì áp dụng cùng một cơ chế kiểm soát cho mọi hoạt động sử dụng AI. Việc lựa chọn phạm vi ứng dụng AI trong y tế cần gắn với dữ liệu được phép sử dụng và vai trò giám sát của nhân viên trong từng quy trình.

5 tình huống AI hallucination có thể xảy ra tại bệnh viện, phòng khám

AI hallucination có thể xuất hiện trong nhiều nghiệp vụ, từ tư vấn sức khỏe đến quản lý hồ sơ và chăm sóc bệnh nhân. Dưới đây là 5 tình huống giả định giúp cơ sở y tế nhận diện những nguy cơ cần kiểm soát.

1. Chatbot AI cung cấp thông tin sức khỏe không chính xác

Khi bệnh nhân mô tả triệu chứng, chatbot AI có thể tự đưa ra nhận định về bệnh lý dù không đủ căn cứ. Nếu câu trả lời được trình bày quá chắc chắn, người bệnh dễ hiểu nhầm đây là kết luận chuyên môn.

Vì vậy, chatbot AI trong y tế cần được giới hạn phạm vi tư vấn, tránh tự chẩn đoán và chuyển những câu hỏi vượt thẩm quyền đến nhân viên y tế.

2. AI đưa ra hướng dẫn chuẩn bị khám, xét nghiệm sai

AI có thể tự tạo yêu cầu nhịn ăn, ngừng thuốc hoặc chuẩn bị xét nghiệm không đúng với quy trình của bệnh viện. Điều này có thể khiến bệnh nhân chuẩn bị sai, phải thay đổi lịch khám hoặc thực hiện lại một số bước.

Để hạn chế rủi ro, AI cần sử dụng hướng dẫn chính thức đã được phê duyệt cho từng dịch vụ, thay vì tự suy đoán khi thiếu thông tin.

3. AI tạo thông tin thuốc hoặc hướng dẫn điều trị không có căn cứ

Khi được hỏi về thuốc, AI có thể đưa ra liều dùng, tương tác thuốc hoặc hướng dẫn điều trị không được nguồn chuyên môn xác thực. Đây là nhóm sai lệch có thể ảnh hưởng trực tiếp đến an toàn người bệnh.

Bệnh viện không nên cho phép chatbot thông thường tự kê đơn, thay đổi liều dùng hoặc đưa ra quyết định điều trị.

4. AI tổng hợp sai nội dung hồ sơ bệnh án

Trong quá trình tóm tắt bệnh án bằng AI, hệ thống có thể bổ sung triệu chứng không tồn tại hoặc diễn giải sai tiền sử bệnh. Nếu nhân viên y tế sử dụng kết quả mà không kiểm tra, thông tin sai có thể ảnh hưởng đến quá trình tiếp nhận và đánh giá bệnh nhân.

Do đó, nội dung do AI tổng hợp cần được đối chiếu với hồ sơ gốc và xác nhận bởi nhân viên có chuyên môn.

5. AI cung cấp thông tin chăm sóc sau khám không phù hợp

Khi ứng dụng AI chăm sóc bệnh nhân sau khám, hệ thống có thể tự tạo lịch tái khám hoặc hướng dẫn chăm sóc khác với chỉ định thực tế. Điều này dễ gây nhầm lẫn và ảnh hưởng đến quá trình theo dõi sức khỏe.

Cơ sở y tế cần sử dụng thông tin đã được xác nhận, đồng thời chuyển các yêu cầu liên quan đến thay đổi chỉ định cho nhân viên y tế phụ trách.

Lưu ý: Các tình huống trên mang tính minh họa nguy cơ, không phải những sự cố thực tế đã được xác minh.

Vì sao AI có thể tạo ra thông tin y tế sai lệch?

AI có thể tạo ra thông tin y tế sai lệch khi thiếu dữ liệu đáng tin cậy, không hiểu đầy đủ ngữ cảnh hoặc không có cơ chế kiểm chứng câu trả lời. Có 4 nguyên nhân chính làm tăng nguy cơ ảo giác AI trong y tế.

1. AI tạo câu trả lời dựa trên các mẫu đã học

AI tạo sinh xây dựng câu trả lời dựa trên những mẫu thông tin đã học. Vì vậy, nội dung có thể diễn đạt mạch lạc, thuyết phục nhưng không đảm bảo chính xác về mặt y khoa.

2. Thiếu nguồn thông tin chuyên môn phù hợp

Khi không được cung cấp tài liệu y tế đáng tin cậy hoặc dữ liệu cập nhật, AI có thể tạo ra thông tin không có căn cứ. Chẳng hạn, chatbot tự đưa ra hướng dẫn khám bệnh không có trong quy trình của bệnh viện.

3. Câu hỏi thiếu ngữ cảnh

Những câu hỏi thiếu thông tin về triệu chứng, tiền sử bệnh hoặc mục đích sử dụng có thể khiến AI suy diễn không chính xác. Điều này đặc biệt đáng lưu ý với các yêu cầu liên quan đến sức khỏe và điều trị.

4. Thiếu cơ chế kiểm chứng thông tin

Nếu không có bước đối chiếu nguồn dữ liệu, kiểm tra chất lượng hoặc chuyển tiếp nhân viên y tế, câu trả lời sai có thể được gửi trực tiếp đến bệnh nhân mà không được phát hiện kịp thời.

Để hạn chế rủi ro, bệnh viện và phòng khám cần kiểm soát chất lượng dữ liệu, giới hạn phạm vi hoạt động của AI và thiết lập cơ chế xử lý khi hệ thống không đủ căn cứ để trả lời.

6 biện pháp giảm nguy cơ AI hallucination trong y tế

Để giảm nguy cơ AI hallucination trong y tế, bệnh viện cần kết hợp kiểm soát dữ liệu, giới hạn quyền xử lý và giám sát chất lượng phản hồi. Dưới đây là 6 biện pháp quan trọng khi triển khai AI trong thực tế.

1. Giới hạn phạm vi AI được phép tư vấn

Cơ sở y tế cần xác định rõ những nghiệp vụ AI được phép thực hiện, chẳng hạn giải đáp thông tin dịch vụ, tra cứu lịch khám hoặc hướng dẫn thủ tục hành chính.

Với các yêu cầu liên quan đến chẩn đoán, kê đơn hoặc thay đổi phương án điều trị, AI không được tự đưa ra quyết định thay nhân viên y tế có chuyên môn.

2. Sử dụng nguồn dữ liệu y tế đã được kiểm chứng

AI cần được kết nối với tài liệu chuyên môn, quy trình khám chữa bệnh và thông tin dịch vụ đã được bệnh viện phê duyệt. Điều này giúp hạn chế việc hệ thống sử dụng thông tin thiếu căn cứ hoặc không còn phù hợp.

Đồng thời, cơ sở y tế cần phân công bộ phận chịu trách nhiệm kiểm duyệt và cập nhật dữ liệu định kỳ.

3. Yêu cầu AI trả lời dựa trên thông tin có căn cứ

Hệ thống nên ưu tiên câu trả lời có thể đối chiếu với nguồn thông tin chính thức. Khi không tìm thấy dữ liệu phù hợp, AI cần thông báo giới hạn thay vì tự suy đoán.

Một phương pháp hỗ trợ là RAG (tạo sinh kết hợp truy xuất thông tin), cho phép AI tìm kiếm nội dung trong kho tri thức trước khi tạo câu trả lời. Tuy nhiên, RAG chỉ giúp giảm nguy cơ hallucination, không đảm bảo loại bỏ hoàn toàn sai sót.

4. Thiết lập cơ chế chuyển tiếp cho nhân viên y tế

Những câu hỏi về triệu chứng nghiêm trọng, thuốc hoặc điều trị cần được chuyển đến nhân viên y tế theo quy trình phù hợp.

Cơ chế này giúp hạn chế AI xử lý vượt phạm vi cho phép, đồng thời bảo đảm những tình huống cần chuyên môn được tiếp nhận đúng bộ phận.

5. Kiểm thử AI bằng các tình huống thực tế

Trước khi triển khai, bệnh viện nên xây dựng bộ câu hỏi kiểm thử gồm thông tin thường gặp, câu hỏi thiếu dữ liệu, nội dung mâu thuẫn và yêu cầu vượt phạm vi.

Kết quả kiểm thử giúp phát hiện câu trả lời không có căn cứ, đánh giá khả năng từ chối và điều chỉnh hệ thống trước khi phục vụ bệnh nhân.

6. Theo dõi và cải thiện chất lượng phản hồi

Sau triển khai, cơ sở y tế cần định kỳ đánh giá tỷ lệ câu trả lời sai, phản hồi không có căn cứ và các trường hợp chuyển tiếp không phù hợp.

Dựa trên kết quả, bệnh viện có thể cập nhật dữ liệu, điều chỉnh quy tắc xử lý và cải thiện chất lượng phản hồi. Việc giám sát cần được duy trì trong suốt quá trình vận hành, thay vì chỉ thực hiện ở giai đoạn thử nghiệm.

Những nghiệp vụ y tế nào nên và không nên giao cho AI?

Không phải nghiệp vụ nào trong bệnh viện cũng phù hợp để AI tự động xử lý. AI nên được ưu tiên cho các tác vụ hành chính có quy trình rõ ràng, trong khi những hoạt động liên quan trực tiếp đến sức khỏe và quyết định điều trị cần được kiểm soát chặt chẽ.

Lưu ý: Mức rủi ro trong bảng mang tính định tính, phục vụ lựa chọn nghiệp vụ triển khai AI; không phải thang đánh giá rủi ro lâm sàng chính thức.

Với những nghiệp vụ có nguy cơ cao, AI có thể hỗ trợ tra cứu hoặc tổng hợp thông tin nhưng không thay thế trách nhiệm chuyên môn của bác sĩ.

Bệnh viện nên bắt đầu từ các tác vụ có dữ liệu xác thực, quy trình rõ ràng và mức độ ảnh hưởng thấp. Chẳng hạn, AI đặt lịch khám cần kiểm tra khung giờ trên hệ thống được kết nối và chỉ xác nhận lịch hẹn sau khi có kết quả hợp lệ. Sau khi kiểm chứng độ chính xác và khả năng kiểm soát, cơ sở y tế mới cân nhắc mở rộng sang những nghiệp vụ phức tạp hơn.

Tiêu chí lựa chọn giải pháp AI y tế để hạn chế hallucination

Khi lựa chọn giải pháp AI trong y tế, bệnh viện và phòng khám không nên chỉ đánh giá khả năng trả lời nhanh hay tự động hóa nhiều nghiệp vụ. Quan trọng hơn là khả năng kiểm soát thông tin, xử lý tình huống ngoài phạm vi và bảo vệ dữ liệu người bệnh.

Dưới đây là 6 tiêu chí cần xem xét khi đánh giá nhà cung cấp:

1. Nguồn dữ liệu rõ ràng: Giải pháp cần cho phép sử dụng tài liệu chuyên môn, quy trình và thông tin dịch vụ đã được cơ sở y tế xác nhận, đồng thời hỗ trợ cập nhật khi có thay đổi.
2. Kiểm soát phạm vi trả lời: Bệnh viện có thể quy định những nội dung AI được phép hỗ trợ và các yêu cầu phải chuyển cho nhân viên y tế.
3. Xử lý câu hỏi không đủ căn cứ: Khi thiếu thông tin, AI cần có khả năng yêu cầu làm rõ, từ chối trả lời hoặc chuyển tiếp thay vì tự suy đoán.
4. Tích hợp hệ thống: Đánh giá khả năng kết nối lịch khám, dữ liệu dịch vụ và các hệ thống nghiệp vụ trong phạm vi được cấp quyền để hạn chế thông tin không nhất quán.
5. Giám sát và truy vết: Giải pháp nên hỗ trợ theo dõi lịch sử phản hồi, kiểm tra nguồn thông tin và phát hiện những câu trả lời cần điều chỉnh.
6. Bảo mật và phân quyền: Cần có cơ chế kiểm soát truy cập, bảo mật dữ liệu y tế khi ứng dụng AI và giới hạn thông tin AI được phép sử dụng.

3 câu hỏi nên đặt cho nhà cung cấp AI

Trước khi quyết định triển khai, cơ sở y tế nên yêu cầu nhà cung cấp làm rõ:

• Khi không tìm thấy thông tin trong nguồn dữ liệu, AI sẽ phản hồi như thế nào?
• Có thể kiểm tra nguồn thông tin được sử dụng để tạo câu trả lời không?
• Bệnh viện có thể kiểm thử, giám sát và điều chỉnh phạm vi hoạt động của AI như thế nào?

Không phải giải pháp AI nào cũng đáp ứng đầy đủ các tiêu chí trên. Vì vậy, bệnh viện nên yêu cầu trình diễn trên tình huống thực tế và kiểm chứng khả năng kiểm soát trước khi triển khai rộng rãi.

Ứng dụng AI trong y tế cùng Bizfly

Bizfly cung cấp các giải pháp AI hỗ trợ doanh nghiệp trong Marketing, bán hàng, chăm sóc khách hàng và vận hành. Đối với bệnh viện và phòng khám, việc ứng dụng AI có thể giúp giảm tải các công việc lặp lại, nâng cao khả năng tiếp nhận yêu cầu và cải thiện trải nghiệm người bệnh.

Tùy theo nhu cầu, cơ sở y tế có thể xem xét các giải pháp do Bizfly cung cấp:

• Chatbot AI: Hỗ trợ giải đáp câu hỏi thường gặp, cung cấp thông tin dịch vụ, hướng dẫn thủ tục và tiếp nhận yêu cầu đặt lịch khám.
• Tổng đài AI y tế: Hỗ trợ tiếp nhận cuộc gọi, tư vấn thông tin hành chính và xử lý các yêu cầu chăm sóc bệnh nhân qua điện thoại.
• AI Agent trong y tế: Hỗ trợ tự động hóa những quy trình phù hợp, kết nối các bước xử lý và phối hợp với hệ thống nghiệp vụ khi được cấu hình, tích hợp.

Để hạn chế nguy cơ AI hallucination trong y tế, bệnh viện cần đánh giá nguồn dữ liệu, phạm vi AI được phép xử lý, khả năng tích hợp và cơ chế chuyển tiếp cho nhân viên trước khi triển khai. Các yêu cầu liên quan đến chẩn đoán và điều trị vẫn cần được kiểm soát bởi người có chuyên môn.

Liên hệ Bizfly để được tư vấn giải pháp AI phù hợp với quy trình chăm sóc khách hàng và vận hành của bệnh viện, phòng khám.

Câu hỏi thường gặp về AI hallucination trong y tế

AI hallucination trong y tế có thể được loại bỏ hoàn toàn không?

Hiện chưa thể đảm bảo loại bỏ hoàn toàn hallucination ở các hệ thống AI tạo sinh. Bệnh viện có thể giảm nguy cơ bằng cách sử dụng nguồn dữ liệu đáng tin cậy, giới hạn phạm vi trả lời, kiểm thử và giám sát thường xuyên.

Chatbot AI trong bệnh viện có thể cung cấp thông tin sai không?

Có. Chatbot AI có thể đưa ra câu trả lời thiếu căn cứ, sử dụng dữ liệu lỗi thời hoặc hiểu sai câu hỏi. Vì vậy, những nội dung liên quan đến thuốc, chẩn đoán và điều trị cần được kiểm soát bởi nhân viên có chuyên môn.

Làm thế nào để đánh giá mức độ hallucination của AI?

Cơ sở y tế có thể xây dựng bộ câu hỏi kiểm thử và đối chiếu câu trả lời với nguồn thông tin đã xác thực. Các chỉ số nên theo dõi gồm tỷ lệ phản hồi không có căn cứ, tỷ lệ trả lời sai và khả năng chuyển tiếp khi AI không đủ thông tin.

RAG có giúp giảm AI hallucination trong y tế không?

Có thể. RAG giúp AI truy xuất thông tin từ nguồn tài liệu phù hợp trước khi tạo câu trả lời, qua đó hỗ trợ giảm nguy cơ đưa ra nội dung không có căn cứ. Tuy nhiên, hiệu quả còn phụ thuộc vào chất lượng dữ liệu, khả năng truy xuất và cơ chế kiểm chứng.

AI hallucination trong y tế là rủi ro cần được kiểm soát để bảo đảm độ tin cậy của thông tin và an toàn người bệnh. Hiệu quả ứng dụng AI không chỉ phụ thuộc vào công nghệ mà còn ở chất lượng dữ liệu, phạm vi xử lý và cơ chế giám sát. Vì vậy, bệnh viện và phòng khám nên bắt đầu từ những nghiệp vụ phù hợp, thử nghiệm có kiểm soát và đánh giá chất lượng phản hồi trước khi mở rộng triển khai.