그러나 건강 목표를 지원한다는 OpenAI의 이야기에도 불구하고 회사의 서비스 약관에는 ChatGPT 및 기타 OpenAI 서비스가 "어떤 건강 상태의 진단이나 치료에 사용하기 위한 것이 아니다"라고 직접적으로 명시되어 있습니다.
ChatGPT Health에서는 정책이 변경되지 않는 것 같습니다. OpenAI는 발표에서 "건강은 의료를 대체하는 것이 아니라 지원하기 위해 설계되었습니다. 진단이나 치료를 위한 것이 아닙니다. 대신 일상적인 질문을 탐색하고 질병의 순간뿐만 아니라 시간 경과에 따른 패턴을 이해하는 데 도움이 되므로 더 많은 정보를 얻고 중요한 의료 대화에 대비할 수 있습니다."라고 썼습니다.
Sam Nelson의 죽음에 대한 SFGate 보고서는 면책조항을 유지하는 것이 법적으로 중요한 이유를 보여줍니다. 간행물에서 검토한 채팅 로그에 따르면 Nelson은 2023년 11월 처음으로 기분전환용 약물 투여에 대해 ChatGPT에 문의했습니다. AI 보조원은 처음에는 이를 거부하고 그를 의료 전문가에게 안내했습니다. 그러나 18개월이 넘는 대화 끝에 ChatGPT의 반응이 바뀌었다고 합니다. 결국 챗봇은 그에게 "그렇습니다. 완전 삼중 모드로 갑시다"라고 말하고 기침 시럽 섭취량을 두 배로 권장했습니다. 그의 어머니는 그가 중독 치료를 시작한 다음 날 과다 복용으로 사망한 것을 발견했습니다.
Nelson의 사례에는 ChatGPT Health가 연결하는 유형과 같은 의사가 승인한 의료 지침 분석이 포함되지 않았습니다. 그의 사례는 독특한 것이 아닙니다. 많은 사람들이 부정확한 정보를 제공하거나 격려하는 챗봇에 의해 오해를 받았기 때문입니다. 과거에 다루었듯이 위험한 행동입니다.
그 이유는 AI 언어 모델이 쉽게 구성되어 일부 사용자가 사실과 허구를 구별하기 어렵게 만드는 그럴듯하지만 잘못된 정보를 생성할 수 있기 때문입니다. ChatGPT와 같은 서비스를 제공하는 AI 모델은 학습 데이터(책의 텍스트, YouTube 성적표, 웹사이트 등)의 통계적 관계를 사용하여 반드시 정확한 응답이 아닌 그럴듯한 응답을 생성합니다. 또한 ChatGPT의 출력은 누가 챗봇을 사용하고 있는지, 사용자의 채팅 기록(이전 채팅에 대한 메모 포함)에서 이전에 발생한 내용에 따라 크게 달라질 수 있습니다.