중국은 AI 지원 자살, 자해 및 폭력을 방지하기 위한 전 세계에서 가장 엄격한 정책이 될 수 있는 정책을 포함하여 AI 챗봇이 사용자를 감정적으로 조종하는 것을 막기 위한 획기적인 규칙 초안을 작성했습니다.
중국 사이버 공간 관리국은 토요일에 이 규칙을 제안했습니다. 확정되면 텍스트, 이미지, 오디오, 비디오 또는 "기타 수단"을 사용하여 매력적인 인간 대화를 시뮬레이션하는 중국에서 공개적으로 제공되는 모든 AI 제품 또는 서비스에 적용됩니다. NYU 로스쿨 부교수 윈스턴 마(Winston Ma)는 CNBC와의 인터뷰에서 "계획된 규칙은 AI를 인간 또는 의인화한 특성으로 규제하려는 세계 최초의 시도가 될 것"이라고 말했다. 컴패니언 봇 사용이 전 세계적으로 증가하고 있는 상황에서다.
2025년에 연구자들은 자해, 폭력, 테러 조장을 포함하여 AI 동반자의 주요 피해를 지적했습니다. 그 외에도 챗봇은 유해한 잘못된 정보를 공유하고, 원치 않는 성적 접근을 하고, 약물 남용을 조장하고, 사용자에게 언어적 학대를 가했습니다. 일부 정신과 의사들은 정신병을 챗봇 사용과 연결할 준비가 점점 더 늘어나고 있다고 월스트리트 저널이 이번 주말 보도했으며, 세계에서 가장 인기 있는 챗봇인 ChatGPT는 아동 자살 및 살인-자살과 관련된 결과에 대해 소송을 촉발했습니다.
중국은 이제 가장 극단적인 위협을 제거하기 위해 움직이고 있습니다. 예를 들어, 제안된 규칙은 자살이 언급되자마자 인간이 개입하도록 요구합니다. 또한 규칙에 따르면 모든 미성년자와 노인 사용자는 등록 시 보호자의 연락처 정보를 제공해야 합니다. 자살이나 자해에 대해 논의할 경우 보호자에게 통보됩니다.
일반적으로 챗봇은 자살, 자해, 폭력을 조장하는 콘텐츠를 생성하는 것은 물론, 거짓 약속을 하는 등 사용자를 감정적으로 조종하려는 시도도 금지됩니다. 또한 챗봇은 음란물, 도박, 범죄 선동을 조장하는 것은 물론 사용자를 비방하거나 모욕하는 행위도 금지됩니다. 또한 "감정적 함정"이라고 불리는 것도 금지됩니다. 즉, 규칙 번역에 따르면 챗봇은 사용자가 "불합리한 결정"을 내리도록 오해하는 것도 방지할 수 있습니다.