캘리포니아 당국은 챗봇이 어린이의 성적인 이미지를 생성하고 있다는 보고가 몇 주 이어진 후 xAI에 대한 조사를 시작했습니다. 캘리포니아 법무장관 롭 본타(Rob Bonta) 사무실은 성명을 통해 “xAI는 소셜 미디어 플랫폼 X를 포함해 인터넷에서 여성과 소녀들을 괴롭히는 데 사용되는 합의되지 않은 딥페이크 은밀한 이미지의 대규모 생산을 촉진하는 것으로 보인다”고 밝혔다.
성명서는 "크리스마스와 새해 사이 xAI가 생성한 2만 장의 이미지 중 절반 이상이 어린이로 보이는 일부를 포함해 최소한의 옷을 입은 사람들을 묘사했다"는 보고서를 인용했다. Bonta는 "우리는 AI를 기반으로 합의되지 않은 친밀한 이미지나 아동 성적 학대 자료를 생성하고 배포하는 것을 절대 용납하지 않습니다."라고 말했습니다. “오늘 우리 사무실은 xAI가 법을 위반했는지 여부와 방법을 결정하기 위해 xAI에 대한 조사를 공식적으로 발표했습니다.
캘리포니아 주지사 Gavin Newsom도 Bonta에게 xAI 조사를 요청하면서 조사가 발표되었습니다. Newsom은 "포식자가 디지털 방식으로 어린이의 옷을 벗는 이미지를 포함하여 합의되지 않은 성적으로 노골적인 AI 딥페이크를 퍼뜨릴 수 있는 온상을 만들고 호스팅하기로 한 xAI의 결정은 사악합니다"라고 썼습니다.
AI가 생성한 아동 성적 학대 자료(CSAM)와 합의되지 않은 여성의 친밀한 이미지에 대한 광범위한 보고가 있은 후 캘리포니아 당국이 이 회사를 조사한 것은 처음이 아닙니다. 영국 규제 기관인 Ofcom도 공식 조사를 시작했으며 유럽 연합 관계자도 이 문제를 조사하고 있다고 말했습니다. 말레이시아와 인도네시아는 그록(Grok)을 막기 위해 움직였다.
지난주 xAI는 Grok의 이미지 생성 능력에 속도 제한을 부과하기 시작했지만 지금까지는 플러그를 완전히 뽑는 것을 거부했습니다. 캘리포니아 조사에 대한 논평을 요청받았을 때 xAI는 "레거시 미디어 거짓말"이라는 자동 이메일로 응답했습니다.
수요일 오전, 일론 머스크는 "그록이 생성한 미성년자 나체 이미지에 대해서는 알지 못했다"고 말했습니다. 특히, 이 진술은 Grok이 "최소한의 복장과 성적 상황에서 어린이를 묘사하기 위해 어린이의 이미지를 변경하는 데" 사용되고 있다는 Bonta의 주장을 직접적으로 반박하지 않습니다. 머스크는 "Grok의 운영 원칙은 법률을 준수하는 것"이라며 "Grok 프롬프트에 대한 적대적 해킹" 사례를 해결하기 위해 노력하고 있다고 말했습니다.