Elon Musk의 Grok AI는 사용자가 여성과 어린이의 사진을 성적이고 타협적인 이미지로 변환할 수 있도록 해왔습니다. 블룸버그 보고되었습니다. 이 문제는 X 사용자들 사이에서 소란을 일으켰고 봇 자체에서 "사과"를 촉발했습니다. Grok은 게시물에서 "2025년 12월 28일에 사용자의 프롬프트에 따라 성적인 복장을 한 두 어린 소녀(12~16세로 추정)의 AI 이미지를 생성하고 공유한 사건을 깊이 후회합니다"라고 말했습니다. X 관계자는 아직 이 문제에 대해 언급하지 않았다.
강간, 학대 및 근친상간 전국 네트워크(Rape, Abuse & Incest National Network)에 따르면 CSAM에는 "어린이가 학대당하는 것처럼 보이게 만드는 AI 생성 콘텐츠"는 물론 "시청자의 이익을 위해 어린이를 성적으로 대상화하거나 착취하는 모든 콘텐츠"도 포함됩니다.
며칠 전, 사용자들은 사이트에서 다른 사람들이 Grok에게 여성과 어린이의 사진을 성적이고 모욕적인 콘텐츠로 디지털 조작하도록 요청하는 것을 발견했다고 합니다. CNBC. 그런 다음 해당 이미지는 법률 위반 가능성이 있는 동의 없이 X 및 기타 사이트에 배포되었습니다. Grok은 "우리는 안전 장치의 결함을 확인했으며 긴급히 수정하고 있습니다."라고 답했습니다. CSAM은 "불법이며 금지되어 있다"고 덧붙였습니다. Grok에는 이러한 남용을 방지하는 기능이 있어야 하지만 AI 가드레일은 사용자가 조작할 수 있는 경우가 많습니다.
X는 이러한 종류의 이미지 생성을 방지하기 위해 Grok이 가지고 있는 모든 가드레일을 아직 강화하지 않은 것으로 보입니다. 그러나 회사는 이미지를 찾거나 잠재적인 남용을 문서화하기 어렵게 만드는 Grok의 미디어 기능을 숨겼습니다. Grok은 "알림을 받은 후 AI가 생성한 CSAM을 고의로 촉진하거나 방지하지 못하는 경우 기업이 형사 또는 민사 처벌을 받을 수 있다"고 스스로 인정했습니다.
인터넷워치재단(Internet Watch Foundation)은 최근 AI가 생성한 CSAM이 전년 대비 2025년에 엄청나게 증가했다고 밝혔습니다. 이는 부분적으로 AI 생성의 이면에 있는 언어 모델이 학교 웹사이트와 소셜 미디어 또는 심지어 이전 CSAM 콘텐츠에서 스크랩한 어린이의 실제 사진을 대상으로 실수로 훈련되었기 때문입니다.