일부 사용자는 X가 모델을 훈련하는 사람일 때 X가 Grok의 출력에 대해 사용자에게 책임을 물을 수 있는 방법에 초점을 맞추고 있는 반면, 다른 사용자는 X가 Grok이 생성할 수 있을 것으로 보이는 불법 콘텐츠를 정확히 어떻게 조정할 계획인지 의문을 제기합니다.
X는 플랫폼에 게시된 CSAM을 조정하는 방법에 대해 훨씬 더 투명합니다. 지난 9월 X Safety는 "CSAM 콘텐츠에 대해 무관용 정책"을 갖고 있다고 보고했으며, 그 중 대부분은 알려진 CSAM을 사전에 신고하기 위해 독점적인 해시 기술을 사용하여 "자동으로" 감지됩니다.
이 시스템에 따라 지난해 450만 개 이상의 계정이 정지됐고, X는 '수십만' 장의 이미지를 국립실종학대아동센터(NCMEC)에 신고했다. 다음 달 X 안전 책임자 카일리 맥로버츠(Kylie McRoberts)는 “2024년 X가 NCMEC에 제출한 309건의 신고가 10건의 체포와 그에 따른 유죄 판결로 이어졌다”고 밝혔고, 2025년 상반기에는 “170건의 신고가 체포로 이어졌다”고 확인했다.
X Safety는 "명확한 CSAM 자료를 식별하면 신속하게 조치를 취하고 대부분의 경우 계정을 영구적으로 정지하여 플랫폼에서 콘텐츠를 자동으로 제거합니다"라고 말했습니다. "그런 다음 우리는 정의를 추구하고 아동을 보호하기 위해 영국을 포함해 전 세계적으로 법 집행 기관과 협력하는 NCMEC에 해당 계정을 보고합니다."
당시 X는 "CSAM 근절 임무"에서 "확고함을 유지"하겠다고 약속했지만, 확인하지 않은 채로 두면 Grok의 유해한 출력으로 인해 이 시스템이 자동으로 감지하지 못하는 새로운 종류의 CSAM이 생성될 위험이 있습니다. X에서 일부 사용자는 플랫폼이 잠재적으로 불법적인 Grok 출력을 표시하는 데 도움이 되는 보고 메커니즘을 늘려야 한다고 제안했습니다.
X Safety의 대응에서 문제가 될 정도로 모호한 또 다른 측면은 X가 불법 콘텐츠나 CSAM에 사용하는 정의라고 일부 X 사용자가 제안했습니다. 플랫폼 전체에서 모든 사람이 무엇이 해로운지에 대해 동의하는 것은 아닙니다. 일부 비평가들은 Grok이 동의 없이 의사나 변호사를 포함한 공인을 성적 대상으로 삼는 비키니 이미지를 생성하는 것에 대해 우려하는 반면, Musk를 포함한 다른 사람들은 비키니 이미지를 농담으로 간주합니다.
AI가 생성한 CSAM에서 정확히 X가 선을 긋는 위치는 이미지가 빠르게 제거되는지 또는 반복적인 위반자가 감지되어 정지되는지 여부를 결정할 수 있습니다. 확인하지 않은 채로 남겨진 계정이나 콘텐츠는 Grok에게 메시지를 보내는 데 이미지가 사용될 수 있는 실제 어린이에게 잠재적으로 충격을 줄 수 있습니다. 그리고 만약 Grok이 가짜 CSAM으로 인터넷을 범람시키는 데 사용된다면, 최근 역사에 따르면 법 집행 기관이 실제 아동 학대 사건을 조사하기가 더 어려워질 수 있습니다.