국립실종착취아동센터(National Center for Missing and Exploited Children)는 2025년에 AI 관련 아동 성적 학대 자료(CSAM)에 대한 신고가 100만 건 이상 접수됐다고 밝혔습니다. 아마존 조사에 따르면 해당 콘텐츠의 '대다수'는 훈련 데이터에서 해당 자료를 발견한 아마존이 신고한 것입니다. 블룸버그. 또한 아마존은 AI 서비스 훈련에 사용된 외부 소스로부터 부적절한 콘텐츠를 입수했다고만 밝혔으며 CSAM의 출처에 대한 자세한 내용은 제공할 수 없다고 주장했습니다.
NCMEC CyberTipline의 전무이사인 Fallon McNulty는 "이것은 정말 이상치입니다."라고 말했습니다. 블룸버그. CyberTipline은 다양한 유형의 미국 기반 회사가 의심스러운 CSAM을 신고하도록 법적으로 요구하는 곳입니다. "1년 내내 그렇게 많은 양이 들어오기 때문에 데이터가 어디서 왔는지, 어떤 보호 장치가 마련되었는지에 대해 많은 의문이 생깁니다." 그녀는 Amazon 외에도 조직이 작년에 다른 회사로부터 받은 AI 관련 보고서에는 다음 단계를 위해 법 집행 기관에 전달할 수 있는 실행 가능한 데이터가 포함되어 있다고 덧붙였습니다. McNulty는 Amazon이 출처를 공개하지 않기 때문에 해당 보고서가 "실행 불가능"한 것으로 판명되었다고 말했습니다.
아마존 대변인은 성명을 통해 “우리는 알려진 아동 성적 학대 자료를 식별 및 제거하고 고객을 보호하기 위해 공개 웹의 데이터를 포함한 기초 모델 훈련 데이터를 스캔하는 데 의도적으로 신중한 접근 방식을 취하고 있다”고 밝혔다. 블룸버그. 대변인은 또한 아마존이 사례 누락을 피하기 위해 수치를 NCMEC에 과도하게 보고하는 것을 목표로 삼았다고 말했습니다. 회사는 훈련 데이터를 AI 모델에 공급하기 전에 의심되는 CSAM 콘텐츠를 제거했다고 밝혔습니다.
미성년자를 위한 안전 문제는 최근 몇 달 동안 인공지능 산업의 중요한 관심사로 떠올랐습니다. CSAM은 NCMEC 기록에서 급증했습니다. 작년에 조직이 접수한 100만 개가 넘는 AI 관련 보고서와 비교하면 2024년에는 총 67,000개의 보고서가 있었고 2023년에는 4,700개의 보고서만 접수되었습니다.
모델 훈련에 악의적인 콘텐츠가 사용되는 등의 문제 외에도 AI 챗봇은 젊은 사용자와 관련된 여러 가지 위험하거나 비극적인 사건에 연루되어 있습니다. OpenAI와 Character.AI는 십대들이 해당 회사의 플랫폼을 사용하여 자살을 계획한 후 고소당했습니다. Meta는 또한 챗봇과의 성적으로 노골적인 대화로부터 청소년 사용자를 보호하지 못한 혐의로 고소당하고 있습니다.