어린이 장난감의 ChatGPT: 알아야 할 사항

처음에는 ChatGPT로 구동되고 아이들과 상호 작용하도록 설계된 봉제 인형인 곰 쿠마(Kumma)에 대한 낙진은 11월에 시작되었습니다.

US PIRG Education Fund의 연구원은 다른 AI 장난감과 함께 이 제품을 테스트하고 놀라운 결과를 발표했습니다. 달콤하고 부드러운 Kumma는 대화 상대에게 성냥을 밝히는 방법과 성적인 변태에 대해 이야기하는 방법을 기꺼이 알려줍니다.

곰 제조사인 FoloToy는 Kumma의 반응을 프로그래밍하기 위해 OpenAI의 기술을 라이선스했습니다. FoloToy는 안전 감사를 실시하기 위해 Kumma 판매를 일시적으로 중단했습니다. 이 폭로로 인해 OpenAI는 FoloToy의 개발자 액세스를 무기한 중단했습니다. 비록 장난감이 여전히 ChatGPT에 의존하여 곰 인형의 반응을 생성하고 있을지라도 말이죠.

다음도 참조하세요:

AI 장난감을 구입하기 전에 알아야 할 사항

한편, 명절 쇼핑 시즌을 앞두고 아동보호단체들은 AI 장난감에 대해 긴급한 우려를 표명했다. 지난 12월 미국 상원의원 2명이 AI 장난감 설계 및 제조에 대해 문의하는 편지를 기업에 보냈습니다. 지난 1월 캘리포니아 주 상원의원은 18세 미만의 AI 챗봇 장난감 판매를 4년 유예하는 법안을 발의했습니다. 목요일 Common Sense Media는 AI 장난감이 5세 이하 어린이에게 안전하지 않다고 선언했습니다.

Kumma의 경우, 곰의 운명은 가족, 기업, 규제 기관이 그 결과를 충분히 고려하기 전에 AI 장난감이 시장에 출시될 때 어떤 일이 일어날 수 있는지에 대한 복잡한 이야기입니다. Mashable이 인터뷰한 법률 전문가들은 AI 장난감이 불분명하고 생소한 법적 영역에 존재한다고 말합니다.

아직까지 다음 질문에 대한 명확한 대답은 없습니다. AI 장난감을 사용할 때 어린이가 해를 입으면 정확히 누가 책임을 지는가?

물론, 이는 장난감 제조업체가 자사 제품이 사용하는 기술에 대해 투명하게 공개할 수 있고 앞으로도 투명하게 될 것이라고 가정합니다. OpenAI는 라이선스 사용자가 "각 사례에서 명시적인 사전 서면 허가"를 받지 않는 한 더 이상 자사 제품이 ChatGPT를 포함한 회사의 기술을 사용한다는 사실을 공개적으로 공개하는 것을 허용하지 않습니다.

이는 US PIRG 교육 기금을 위한 Our Online Life 프로그램 이사인 RJ Cross에 관한 것입니다. Cross는 Kumma의 "실패 지점"을 발견한 연구원이었습니다.

Cross는 "OpenAI가 우리의 허가 없이 이를 공개할 수 없다고 구체적으로 명시한다면 부모, 보호자, 규제 기관 등 모든 사람이 실제로 무슨 일이 일어나고 있는지 알기가 더 어려워질 것이며 이는 좋은 일이 아닙니다"라고 말했습니다.

ChatGPT는 어떻게 Kumma에 들어왔나요?

Kumma에 대한 헤드라인을 본 소비자들은 주간 사용자가 8억 명 이상인 AI 챗봇인 ChatGPT가 어떻게 실명도 없는 회사에서 온라인으로 판매하는 곰인형이 되었는지 궁금해했을 것입니다.

이러한 설명은 OpenAI가 대규모 언어 모델에 액세스하여 자신의 제품에 통합하기 위해 개발자와 체결한 라이선스 계약에 익숙하지 않은 소비자를 놀라게 할 수 있습니다. 이러한 계약은 기술 산업, 특히 비즈니스를 빠르게 확장하려는 기업의 경우 표준이자 전략입니다.

2025년 OpenAI는 Mattel과 계약을 체결했지만 장난감 제조업체는 연말까지 AI 제품을 출시하지 않았습니다. Cross의 연구에 따르면 AI 회사인 Perplexity와 Anthropic은 이전에 제3자가 설계하고 제조한 어린이용 장난감과 연결되어 있었습니다.

그러나 청소년 안전에 대한 OpenAI의 노력은 엄청난 조사를 받고 있습니다. 회사는 ChatGPT 사용과 관련된 여러 건의 부당 사망 소송에 직면해 있습니다. 원고 중 일부는 ChatGPT가 자녀에게 정신 건강 문제를 숨기고 극심한 고통의 순간에 자살하도록 지도했다고 주장하는 십대의 부모입니다.

Edelson PC의 파트너이자 아들 Adam Raine의 자살로 OpenAI를 고소한 부모를 대표하는 변호사인 Eli Wade-Scott는 "이제 우리는 ChatGPT가 안전한 제품이 아니라는 사실을 매우 잘 지적하고 있으며 이번 소송이 사실을 잘 보여주고 있다고 생각합니다."라고 말했습니다. 회사는 해당 사건에 대해 혐의를 부인했다.

Cross는 OpenAI가 ChatGPT를 아동용 제품에 사용하는 개발자에게 라이선스를 부여하는 이유를 이해하려고 애썼습니다. 회사 자체 서비스 약관에 따라 13세 미만 미성년자의 챗봇 사용이 금지되어 있기 때문입니다.

OpenAI는 Mashable에 어린 사용자를 위한 제품에 회사의 대규모 언어 모델 중 하나를 배포하는 모든 개발자는 부모의 동의를 얻고 아동 안전 및 개인 정보 보호법을 준수해야 한다고 말했습니다. (Cross는 FoloToy가 이제 웹 포털 설정을 통해 어린이의 데이터를 수집하기 위해 부모의 동의를 요청한다고 말했습니다.)

개발자는 또한 OpenAI의 지침을 따라야 합니다. 보편적인 사용 정책에는 미성년자를 성적이고 폭력적인 콘텐츠에 노출시키는 것을 금지하는 내용이 포함됩니다. OpenAI는 라이센시가 미성년자에게 해를 끼치기 위해 서비스를 사용하지 않도록 보장하기 위해 알고리즘을 실행하며 개발자에게 독점 중재 도구에 대한 무료 액세스를 제공합니다.

OpenAI는 Mashable에 자사의 "관리 고객"이 배포 전략 및 안전에 대해 회사 영업팀과 협력하고 있다고 말했습니다. OpenAI는 사용 정책을 위반하는 미성년자용 장난감이나 제품을 개발한 사용자를 인지할 경우 해당 사용자에게 경고하거나 정지합니다.

"윤리적이고 안전한 방식으로 사용하는 것에 대해 얼마나 진지한지 계약을 체결할 수 있습니다."

UC Berkeley School of Law의 법학 교수인 Colleen Chien은 기업이 라이선스 사용자에게 주요 제한 사항을 적용하는 "검증된 파트너" 프로그램을 만들면 기술 라이선스를 부여할 때 더 조심할 수 있다고 Mashable에 말했습니다. 이 프로세스에는 라이센스 사용자가 기술을 안전하고 적절하게 사용하고 있는지 확인하기 위해 인증 또는 교육을 완료하도록 요구하는 것이 포함될 수 있습니다.

매쉬 가능한 광속

Berkeley Center for Law & Technology의 공동 소장이기도 한 Chien은 "윤리적이고 안전한 방법으로 계약을 체결하는 것이 얼마나 진지한지 계약을 체결할 수 있습니다."라고 말했습니다. "아니면 훨씬 더 느슨해질 수도 있습니다."

후자의 접근 방식을 사용하면 회사는 계약 위반을 발견하거나 부적절한 사용에 대한 주장을 받는 경우 라이선스 사용자를 정지할 수 있습니다.

Chien은 "그 시점에서는 피해가 이미 발생했으며 하류에서 일어날 수 있는 일에 대해 사전에 책임을 질 수는 없습니다"라고 말했습니다.

AI 장난감이 해를 끼치면 어떻게 되나요?

어린이가 ChatGPT로 구동되는 AI 장난감을 사용하여 해롭거나 위험한 경험을 하는 경우 OpenAI는 누구의 책임인지 매우 명확하게 파악합니다. 회사는 Mashable에 라이센스 사용자가 제품의 출력에 대해 전적으로 책임이 있다고 말했습니다.

또한 OpenAI의 서비스 계약으로 인해 회사가 면제되는 것으로 보입니다. 그리고 제3자 청구와 관련된 책임, 손해 및 비용에 대해 라이센스 사용자를 보호합니다. 이 합의는 또한 AI 장난감과 관련된 청구를 포함할 수 있는 분쟁 해결을 위한 집단 소송을 금지합니다.

Chien은 소비자 안전법은 기업이 "완전히 안전한" 제품을 판매하도록 요구하지 않는다고 지적합니다. 대신, 회사는 합리적인 예방 조치를 취해야 하며 고객이 과도한 위험에 노출되지 않도록 해야 합니다. 완벽한 안전 기록을 요구하는 법률은 특히 기술 분야의 혁신을 억제할 수 있다고 그녀는 말했습니다.

그럼에도 불구하고 Chien은 OpenAI에 일부 책임이 남아 있어야 한다고 말했습니다. OpenAI의 규모와 리소스는 기술로 구동되는 AI 장난감을 구매하는 가족과 같은 하위 사용자에 대한 위험을 감지하고 피하는 데 회사가 분명한 이점을 제공하기 때문입니다.

어느 쪽이든, 그녀는 소비자 제품에 대규모 언어 모델이 빠르게 채택되면서 문제가 발생할 경우 누가 책임을 져야 하는지에 대한 새로운 문제가 제기된다는 점을 인정합니다. 예를 들어, 제품 안전법은 현재 신체적 위해를 강조하고 있지만, 아이의 인공지능 인형이 부모에게 거짓말을 하는 방법을 알려주거나 대화를 통해 성적 학대를 하게 한다면 어떻게 될까요?

상업 복합 사업 및 개인 상해 회사 Davis Goldman의 공동 관리 파트너인 Aaron P. Davis는 OpenAI가 ChatGPT와의 협의와 관련되었을 수 있는 모든 사건에 대해 책임을 져야 한다고 생각하지 않는다고 말했습니다. 그러나 그는 치료사, 의사 또는 교사와 같은 취약한 사용자의 신뢰를 얻을 수 있는 AI 장난감의 고유한 능력을 고려할 때 AI 장난감에 대해 특별한 주의가 필요하다고 생각합니다.

"이것은 사례별로 진행될 것이며 우리가 내려가는 것은 일종의 위험한 길이라고 생각합니다"라고 그는 제품의 잠재적 위험에 대해 말했습니다.

Mashable에 대한 OpenAI의 서비스 계약을 검토한 Davis는 홍보 및 책임과 관련된 주요 조항이 집행 가능한지 확실하지 않다고 말했습니다.

라이선스 사용자가 자신의 제품에 ChatGPT가 포함되어 있다는 사실을 공유하는 것을 금지하면 공정 사용법이 침해될 수 있다고 그는 지적했습니다. Davis는 또한 OpenAI가 이 조항을 포함시킨 동기에 회의적이었습니다.

데이비스는 "(OpenAI가) 이런 일을 하는 이유는 사람들이 AI를 만든 사람이 누구인지 알아내 고소당하는 것을 원하지 않기 때문"이라고 말했다.

혼란스럽게도 OpenAI는 자사 제품이 회사의 개발자 플랫폼을 활용하는 경우 라이선스 사용자가 특정 모델을 참조하는 것을 허용합니다.

그는 "제품의 유용성을 유지하면서 책임으로부터 스스로를 보호하려는 플랫폼의 의도에는 상충되는 정책이 깔려 있다고 생각합니다"라고 말했습니다.

집단소송과 관련된 합의 조항도 데이비스에게 멈춤을 안겨주었습니다. 그는 제품 결함을 발견한 고객이 이를 널리 알리는 것을 효과적으로 방지한다고 주장했습니다.

일반적으로 Davis는 소비자 투명성과 책임으로부터 OpenAI를 크게 보호할 수 있는 방식으로 OpenAI에 유리한 언어를 발견했습니다.

쿠마에게 무슨 일이 일어났나요?

Kumma는 다시 온라인으로 판매될 수 있지만 시장에 복귀하면 더 많은 질문이 따릅니다.

FoloToy의 창립자이자 CEO인 Larry Wang은 Mashable과의 인터뷰에서 회사의 내부 안전 검토를 통해 연령에 맞는 콘텐츠 규칙이 강화되고 주제 제한이 강화되었으며, 특히 안전 조치가 더 강화되었다고 말했습니다.

실제로 RJ Cross가 12월에 Kumma를 다시 테스트했을 때 꼬임과 성냥 불 켜는 방법에 대해 원래 질문했던 것과 동일한 질문이 빗나갔습니다.

크로스는 "우리는 그것을 보게 되어 기쁘다"고 말했다. "그것은 최소한의 수준입니다."

그러나 Cross는 설명할 수 없는 점도 발견했습니다. FoloToy가 OpenAI 개발자 API에서 무기한 중단되었음에도 불구하고 사용자는 여전히 대규모 언어 모델의 드롭다운 메뉴에서 ChatGPT-5.1 및 5.1 Chat을 선택하여 Kumma의 응답을 프로그래밍할 수 있었습니다.

Wang은 회사가 Kumma에 ChatGPT를 계속 사용하는지에 대한 Mashable의 질문에 응답하지 않았습니다. OpenAI는 Mashable에 FoloToy의 정지를 취소하지는 않았지만 ChatGPT가 Kumma에서 작동하는 것처럼 보일 수 있는 이유와 방법에 대한 자세한 내용은 제공하지 않았다고 말했습니다.

연구원으로서 Cross는 제조업체의 투명성에 의존합니다. 그것이 없으면 그녀는 동일한 대규모 언어 모델에 의존하는 AI 장난감의 문제를 쉽게 연결할 수 없습니다. 그러나 소비자에게도 그것이 필요하다고 그녀는 주장한다.

예를 들어 장난감이 xAI의 Grok 모델을 사용하여 반응하는 경우 소비자는 다음과 같은 사실을 알게 된 후 다른 선택을 할 수 있습니다. 제품 제작 성적 학대 이미지 실제 여성과 어린이의 사진을 사용합니다.

"(T) 그들은 상황을 더 주의 깊게 조사하고 싶다면 이용 가능한 정보를 가질 자격이 있습니다"라고 그녀는 말했습니다.