우리는 Apple App Store와 Google Play Store를 디지털 "벽으로 둘러싸인 정원", 즉 위험하거나 천박한 콘텐츠가 화면에 표시되기 오래 전에 필터링되는 안전하고 엄선된 공간으로 생각하는 경향이 있습니다. 그러나 기술 투명성 프로젝트(TTP)의 암울한 새로운 분석에 따르면 벽에 심각한 균열이 있는 것으로 나타났습니다. 보고서는 충격적인 현실을 보여줍니다. 두 주요 매장 모두 현재 수십 개의 AI 기반 "nudify" 앱으로 가득 차 있습니다. 이것은 다크 웹에 숨겨진 모호한 도구가 아닙니다. 그들은 공개적으로 바로 거기에 있어 누구든지 사람의 무고한 사진을 찍고 동의 없이 디지털 방식으로 옷을 벗길 수 있습니다.
올해 초 Elon Musk의 AI Grok이 플랫폼 X에서 유사한 성적인 이미지를 생성하는 것이 포착되면서 이 기술에 대한 대화가 최고조에 달했습니다. 그러나 Grok이 대중의 분노를 불러일으키는 피뢰침이 되었지만 TTP 조사에 따르면 이는 빙산의 일각에 불과했습니다. 앱 스토어에서 "옷을 벗다" 또는 "누드화"와 같은 용어를 간단히 검색하면 합의되지 않은 딥페이크 포르노를 만들기 위해 특별히 설계된 소프트웨어 목록이 나타납니다.
우리는 틈새를 빠져나가는 소수의 불량 개발자에 대해 말하는 것이 아닙니다. 데이터에 따르면 이들 앱은 총 7억 건 이상의 다운로드를 기록했습니다. 그들은 약 1억 1700만 달러의 수익을 창출했습니다. 불편한 진실은 다음과 같습니다. Apple과 Google은 일반적으로 인앱 구매 및 구독에 대해 수수료를 받기 때문에 합의되지 않은 성적 이미지를 생성하여 사실상 이익을 얻고 있습니다. 누군가가 급우, 동료 또는 낯선 사람의 사진을 "옷을 벗기" 위해 돈을 지불할 때마다 거대 기술 기업이 몫을 가져갑니다.
이 기술의 인적 비용은 아무리 강조해도 지나치지 않습니다. 이러한 도구는 일반 사진을 무기화합니다. 인스타그램의 셀카나 앨범의 사진은 피해자를 괴롭히거나 모욕하거나 협박하는 데 사용되는 노골적인 자료로 왜곡될 수 있습니다. 옹호 단체들은 수년 동안 이에 대해 비명을 지르며 “AI 누드화”는 여성과 끔찍하게도 미성년자를 불균형적으로 표적으로 삼는 성폭력의 한 형태라고 경고해 왔습니다.
Apple과 Google 모두 포르노 및 착취적인 콘텐츠를 금지하는 종이 문서에 대한 엄격한 정책을 가지고 있습니다. 문제는 집행이다. 그것은 Whac-A-Mole의 디지털 게임이 되었습니다. 세간의 이목을 끄는 보고서가 나오면 회사는 몇 가지 특정 앱을 금지할 수 있지만 개발자는 종종 로고를 수정하고 이름을 약간 변경한 다음 일주일 후에 정확히 동일한 코드를 다시 업로드합니다. 자동화된 검토 시스템은 생성 AI의 급속한 발전을 전혀 따라잡을 수 없는 것 같습니다.
부모와 일반 사용자에게 이는 경각심을 불러일으키는 신호입니다. 우리는 더 이상 앱이 "공식" 스토어에 있다는 이유만으로 안전하거나 윤리적이라고 가정할 수 없습니다. AI 도구가 더욱 강력해지고 액세스하기 쉬워짐에 따라 과거에 우리가 의존했던 보호 장치가 실패하고 있습니다. 규제 당국이 개입하거나 Apple과 Google이 수수료보다 안전을 우선시하기로 결정할 때까지 우리의 디지털 유사성은 불편할 정도로 취약한 상태로 남아 있습니다.