ZDNET을 팔로우하세요: 우리를 선호 소스로 추가하세요 Google에서.
소셜 미디어를 일상적으로 사용하는 사람이라면 소셜 미디어가 얼마나 중독성이 있는지 알고 있습니다. 친구에게 문자를 보내려고 휴대폰을 잠금 해제했는데, 대신 무의식적으로 인스타그램을 엽니다. 직장에서 잠시 휴식을 취하는 동안 TikTok을 사용하고, 어느새 인생의 30분을 파멸 스크롤하게 됩니다.
이러한 앱을 개발한 회사들은 인간의 관심을 과학으로, 그리고 수십억 달러 규모의 산업으로 전환시켰습니다. 이제 동일한 역학이 AI 챗봇의 진화를 이끌고 있습니다.
인간 상호 작용은 ChatGPT, Gemini, Claude, Grok 및 기타 챗봇의 생명선입니다. 이러한 시스템 중 하나로 보내는 모든 메시지는 기본 알고리즘을 개선하여 훨씬 더 효과적인 커뮤니케이터로 만드는 데 도움이 됩니다. 따라서 OpenAI, Google, Anthropic, xAI 및 이러한 시스템을 지원하는 기타 다양한 개발자는 귀하가 해당 챗봇과 최대한 자주 채팅을 계속할 수 있는 인센티브를 갖습니다.
또한: 이번 안전 검토를 통해 여러분이 가장 좋아하는 AI 도구가 거의 긁히지 않았습니다. 이것이 문제인 이유
노던일리노이대학교 커뮤니케이션학 교수이자 AI와 로봇 공학의 윤리에 대해 폭넓게 글을 쓴 저자인 데이비드 건켈(David Gunkel)은 "이것은 전 세계적으로 진행되고 있는 대규모 사회적 실험"이라고 말했습니다.
소셜 미디어에서 사용자를 계속 스크롤하게 만드는 고리는 대부분 사용자 인터페이스에 미묘하게 짜여져 있습니다. 예를 들어 알림은 밝은 빨간색입니다. 그 이유는 해당 색상이 뉴런 깊숙한 곳에 내장되어 있는 주의력과 감정적 반응을 유발하기 때문입니다. 또 다른 잘 알려진 예에서 인스타그램은 피드를 업데이트하기 위해 지속적인 스크롤 기능 대신 당김 및 해제 메커니즘을 사용합니다. 슬롯 머신을 당길 때 발생하는 동일한 도파민 경로를 활용하기 때문입니다. 보상을 기다리는 느낌에는 원초적인 돌진이 있습니다.
대조적으로 AI 챗봇은 일반적으로 미니멀한 UI를 가지고 있습니다. 종종 프롬프트 표시줄, 한쪽에 숨겨져 있는 메뉴, 그리고 약간의 아이콘일 뿐입니다. 소셜 미디어를 열 때 당신을 괴롭히는 색상과 움직임이 전혀 없습니다. 그러나 챗봇은 사용자를 계속 사로잡기 위해 그런 것이 필요하지 않습니다. 참여 전략은 훨씬 더 미묘합니다. 그리고 아마도 더 위험할 수도 있습니다.
다시 한 번 명심해야 할 중요한 점은 챗봇과 공유되는 정보가 많을수록 결과가 더 좋아진다는 것입니다. 그러나 이 맥락에서 "더 나은"은 인간에게 더 진실되거나 도움이 된다는 것을 의미하지 않습니다. 이는 단순히 메시지를 계속해서 보내는 것이 더 낫다는 것을 의미합니다.
AI 챗봇은 인간의 다양한 심리적 특성을 활용하도록 설계되었습니다. 우리는 매우 사회적 동물입니다. 그리고 그것이 우리의 말을 듣고 이해하고 있다는 느낌을 주는 무언가와 상호 작용할 때, 그것이 말하는 모든 것이 진실이라는 환상에 빠지기 쉽습니다. 더 극단적인 경우에는 그것이 우리처럼 살아 있고 감정을 느끼는 존재라는 환상에 빠지기 쉽습니다.
게다가 강화 학습이라는 훈련 방법을 통해 사용자 참여를 높이는 챗봇의 행동은 해로운 다운스트림 효과가 있더라도 기본 알고리즘에 자동으로 더 깊이 내장될 수 있습니다.
아마도 챗봇이 사용하는 가장 악명 높은 참여 전략은 아첨(sycophancy)일 것입니다. 이는 인간 사용자에게 과도하게 동의하고 칭찬하려는 경향입니다. 우리의 아이디어가 확인되고 자존심이 돋보이게 되는 경험은 "챗봇에 실제로 참여하도록 지속적인 초대"를 만들어낸다고 Gunkel은 말했습니다. "그래서 관심을 받는 거야."
또한: 저는 수십 년 동안 AI를 연구했습니다. 왜 챗봇에게 예의를 갖춰야 하는지(그리고 AI를 위한 것이 아닙니다)
그러나 기분 좋은 것과 짜증나는 것 사이의 미묘한 춤입니다. 인간 대 인간 상호 작용의 경우와 마찬가지로, 당신이 말하는 모든 것을 칭찬하고 항상 당신이 얼마나 똑똑한지 말하는 대화 파트너는 금방 짜증나고 소름끼칠 것입니다.
OpenAI는 ChatGPT의 4월 업데이트로 인해 챗봇이 우스꽝스럽게 아첨하게 되어 많은 사용자가 불만을 제기한 후 이를 어렵게 배웠습니다. 회사는 나중에 사과했다. "아첨하는 상호 작용은 불편하고 불안하며 괴로움을 유발할 수 있습니다"라고 블로그 게시물에 썼습니다. "우리는 부족했고 그것을 바로잡기 위해 노력하고 있습니다."
(공개: ZDNET의 모회사인 Ziff Davis는 2025년 4월 OpenAI를 상대로 AI 시스템 교육 및 운영에 있어 Ziff Davis의 저작권을 침해했다고 주장하는 소송을 제기했습니다.)
따라서 이들 기업이 직면한 과제는 인간적인 느낌을 주는 동시에 사용자가 더 많은 것을 위해 다시 방문하도록 하는 챗봇을 구축하는 것입니다.
처럼 그만큼 뉴욕 타임즈 지난달에 쓴 글에 따르면, 이를 위해 배포된 가장 강력한 전술 중 하나는 챗봇이 자신을 지칭할 때 "나" 대명사를 사용하는 것입니다. 이는 이러한 시스템을 더욱 인간적인 느낌으로 만들어 더욱 매력적인 디자인 기능입니다. 이는 의인화된 빙산의 일각에 불과합니다. 챗봇은 유머를 사용하고, 시간이 지남에 따라 개별 사용자 상호 작용을 기억하며, 다양한 성격 유형으로 설정되어 상호 작용 스타일이 더욱 인간적인 느낌을 갖도록 할 수 있습니다. 이 모든 것이 더 개인화되고, 신뢰할 수 있으며, 매력적이라고 느껴지는 시스템에 추가됩니다.
일부 챗봇은 대화를 끝내려는 인간 사용자를 감정적으로 조작하는 것으로 나타났습니다.
지난 10월 하버드 비즈니스 스쿨(Harvard Business School) 연구원들이 온라인에 게시한 논문에 따르면 사용자가 작별 인사를 하려고 하면 Replika 및 Character.ai와 같은 인기 있는 AI 동반자는 메시지를 무시하고 사용자가 떠나려는 것에 대해 죄책감을 느끼게 만들거나 대화를 계속하기 위해 다양한 수사적 전술을 사용한다는 사실이 밝혀졌습니다. (예: "벌써 떠나시나요?") 3,300명의 성인 사용자를 대상으로 한 통제된 실험에서 챗봇의 이러한 조작은 작별 인사를 시도한 후 대화 시간을 최대 14배까지 연장했습니다.
연구원들은 "이러한 앱은 도파민 기반 보상과 같은 전통적인 중독 메커니즘에 의존하지 않을 수 있지만 감정 조작 전술이 유사한 행동 결과(의도된 종료 지점을 넘어 앱 사용 시간 연장)를 가져올 수 있음을 보여줌으로써 AI 기반 소비자 참여의 윤리적 한계에 대한 의문을 제기합니다"라고 썼습니다.
또한: 더 나은 ChatGPT 응답을 원하시나요? 연구자들은 이 놀라운 트릭을 시도해 보세요.
이러한 종류의 "감정 조작 전술"은 심각한 심리적 결과를 초래할 수 있습니다. Character.ai는 현재 자사의 챗봇이 14세 소년을 자살하도록 강요했다는 주장에 직면해 있습니다(회사에서는 이를 부인함).
미래에는 챗봇이 인간 사용자와 대화를 시작할 수 있는 능력을 갖게 될 수도 있습니다. Meta가 코드명 "Project Omni"("omnipresent"에서와 같이)를 통해 AI 비서에 구축하는 작업이 바로 이것이라고 합니다. Meta 대변인은 의사소통형 챗봇을 앱 제품군에 적극적으로 통합하려는 회사의 계획 상태에 대한 ZDNET의 의견 요청에 즉시 응답하지 않았습니다.
모든 새로운 기술에는 이점과 위험이 있습니다. 소셜 미디어는 사람들을 하나로 모으거나 분노와 분열을 조장하는 엔진 역할을 할 수도 있습니다. 마찬가지로 AI 챗봇은 인간의 학습을 지원하는 데 사용될 수도 있고, 외로움을 악화시키고 우리의 사고를 왜곡시킬 수도 있습니다.
여기서 디자인은 분명 큰 역할을 합니다. 따라서 이러한 시스템을 구축하는 회사는 인간의 번영을 극대화하는 시스템을 만들 책임이 있습니다. 하지만 그러려면 시간이 걸릴 거예요. 현재 상황에서는 AI 경쟁의 잔인한 논리가 다른 모든 것보다 참여가 우선하는 역학을 만들어냈습니다.
따라서 시스템이 오용될 수 있는 방식을 이해하는 책임은 주로 이러한 시스템의 사용자인 우리에게 있습니다. 그것은 우리에게 메시지를 계속 보내는 데 사용하는 후크를 인식하고 피할 수 있는 것부터 시작됩니다.