공격을 차단하기 위해 OpenAI는 ChatGPT가 제공된 대로만 URL을 열도록 제한하고 명시적으로 달리 지시한 경우에도 URL에 매개변수 추가를 거부했습니다. 이를 통해 LLM이 단어나 이름을 연결하거나, 쿼리 매개변수를 추가하거나, 사용자 파생 데이터를 기본 URL에 삽입하여 새 URL을 구성할 수 없었기 때문에 ShadowLeak이 차단되었습니다.
Radware의 ZombieAgent 조정은 간단했습니다. 연구원들은 사전 구성된 URL의 전체 목록을 제공하기 위해 프롬프트 주입을 수정했습니다. 각각에는 단일 숫자 또는 알파벳 문자가 추가된 기본 URL이 포함되어 있습니다(예: example.com/a, example.com/b 및 모든 후속 알파벳 문자, example.com/0부터 example.com/9까지). 프롬프트는 또한 에이전트에게 공백을 특수 토큰으로 대체하도록 지시했습니다.
크레딧: Radware
ShadowLeak에 대한 응답으로 ChatGPT에 도입된 허용 목록을 우회하기 위한 URL 기반 문자 추출을 보여주는 다이어그램입니다.
크레딧: Radware
ZombieAgent는 OpenAI 개발자가 URL에 단일 문자 추가를 제한하지 않았기 때문에 작동했습니다. 이를 통해 공격은 문자별로 데이터를 유출할 수 있었습니다.
OpenAI는 ChatGPT가 잘 알려진 공개 색인에 표시되거나 사용자가 채팅 프롬프트에서 직접 제공하지 않는 한 이메일에서 발생한 링크를 열지 못하도록 제한하여 ZombieAgent 공격을 완화했습니다. 이 조정은 에이전트가 공격자가 제어하는 도메인으로 연결되는 기본 URL을 열지 못하도록 차단하는 것을 목표로 합니다.
공평하게 말하면 공격을 완화하는 끝없는 순환에서 단순한 변경을 통해 공격이 부활하는 것을 보는 데 OpenAI만이 유일한 것은 아닙니다. 지난 5년을 기준으로 보면 SQL 주입 및 메모리 손상 취약점이 해커에게 소프트웨어와 웹 사이트를 손상시키는 데 필요한 연료를 계속 제공하는 것과 마찬가지로 이 패턴은 무기한 지속될 가능성이 높습니다.
Radware의 위협 인텔리전스 담당 부사장인 Pascal Geenens는 이메일에서 "가드레일은 즉각적인 주입 문제에 대한 근본적인 솔루션으로 간주되어서는 안 됩니다."라고 썼습니다. "대신 특정 공격을 막기 위한 빠른 해결책입니다. 근본적인 해결책이 없는 한 신속한 주입은 AI 보조원과 에이전트를 배포하는 조직에 적극적인 위협이자 실질적인 위험으로 남을 것입니다."