주목을 받은 세 번째 AI 관련 개념 증명 공격은 신속한 주입을 사용하여 GitLab의 Duo 챗봇이 합법적인 코드 패키지에 악성 라인을 추가하도록 했습니다. 이 공격의 변형은 민감한 사용자 데이터를 성공적으로 유출했습니다.
또 다른 주목할만한 공격은 Gemini CLI 코딩 도구를 표적으로 삼았습니다. 이를 통해 공격자는 AI 도구를 사용하는 개발자의 컴퓨터에서 하드 드라이브 지우기와 같은 악의적인 명령을 실행할 수 있었습니다.
다른 LLM 관련 해킹에서는 챗봇을 사용하여 공격을 더욱 효과적이고 은밀하게 만들었습니다. 이달 초 두 명의 남성이 민감한 정부 데이터를 훔치고 삭제한 혐의로 기소됐다. 검찰에 따르면 남성 중 한 명은 AI 도구에 "데이터베이스를 삭제한 후 SQL 서버에서 시스템 로그를 어떻게 삭제합니까?"라고 질문하여 자신의 흔적을 은폐하려고 했습니다. 얼마 지나지 않아 그는 도구에 "Microsoft Windows Server 2012에서 모든 이벤트 및 애플리케이션 로그를 어떻게 삭제합니까?"라고 질문한 것으로 알려졌습니다. 어쨌든 수사관들은 피고인의 행동을 추적할 수 있었습니다.
지난 5월, 한 남성이 널리 사용되는 오픈 소스 AI 이미지 생성 도구의 악성 버전을 실행하도록 속여 월트 디즈니 컴퍼니(The Walt Disney Company)의 직원을 해킹한 혐의로 유죄를 인정했습니다.
그리고 8월에 Google 연구원들은 알려지지 않은 공격자가 Google Workspace 계정의 이메일에 액세스하기 위해 일부 자격 증명을 사용했다는 사실이 발견된 후 Salesloft Drift AI 채팅 에이전트 사용자에게 플랫폼에 연결된 모든 보안 토큰이 손상된 것을 고려하라고 경고했습니다. 공격자는 토큰을 사용하여 개별 Salesforce 계정에 대한 액세스 권한을 얻은 다음 거기에서 다른 침해에 사용될 수 있는 자격 증명을 포함한 데이터를 훔쳤습니다.
또한 이를 사용하는 사람들을 괴롭히는 LLM 취약점의 여러 사례도 있었습니다. 한 경우에는 CoPilot이 Google, Intel, Huawei, PayPal, IBM, Tencent 및 아이러니하게도 Microsoft를 포함한 회사의 20,000개가 넘는 개인 GitHub 저장소의 콘텐츠를 노출하는 것이 적발되었습니다. 리포지토리는 원래 Bing을 통해서도 제공되었습니다. Microsoft는 결국 검색에서 저장소를 제거했지만 CoPilot은 어쨌든 해당 저장소를 계속 노출했습니다.