ZDNET을 팔로우하세요: 우리를 선호 소스로 추가하세요 Google에서.
Deloitte의 최신 기업 AI 현황 보고서에 따르면 기업들은 적절한 가드레일을 구축하는 것보다 더 빠르게 AI 에이전트 사용을 늘리고 있습니다.
수요일에 발표된 이 연구는 24개국 3,200명 이상의 비즈니스 리더를 대상으로 한 설문조사를 바탕으로 현재 기업의 23%가 "적어도 적당히" AI 에이전트를 사용하고 있지만 이 수치는 향후 2년 내에 74%로 급증할 것으로 예상됩니다. 반면, 전혀 사용하지 않는다고 보고한 기업의 비율은 현재 25%이며, 5%로 줄어들 것으로 예상됩니다.
또한: 직원의 43%는 금융 및 고객 데이터를 포함하여 민감한 정보를 AI와 공유했다고 말합니다.
그러나 작업장에서 인간의 감독이 거의 없이 다단계 작업을 수행하도록 훈련된 AI 도구인 에이전트의 증가는 적절한 가드레일로 보완되지 않습니다. 응답자의 약 21%만이 딜로이트에 현재 회사가 에이전트로 인해 발생할 수 있는 피해를 방지하기 위한 강력한 안전 및 감독 메커니즘을 갖추고 있다고 말했습니다.
딜로이트는 보고서에서 “기술의 급속한 채택 궤적을 고려할 때 이는 상당한 제한이 될 수 있다”고 적었습니다. "에이전트 AI가 파일럿에서 프로덕션 배포까지 확장됨에 따라 강력한 거버넌스를 구축하는 것은 위험을 관리하는 동시에 가치를 포착하는 데 필수적입니다."
OpenAI, Microsoft, Google, Amazon 및 Salesforce와 같은 회사는 직원이 더 중요한 작업에 집중하는 동안 기업이 반복적이고 부담이 적은 작업장 운영을 직원에게 오프로드할 수 있다는 핵심 아이디어를 바탕으로 에이전트를 생산성 향상 도구로 마케팅했습니다.
또한: 나쁜 느낌: AI 에이전트가 재난으로 가는 길을 코딩하는 방법
그러나 자율성이 커지면 위험도 커집니다. 신중하고 지속적인 메시지가 필요한 제한된 챗봇과 달리 상담원은 다양한 디지털 도구와 상호 작용하여 예를 들어 문서에 서명하거나 조직을 대신하여 구매할 수 있습니다. 이로 인해 에이전트가 예상치 못한 방식으로 행동할 수 있고 때로는 비참한 결과를 초래할 수 있으며 즉각적인 주입 공격에 취약할 수 있으므로 오류가 발생할 가능성이 더 커집니다.
새로운 Deloitte 보고서는 AI 채택이 안전을 가릴 수 있다는 점을 처음으로 지적한 것이 아닙니다.
5월에 발표된 한 연구에 따르면 설문조사에 참여한 IT 전문가 중 대다수(84%)는 고용주가 이미 AI 에이전트를 사용하고 있다고 답한 반면, 44%만이 해당 시스템의 활동을 규제하기 위한 정책을 갖추고 있다고 답했습니다.
또한: OpenAI가 현재 공격으로부터 ChatGPT Atlas를 방어하는 방법과 안전이 보장되지 않는 이유
비영리 국가 사이버 보안 연합(National Cybersecurity Alliance)이 9월에 발표한 또 다른 연구에 따르면 점점 더 많은 사람들이 직장을 포함하여 매일 ChatGPT와 같은 AI 도구를 사용하고 있지만 대부분은 고용주로부터 어떤 종류의 안전 교육도 받지 않은 채 그렇게 하고 있는 것으로 나타났습니다(예: 챗봇 사용에 따른 개인 정보 보호 위험에 대해 교육).
그리고 지난 12월 갤럽이 발표한 여론조사 결과에 따르면, 개인 근로자의 AI 도구 사용은 전년도보다 증가했지만 거의 4분의 1(23%)의 응답자가 자신의 고용주가 조직 수준에서 이 기술을 사용하고 있는지 여부를 모른다고 답했습니다.
물론 비즈니스 리더들이 아주 초기 단계에서 AI 에이전트 주위에 완벽한 방탄 가드레일을 마련하라고 요구하는 것은 불공평할 것입니다. 기술은 항상 그것이 어떻게 잘못될 수 있는지에 대한 우리의 이해보다 더 빠르게 발전하므로 결과적으로 모든 수준의 정책이 배포보다 뒤처지는 경향이 있습니다.
또한: 이러한 주 AI 안전법이 미국의 규제 양상을 어떻게 변화시키는가
특히 AI의 경우 더욱 그렇습니다. 기술 개발자들이 새로운 모델을 출시하고 조직 리더들이 이를 사용하기 시작하도록 부채질하는 문화적 과대 광고와 경제적 압박이 전례 없는 일이기 때문입니다.
그러나 Deloitte의 새로운 기업 내 생성 AI 상태 보고서와 같은 초기 연구는 업계에서 에이전트 및 기타 강력한 AI 도구의 사용을 확대함에 따라 배포와 안전 사이의 위험한 격차가 될 수 있음을 지적합니다.
또한: IT 전문가의 96%는 AI 에이전트가 보안 위험이 있다고 말하지만 어쨌든 AI 에이전트를 배포하고 있습니다.
현재로서는 감독이 핵심이 되어야 합니다. 기업은 에이전트의 내부 사용과 관련된 위험을 인식해야 하며, 문제가 궤도를 벗어나지 않도록 보장하는 정책과 절차를 마련해야 하며, 그렇게 하는 경우 그에 따른 피해를 관리할 수 있어야 합니다.
Deloitte는 새로운 보고서에서 “조직은 에이전트가 독립적으로 내릴 수 있는 결정과 사람의 승인이 필요한 결정을 정의하여 에이전트 자율성에 대한 명확한 경계를 설정해야 합니다.”라고 권장합니다. "상담원 행동을 추적하고 이상 징후를 표시하는 실시간 모니터링 시스템은 필수적이며, 상담원 작업의 전체 체인을 캡처하여 책임을 보장하고 지속적인 개선을 가능하게 하는 감사 추적도 마찬가지입니다."