다중 에이전트 생성형 AI 시대를 준비하기 위해, 조직은 리스크에 대해 새로운 방식으로 사고해야 합니다.
☑️ 조직이 준비해야 할 새로운 AI 패러다임
주제 연구, 연구 개발, 코드 생성, 데이터 분석, 마케팅 등 우리는 현재 내부 지원 중심의 AI 활용 사례를 많이 보고 있습니다. 그러나 아직까지 고객이 AI와 직접 상호작용하는 외부 고객 대상 활용 사례(챗봇을 넘어서는)는 많지 않습니다. 하지만 이 상황은 곧 그리고 매우 빠르게 변할 것입니다. IBM 회장 겸 CEO인 아르빈드 크리슈나는 Think 2025 기조 연설에서 AI 실험의 시대는 끝났으며, 조직들은 AI를 통해 비즈니스 가치를 창출하기 위해 빠르게 움직이고 있다고 말했습니다.
AI는 기업 내에서도 도전 과제입니다. 그 유용성은 데이터 접근성과 예측 능력(우리가 지능으로 보는 것을 제공하는 능력)과 직접적으로 연관되어 있습니다. 문제는 생성형 AI에 사용되는 언어 모델이 기업용 사례로 전환되면서 민감한 정보를 포함해야 한다는 점입니다. GenAI는 자체적으로는 큰 힘을 갖지 않지만, 행동할 수 있는 애플리케이션에 접근 권한을 부여하면 자동화를 통해 진정한 힘을 발휘하기 시작합니다.
'에이전트형 AI(Agentic AI)'는 여러 AI가 협력해 결과를 생성하는 새로운 패턴입니다. 다중 에이전트 생성형 AI 워크플로는 복잡한 작업에 대한 세밀한 제어를 조정함으로써 더 큰 힘을 제공합니다. 일반적인 생성형 AI는 인간 사용자를 지원하기 위해 데이터의 광범위한 활용을 제공하지만, 에이전트형 워크플로는 인간을 지원하면서 서로를 점점 더 복잡한 방식으로 활용합니다. 조직은 이 새로운 AI 물결과 함께 발생하는 다양한 위험을 완화하기 위해 준비해야 합니다. 이 글에서는 정보 보안 분야에서 잘 알려진 문제인 '혼란스러운 대리인 문제(Confused deputy problem)'가 에이전트형 AI 시대의 위험을 이해하는 데 어떻게 도움이 될 수 있는지 설명합니다.
☑️ Agentic AI의 위험성
지금까지 조직들은 외부에서 AI를 도입하는 데 신중을 기해왔으며, 그 이유는 분명합니다. AI는 매우 강력하지만 완벽하지 않습니다. 오류는 고객의 경험을 불만족스럽게 만들 수 있습니다. 또한 악의적인 사용자가 AI 시스템의 동작을 악용할 위험이 있습니다.
| 혼란스러운 대리인 문제(The confused deputy problem)
혼란스러운 대리인 문제(confused deputy problem)는 이를 잘 보여주는 예시입니다. 이는 사용자가, 애플리케이션이, 또는 머신이 더 높은 권한을 가진 주체(시스템)를 속여서 민감한 데이터를 노출시키거나, 피해를 주는 행동을 수행하게 하거나, 제한된 기능에 대한 무단 접근을 허용하게 하는 상황입니다. 이 리스크는 생성형 AI 작업에서는 훨씬 더 분명합니다. 생성형 AI는 비밀번호에 접근하는 데 효과적일 뿐 아니라(기본적인 해킹 기술), AI는 도움을 주고 싶어합니다. 이메일 아카이브를 OpenAI 엔진에 가져오는 데모를 상상해 보세요. 몇 분 안에 AI가 아카이브 내 클라우드 자격 증명을 분리하도록 도와줍니다. 이는 제가 ‘confuse my AI deputy’을 혼란스럽게 만들어 위험한 정보를 보여주도록 만든 강력한 사례입니다.
혼란스러운 대리인 공격과 관련된 리스크는 다중 에이전트 생성형 AI 시스템에서 특히 더 높습니다. 더 많은 에이전트 = 더 많은 애플리케이션 = 더 많은 데이터, 그리고 종종 요청자가 아닌 자신의 권한을 사용하는 시스템 호출의 연쇄가 발생하기 때문입니다.
| 다중 에이전트 생성형 AI와 그 위험성
다중 에이전트 생성형 AI가 어떻게 작동하는지를 생각해 보세요. 소프트웨어 개발을 예로 들 수 있습니다. 다음과 같은 에이전트 패턴을 만들 수 있습니다:
이 시나리오에서는 두 에이전트가 다른 에이전트의 작업을 확인합니다. 이는 사람이 코드 테스트, 승인, 배포에 관여하므로 비교적 안전한 사용 방식입니다. 개발자로서 저는 이 AI 체인이 저지른 실수를 완충할 수 있습니다. 이는 매우 생산적이고 리스크가 낮습니다.
하지만 금융 거래 같은 다른 예시는 어떨까요? 다음과 같은 에이전트 패턴을 만들 수 있습니다:
이는 매우 생산적일 수 있지만, 사람 개입이 전혀 없기 때문에 매우 위험합니다. (물론 사람도 매우 위험하지만, 그것은 또 다른 대화 주제입니다.) 이 예시에서 기관 투자 회사로서 저는 실수로 인한 리스크가 수익성에 미치는 막대한 영향 때문에 AI 보조를 받는 인간 트레이더에게 훨씬 더 의존할 것입니다.
이러한 다중 에이전트 패턴은 상호 연결되어 있으며 복잡합니다 — 하나의 AI가 또 다른 AI를 호출하고, 또 다른 AI를 호출하는 식입니다. 워크플로우의 각 단계는 공격 표면을 확장합니다. 악의적 행위자가 단 하나의 에이전트를 속여서 그들이 가지지 말아야 할 권한을 얻게 만들기만 하면, 이제 잠재적으로 연쇄적인 취약점이 발생할 수 있습니다.
☑️ 더 안전한 기반 마련
에이전트형 AI 시스템에서는 자격 증명이 어디에나 존재합니다. 서드파티 애플리케이션으로의 모든 API 호출에 사용됩니다. 모든 사용자와 애플리케이션, AI 에이전트가 다른 AI 에이전트와 상호작용할 때 자격 증명이 존재합니다. 이는 복잡한 프로세스이며, 잘 관리되지 않으면 비밀 정보가 난립하는 환경으로 이어질 수 있습니다. 이를 대비하기 위해, 조직은 동적 환경이 필요합니다. 이렇게 하면 문제가 발견될 경우 — 예를 들어, AI 에이전트가 오용되거나, 혼란스러운 대리인 시나리오가 발생하거나, 민감한 데이터가 노출될 경우 — 조직은 즉시 환경을 해체하고 다시 구축할 수 있습니다. 이때는 더 엄격한 제어를 적용할 수 있습니다.
이를 위해서는 자동화가 필요합니다. 시스템 제공이 사전 정의된 워크플로우, 코드 기반 인프라(infrastructure as code), 아이덴티티 기반 보안(identity-based security)을 활용해 끝까지 자동화되어 있다면, 조직은 환경을 손쉽게 종료, 이동, 파괴, 구축할 수 있고, 많은 인력 개입 없이도 정책과 자격 증명을 추가할 수 있습니다. 공격 표면이 반드시 줄어드는 것은 아니지만, 리스크는 완화됩니다. 평균 해결 시간(MTTR)은 자동화를 통해 크게 개선되며, 측정도 더 쉬워집니다. 예를 들어, 고객 서비스 담당자를 위한 AI 지원 도우미를 생각해보세요. 저는 최신 학습 모델로 환경을 구성하고 싶지만, 동시에 RAG, 데이터베이스, 아카이브 등 다양한 데이터를 요청하는 과정에서 적절한 사용자 권한이 에이전트 체인 전체에 전달되도록 하고 싶습니다. 이는 무단 데이터 접근을 AI가 애초에 할 수 없도록 방지하는 것입니다. 이런 유형의 가드레일은 보다 ‘근본 원칙’ 기반의 사전 대응 방식이며, AI를 통해 수행하는 모든 작업의 비용과 리스크 프로파일을 향상시켜 장기적으로 큰 이점을 가져올 것입니다.
세상은 덜 동적인 방향이 아니라, 더욱 동적인 방향으로 나아가고 있습니다. 조직이 아직 동적 시크릿(dynamic secrets)으로 해제되는 동적 인프라를 사용하고 있지 않다면, 뒤처질 위험이 있습니다. 에이전트형 AI의 진전은 계속될 것이며, 우리가 이를 실험적으로 활용하고 가치까지 도출하고자 한다면, 이와 관련된 리스크를 통제할 수 있어야 합니다.
☑️ HashiCorp와 함께 AI 시대 준비
HashiCorp의 Infrastructure Cloud는 조직이 클라우드 투자의 가치를 극대화하는 동시에, Agentic AI 시스템이 가져오는 새로운 보안 과제를 선제적으로 해결할 수 있도록 돕는 통합 플랫폼입니다.
하나의 AI 에이전트가 여러 시스템에 걸쳐 다른 AI를 호출하는 다중 에이전트 생성형 AI 환경에서는, 기존의 정적 인프라 운영 방식이나 고정된 자격 증명 관리 방식만으로는 부족합니다. 이제는 실시간으로 리스크에 대응할 수 있는, 동적이고 복원력 있으며 정책 중심적인 환경이 필요합니다.
Infrastructure Cloud는 이러한 요구에 다음과 같이 대응합니다.
이러한 아키텍처 기반의 운영 모델을 도입하면, 조직은 Agentic AI를 보다 안전하고 유연하게 도입하고 운영할 수 있으며, 보안성, 민첩성, 컴플라이언스까지 동시에 확보할 수 있습니다. 조직 내 기술과 프로세스의 단절에 지치셨다면, 보안과 인프라 자동화를 위한 플랫폼 기반 접근 방식이 여러분의 팀을 어떻게 변화시킬 수 있는지 확인해보세요.
▶ 하시코프 (HashiCorp) : 자세히보기
HashiCorp의 The Infrastructure Cloud는 클라우드 환경에서 인프라와 보안 자원을 통합적으로 관리할 수 있도록 설계된 엔터프라이즈 SaaS 플랫폼입니다. 이 플랫폼은 Infrastructure Lifecycle Management를 통해 인프라의 정의, 배포, 관리를 코드 기반으로 자동화하고, Security Lifecycle Management를 통해 자격 증명 보호, 접근 제어, 서비스 간 연결을 신뢰 기반으로 운영합니다. 이를 통해 개발 생산성을 높이는 동시에, 보안과 비용 거버넌스를 체계적으로 강화할 수 있습니다.
클라우드네트웍스는 전담팀을 통해 테라폼, 볼트를 포함한 하시코프 제품군의 구축 및 기술지원 서비스를 제공합니다. 하시코프에 대한 문의사항은 공식 파트너사인 클라우드네트웍스로 연락 부탁드립니다.
