ChatGPT가 등장하며 생성형 AI에 대한 접근이 민주화된 이후, 기업 환경은 빠르게 변화하고 있습니다. AI가 기업의 일상적인 업무에 깊숙이 통합되면서, 기존의 보안 통제 방식으로는 대응할 수 없는 새로운 유형의 위험이 등장했습니다. 기업들은 데이터 침해, 서드파티 위험, 부정확하거나 원치 않는 AI 출력 등 다양한 AI 관련 위험에 직면해 있습니다. 특히 악의적인 해킹보다는 내부 직원의 정책 위반, 정보 과다 공유, 잘못된 AI 사용으로 인한 문제가 훨씬 빈번하게 발생하고 있습니다.
이러한 배경 속에서 Gartner는 2025년 2월 'Market Guide for AI Trust, Risk and Security Management'를 발표하며, 기업이 안전하고 신뢰할 수 있는 AI를 구현하기 위한 체계적인 접근법인 'AI TRiSM'을 제시했습니다.
☑️AI TRiSM이란?
AI TRiSM(AI Trust, Risk and Security Management)은 AI의 신뢰성, 위험, 보안을 관리하기 위한 포괄적인 기술 프레임워크입니다.
AI가 기업 정책에 부합하도록 보장하고, AI 거버넌스, 신뢰성, 공정성, 안전성, 보안, 프라이버시 및 데이터 보호를 실현하는 것이 핵심 목표입니다. 단순히 기술적 솔루션만을 의미하는 것이 아니라, 사람, 프로세스, 기술이 통합된 거버넌스 프레임워크를 포괄합니다. AI TRiSM은 임베디드 AI부터 자체 개발한 에이전틱 AI 시스템에 이르기까지 모든 유형의 AI에 적용되며, 전통적인 기술 보호 조치를 보완하는 역할을 합니다.
☑️AI TRiSM 시장의 정의
Gartner는 AI TRiSM 시장을 "모든 AI 사용 사례에 대한 기업 정책을 지원하는 4계층의 기술 역량"으로 정의합니다. 이러한 정책들은 AI 거버넌스, 신뢰성, 공정성, 안전성, 신뢰성, 보안, 프라이버시 및 데이터 보호를 보장하는 데 목적이 있습니다.
상위 2개 계층인 AI 거버넌스(AI Governance)와 AI 런타임 검사 및 실행(AI Runtime Inspection and Enforcement)은 AI에 새롭게 등장한 영역으로, 현재 하나의 독립적인 시장 세그먼트로 통합되고 있습니다. 하위 2개 계층은 AI에 초점을 맞춘 전통적인 기술을 나타냅니다.
☑️기업이 직면한 주요 AI 위험
리포트에 따르면, 기업들이 가장 우려하는 AI 위험은 다음 세 가지입니다.
흥미로운 점은, 2026년까지 승인되지 않은 AI 트랜잭션의 최소 80%가 악의적인 공격보다는 정보 과다 공유, 허용되지 않는 사용, 또는 잘못된 AI 행동에 관한 내부 정책 위반으로 인해 발생할 것으로 예측된다는 것입니다. 악의적인 해킹은 여전히 드문 반면, 제약 없는 유해한 챗봇 사례와 내부 데이터 과다 공유 침해는 널리 발생하고 있습니다.
이는 AI 보안의 초점이 외부 공격 방어에서 내부 정책 준수와 적절한 사용 관리로 전환되어야 함을 시사합니다.
☑️Gartner의 주요 예측
Gartner는 AI TRiSM 시장의 미래에 대해 다음과 같은 구체적인 전망을 제시합니다.
2026년: 내부 정책 위반이 주요 위협 승인되지 않은 AI 트랜잭션의 최소 80%가 악의적 공격이 아닌 정보 과다 공유, 허용되지 않는 사용, 잘못된 AI 행동 등 내부 정책 위반으로 발생할 전망
2027년: AI TRiSM 서비스 시장 형성 AI TRiSM as a Service가 자체 AI TRiSM 서비스를 구현할 리소스가 없는 기업을 위한 실행 가능한 아웃소싱 서비스 옵션으로 등장
2028년: 통합 거버넌스 팀 확산 대규모 조직의 25%에서 데이터 및 분석, 디지털 워크플레이스, 보안 및 규정 준수 담당자로 구성된 통합 전담 정보 거버넌스 팀이 존재 (2023년 1% 미만에서 증가)
이러한 예측은 AI TRiSM이 단순한 기술 솔루션을 넘어 조직 구조와 운영 방식의 근본적인 변화를 요구하는 영역임을 보여줍니다.
☑️AI TRiSM의 4계층 기술 구조
AI TRiSM 기술은 전통적인 기술 제어(네트워크, 엔드포인트, 클라우드 보안 솔루션) 위에 4개의 계층으로 구성됩니다.
1. AI 거버넌스(AI Governance)
AI 거버넌스는 조직의 AI 자산을 관리하고, AI 성능에 대한 신뢰를 구축하며, 비즈니스 결과를 보장하는 프레임워크를 제공합니다. 주요 기능은 다음과 같습니다.
2. AI 런타임 검사 및 실행(AI Runtime Inspection and Enforcement)
이 계층은 모델, 애플리케이션, 에이전트 상호작용에 적용되어 조직의 거버넌스 정책과의 트랜잭션 정렬을 지원합니다. 관련 연결, 프로세스, 통신, 입력 및 출력을 정책 및 예상 동작 위반에 대해 검사합니다. 이상 징후는 강조 표시되고 차단, 자동 수정 또는 조사, 분류, 대응 및 적용 가능한 수정을 위해 사람이나 인시던트 대응 시스템으로 전달됩니다.
AI 모델에 대한 런타임 제어:
AI 애플리케이션에 대한 런타임 제어:
AI 에이전트에 대한 런타임 제어:
3. 정보 거버넌스(Information Governance)
AI TRiSM의 맥락에서 정보 거버넌스는 데이터의 전체 라이프사이클에 걸쳐 분류, 보호, 보안 및 관리와 관련이 있습니다. 성숙한 정보 거버넌스 제어는 다음을 위해 필수적입니다.
생성형 AI 도구가 엔터프라이즈 애플리케이션에 내장되거나 RAG를 사용하여 조직 정보를 찾을 때, 과다 공유된 데이터를 훨씬 빠르게 더 많은 청중에게 노출할 수 있으며, 데이터 라이프사이클 문제를 조명합니다. 조직의 데이터 자산 전반에 걸쳐 민감한 데이터를 식별하고 관리하기 위한 적절한 조치를 취하지 않으면 이러한 문제가 악화되어 불필요한 데이터 위험이 발생하고 잠재적으로 광범위한 데이터 침해로 이어질 수 있습니다.
정보 거버넌스를 개선하기 위해 조직은 디지털 워크플레이스, 데이터 및 분석, 데이터 보안, 규정 준수, IAM(Identity and Access Management) 등 다양한 팀의 이해관계자로 구성된 다학제 팀을 구성해야 합니다. 이 팀은 다음에 집중해야 합니다.
현재 이 기술 계층은 포괄적인 정보 거버넌스에 필요한 구성 요소 중 하나 또는 두 개에 일반적으로 초점을 맞추는 벤더로 여전히 분산되어 있습니다. 예를 들어
4. 인프라 및 스택(Infrastructure and Stack)
인프라 및 스택은 AI 워크로드를 지원하는 하드웨어 및 소프트웨어 환경, AI 애플리케이션 개발 및 유지 관리에 사용되는 특수 목적 도구 및 라이브러리, 데이터 처리 계층, 네트워크 인프라를 포함한 배포 환경을 나타냅니다. 이 범주의 솔루션에는 API 키 관리와 신뢰할 수 있는 실행 환경에서 워크로드를 보호하기 위한 기밀 컴퓨팅이 포함됩니다.
☑️AI TRiSM 시장을 형성하는 4가지 주요 트렌드
1. AI TRiSM 팀의 형성
AI는 효과적인 런타임 배포를 위해 새로운 기업 간 팀 프로세스와 도구가 필요합니다. Gartner는 향후 3년 동안 자연스럽게 TRiSM 감독 및 운영 팀으로 이어질 4가지 새로운 조직 트렌드를 목격하고 있습니다.
Gartner는 AI TRiSM 감독 및 운영 팀이 엔터프라이즈 AI 혁신, 개발 및 운영을 담당하는 관리자에게 보고할 것으로 예상합니다. 한편, 2024년 Gartner가 실시한 엔터프라이즈 AI 설문조사에 따르면 AI 프라이버시, 보안 및 위험 이니셔티브에 대한 예산 권한은 일반적으로 CTO 또는 CIO 사무실에 있습니다.
2. 통합 AI 런타임 검사 및 실행 시스템
일관된 신호, 낮은 지연 시간, 단일 패스 처리 및 통합 런타임 제어 시스템이 AI 이벤트의 런타임 검사를 효과적으로 처리하고 엔터프라이즈 정책을 실행하는 데 필요합니다. 그렇지 않으면 런타임에 동일한 이벤트에 대한 사일로화된 검사 및 정책 실행 시스템으로 인해 충돌하는 분석 및 해결이 발생합니다.
다음이 중요합니다.
조직은 통합 런타임 검사 및 실행 시스템을 관리하기에 가장 적합한 팀이 AI 엔지니어링의 새로운 AI 팀인지, 확장된 IT 팀인지, 확장된 보안 및 위험 팀인지 식별해야 합니다. 통합 런타임 감지 및 실행 시스템을 소유하는 사람에 관계없이, 자동으로 차단되거나 수정되지 않는 의심스러운 트랜잭션에 대한 인시던트 대응 및 수정은 이를 처리하기에 가장 적합한 단위 및 시스템으로 전달되어야 합니다.
예를 들어, 대부분의 시나리오에서 통합 검사 및 실행 시스템에서 감지된 보안 이벤트는 필요한 후속 조치를 위해 조직의 SIEM 팀(또는 적절하게 아웃소싱된 관리 보안 서비스 제공업체)으로 전송됩니다. 그런 다음 AI 이벤트 분류는 발생한 이상 또는 위반 유형에 따라 여러 에스컬레이션 대기열이 필요합니다.
3. AI 호스팅 제공업체의 TRiSM 서비스 확장
프런티어 모델 제공업체 및 기타 AI 호스팅 제공업체는 더 많은 비즈니스를 확보하기 위한 경쟁 전략으로 기업에 제공하는 TRiSM 서비스를 지속적으로 확장하고 있습니다. 일부는 이미 기업이 자체 특정 허용 사용 정책을 지원하는 데 사용할 수 있는 도구를 도입했습니다. 대부분의 호스팅 제공업체는 폭력, 자해, 성적 콘텐츠 및 증오에 대한 모델 사용에 대한 가드레일을 구현했습니다. 많은 제공업체가 저작권 침해 및 프롬프트 인젝션과 같은 알려진 런타임 보안 위협을 감지하기 위한 도구를 구현했습니다.
AI TRiSM은 항상 사용자와 모델 제공업체 간의 공동 책임이 되며, AI 서비스의 구성, 즉 IaaS, PaaS 또는 SaaS 서비스를 나타내는지 여부에 따라 수준이 달라집니다. 자체 모델을 호스팅하고 관리하는 조직은 모든 위험 완화에 대한 전적인 책임이 있습니다.
4. AI TRiSM 시장 통합
AI 거버넌스와 AI 런타임 검사 및 실행의 통합: 이것은 이미 이 Market Guide의 여러 벤더에 의해 부분적으로 달성되었으며, 이 트렌드가 2025년 이후 가속화될 것으로 예상합니다. 일반적으로 AI 런타임 검사 및 실행을 제공하는 벤더는 두 가지 AI 거버넌스 기능도 제공합니다.
이러한 두 가지 거버넌스 기능을 런타임 제어와 통합하면 모든 엔터프라이즈 AI 상호작용에 대한 실시간 분석 및 정책 실행을 위한 기반을 제공하고 AI 위험 및 위협에 대한 완전한 보기를 제공합니다.
여러 유형의 벤더로부터의 확장 전략: AI 거버넌스와 런타임 검사 및 실행의 통합은 AI 여정에서 사용자를 지원하여 고객 지갑 점유율을 늘리려는 기존 대형 소프트웨어, 보안 또는 네트워킹 벤더가 제공하는 서비스에 통합됩니다. 예를 들어
더 나아가
정보 거버넌스 계층 통합: DSPM, 데이터 보안 및 DLP 시스템을 제공하는 벤더는 AI 중심 기능을 통합하도록 계속 확장할 것입니다. 특히
☑️기업을 위한 권장사항
Gartner는 AI 리더가 조직 전체의 이해관계자와 협력하여 AI 신뢰, 위험 및 보안을 관리해야 한다고 강조합니다. AI 거버넌스 정책을 생성하고 업데이트하고 이러한 정책을 활성화하고 실행하는 AI TRiSM 기술을 평가하고 구현하기 위한 조직 구조를 수립해야 합니다.
조직화된 후 AI 리더와 비즈니스 파트너는 다음을 수행해야 합니다.
☑️전망과 시사점
Gartner는 2028년까지 대규모 조직의 25%에서 데이터 및 분석, 디지털 워크플레이스, 보안 및 규정 준수 담당자로 구성된 통합된 전담 정보 거버넌스 팀이 존재할 것으로 예측합니다. 또한 2027년까지 AI TRiSM as a Service가 자체 AI TRiSM 서비스를 구현할 리소스가 없는 기업을 위한 실행 가능한 아웃소싱 서비스 옵션으로 등장할 것으로 예상합니다.
AI TRiSM은 단순히 기술적 솔루션을 넘어, 조직의 사일로 문제를 드러내고 팀들이 부서 경계를 넘어 문제를 해결하기 위해 재정렬하도록 추진하고 있습니다. 현재 단일 벤더나 솔루션이 AI 위협과 위험의 모든 측면을 해결하지는 못하지만, 시장은 빠르게 성숙해지고 있으며 사용자 수요가 꾸준히 증가하고 있습니다.
기업이 AI를 안전하고 신뢰할 수 있게 활용하기 위해서는, AI TRiSM의 4계층 프레임워크를 이해하고 각 조직의 상황에 맞는 단계적 접근이 필요합니다.
▶ 가트너 리포트 전문 보기 : Market Guide for AI Trust, Risk and Security Management
AI 시대의 거버넌스는 더 이상 선택이 아닌 필수입니다. 클라우드네트웍스는 글로벌 파트너사들과 함께 기업의 안전한 AI 도입을 지원합니다. AI 거버넌스 솔루션에 대해 궁금하신 점이 있으시다면, 언제든 문의해 주세요.
