'AI TRiSM'이란 무엇인가? 가트너(Gartner)가 제시하는 AI 신뢰·위험·보안 관리의 핵심
ChatGPT가 등장하며 생성형 AI에 대한 접근이 민주화된 이후, 기업 환경은 빠르게 변화하고 있습니다. AI가 기업의 일상적인 업무에 깊숙이 통합되면서, 기존의 보안 통제 방식으로는 대응할 수 없는 새로운 유형의 위험이 등장했습니다. 기업들은 데이터 침해, 서드파티 위험, 부정확하거나 원치 않는 AI 출력 등 다양한 AI 관련 위험에 직면해 있습니다. 특히 악의적인 해킹보다는 내부 직원의 정책 위반, 정보 과다 공유, 잘못된 AI 사용으로 인한 문제가 훨씬 빈번하게 발생하고 있습니다.이러한 배경 속에서 Gartner는 2025년 2월 'Market Guide for AI Trust, Risk and Security Management'를 발표하며, 기업이 안전하고 신뢰할 수 있는 AI를 구현하기 위한 체계적인 접근법인 'AI TRiSM'을 제시했습니다. ☑️AI TRiSM이란?AI TRiSM(AI Trust, Risk and Security Management)은 AI의 신뢰성, 위험, 보안을 관리하기 위한 포괄적인 기술 프레임워크입니다.AI가 기업 정책에 부합하도록 보장하고, AI 거버넌스, 신뢰성, 공정성, 안전성, 보안, 프라이버시 및 데이터 보호를 실현하는 것이 핵심 목표입니다. 단순히 기술적 솔루션만을 의미하는 것이 아니라, 사람, 프로세스, 기술이 통합된 거버넌스 프레임워크를 포괄합니다. AI TRiSM은 임베디드 AI부터 자체 개발한 에이전틱 AI 시스템에 이르기까지 모든 유형의 AI에 적용되며, 전통적인 기술 보호 조치를 보완하는 역할을 합니다.☑️AI TRiSM 시장의 정의Gartner는 AI TRiSM 시장을 "모든 AI 사용 사례에 대한 기업 정책을 지원하는 4계층의 기술 역량"으로 정의합니다. 이러한 정책들은 AI 거버넌스, 신뢰성, 공정성, 안전성, 신뢰성, 보안, 프라이버시 및 데이터 보호를 보장하는 데 목적이 있습니다.상위 2개 계층인 AI 거버넌스(AI Governance)와 AI 런타임 검사 및 실행(AI Runtime Inspection and Enforcement)은 AI에 새롭게 등장한 영역으로, 현재 하나의 독립적인 시장 세그먼트로 통합되고 있습니다. 하위 2개 계층은 AI에 초점을 맞춘 전통적인 기술을 나타냅니다.☑️기업이 직면한 주요 AI 위험리포트에 따르면, 기업들이 가장 우려하는 AI 위험은 다음 세 가지입니다.데이터 침해(Data Compromise)서드파티 위험(Third-party Risks)부정확하거나 원치 않는 출력(Inaccurate or Unwanted Outputs)흥미로운 점은, 2026년까지 승인되지 않은 AI 트랜잭션의 최소 80%가 악의적인 공격보다는 정보 과다 공유, 허용되지 않는 사용, 또는 잘못된 AI 행동에 관한 내부 정책 위반으로 인해 발생할 것으로 예측된다는 것입니다. 악의적인 해킹은 여전히 드문 반면, 제약 없는 유해한 챗봇 사례와 내부 데이터 과다 공유 침해는 널리 발생하고 있습니다.이는 AI 보안의 초점이 외부 공격 방어에서 내부 정책 준수와 적절한 사용 관리로 전환되어야 함을 시사합니다.☑️Gartner의 주요 예측Gartner는 AI TRiSM 시장의 미래에 대해 다음과 같은 구체적인 전망을 제시합니다.2026년: 내부 정책 위반이 주요 위협 승인되지 않은 AI 트랜잭션의 최소 80%가 악의적 공격이 아닌 정보 과다 공유, 허용되지 않는 사용, 잘못된 AI 행동 등 내부 정책 위반으로 발생할 전망2027년: AI TRiSM 서비스 시장 형성 AI TRiSM as a Service가 자체 AI TRiSM 서비스를 구현할 리소스가 없는 기업을 위한 실행 가능한 아웃소싱 서비스 옵션으로 등장2028년: 통합 거버넌스 팀 확산 대규모 조직의 25%에서 데이터 및 분석, 디지털 워크플레이스, 보안 및 규정 준수 담당자로 구성된 통합 전담 정보 거버넌스 팀이 존재 (2023년 1% 미만에서 증가)이러한 예측은 AI TRiSM이 단순한 기술 솔루션을 넘어 조직 구조와 운영 방식의 근본적인 변화를 요구하는 영역임을 보여줍니다.☑️AI TRiSM의 4계층 기술 구조AI TRiSM 기술은 전통적인 기술 제어(네트워크, 엔드포인트, 클라우드 보안 솔루션) 위에 4개의 계층으로 구성됩니다.1. AI 거버넌스(AI Governance)AI 거버넌스는 조직의 AI 자산을 관리하고, AI 성능에 대한 신뢰를 구축하며, 비즈니스 결과를 보장하는 프레임워크를 제공합니다. 주요 기능은 다음과 같습니다.· AI 카탈로그: 모델, 에이전트, 애플리케이션 등 조직에서 사용되는 모든 AI 엔티티의 인벤토리· AI 데이터 매핑: AI 모델 학습이나 파인튜닝에 사용되는 데이터, RAG 시스템에서 사용자 쿼리에 맥락을 제공하는 데이터, 또는 AI 에이전트 시스템에 공급되는 데이터· 지속적인 보증 및 평가: 성능, 신뢰성, 보안, 안전성 기대치 및 메트릭에 대한 지속적인 평가로, 배포 전후에 적용· 워크플로우: 새로운 AI 승인, 예외 처리, 사용 증명· AI 보안 테스트: 레드 팀과 모든 엔티티(모델, 애플리케이션, 에이전트)에 대한 스캐닝· 위험 및 신뢰 제어 검증: 편향, 누출, 신뢰, 사용 사례 정렬· 감사 추적: AI 아티팩트의 모든 상태 변경에 대한 감사· 문서화: BOM(Bill of Materials), 모델 카드, 아티팩트, 규제 보고서, 설명 가능성2. AI 런타임 검사 및 실행(AI Runtime Inspection and Enforcement)이 계층은 모델, 애플리케이션, 에이전트 상호작용에 적용되어 조직의 거버넌스 정책과의 트랜잭션 정렬을 지원합니다. 관련 연결, 프로세스, 통신, 입력 및 출력을 정책 및 예상 동작 위반에 대해 검사합니다. 이상 징후는 강조 표시되고 차단, 자동 수정 또는 조사, 분류, 대응 및 적용 가능한 수정을 위해 사람이나 인시던트 대응 시스템으로 전달됩니다.AI 모델에 대한 런타임 제어:· 모델 모니터링· 비정상적인 활동 및 보안 이벤트 감지, 가능한 경우 차단 및 자동 수정· 데이터 보호· 책임감 있는 AI 필터링· 내부 및 외부 제어 준수AI 애플리케이션에 대한 런타임 제어:· 데이터 보호· 책임감 있는 AI 필터링· 내부 및 외부 제어 준수· 컨텍스트 기반 액세스 제어 및 동적 컨텍스트 데이터 분류· 입력 및 출력 위험(안전 및 기업 허용 사용)에 대한 콘텐츠 이상 감지, 가능한 경우 자동 차단· AI 런타임 방어(악의적이고 해커 공격), 가능한 경우 자동 차단· 선택적 데이터 난독화 및 삭제· 내부 및 외부 제어 준수AI 에이전트에 대한 런타임 제어:· 에이전트 활동을 에이전트 의도와 정렬· 비정상적인 활동 및 보안 이벤트 감지 및 플래그· 가능한 경우 이상 및 보안 이벤트 자동 차단· 가능한 경우 이상 및 보안 이벤트 자동 수정· 내부 및 외부 제어 준수3. 정보 거버넌스(Information Governance)AI TRiSM의 맥락에서 정보 거버넌스는 데이터의 전체 라이프사이클에 걸쳐 분류, 보호, 보안 및 관리와 관련이 있습니다. 성숙한 정보 거버넌스 제어는 다음을 위해 필수적입니다.· AI가 관련성 있고 올바르게 권한이 부여된 정보에만 액세스하도록 보장· 조직의 민감한 정보 보안· EU AI Act와 같은 관련 AI 규정 준수 시도생성형 AI 도구가 엔터프라이즈 애플리케이션에 내장되거나 RAG를 사용하여 조직 정보를 찾을 때, 과다 공유된 데이터를 훨씬 빠르게 더 많은 청중에게 노출할 수 있으며, 데이터 라이프사이클 문제를 조명합니다. 조직의 데이터 자산 전반에 걸쳐 민감한 데이터를 식별하고 관리하기 위한 적절한 조치를 취하지 않으면 이러한 문제가 악화되어 불필요한 데이터 위험이 발생하고 잠재적으로 광범위한 데이터 침해로 이어질 수 있습니다.정보 거버넌스를 개선하기 위해 조직은 디지털 워크플레이스, 데이터 및 분석, 데이터 보안, 규정 준수, IAM(Identity and Access Management) 등 다양한 팀의 이해관계자로 구성된 다학제 팀을 구성해야 합니다. 이 팀은 다음에 집중해야 합니다.· 조직의 보안, 사용성, 프라이버시 및 확장 요구사항을 충족할 수 있도록 다양한 대표 팀 간의 격차 해소· 데이터 목적, 조직 목표 및 비즈니스 요구에 따라 민감한 정보를 처리, 분류, 보호 및 보안· ROT(중복, 구식 또는 3차 콘텐츠)를 관리하기 위한 데이터 보존 정책 수립· "권한 확산"을 줄이기 위해 목적 기반 액세스 제어(PBAC)로 전환· 생산성 플랫폼(Microsoft 365, Google Workspace 등)에서 위의 사항을 관리하기 쉽고 사용자가 이해하기 쉽도록 확장 가능한 정보 아키텍처 구축현재 이 기술 계층은 포괄적인 정보 거버넌스에 필요한 구성 요소 중 하나 또는 두 개에 일반적으로 초점을 맞추는 벤더로 여전히 분산되어 있습니다. 예를 들어· DSPM, DLP, DAG 벤더는 데이터 보안에 집중· ID 거버넌스 벤더는 권한 관리에 집중· 규정 준수 벤더는 보존 및 데이터 라이프사이클에 집중4. 인프라 및 스택(Infrastructure and Stack)인프라 및 스택은 AI 워크로드를 지원하는 하드웨어 및 소프트웨어 환경, AI 애플리케이션 개발 및 유지 관리에 사용되는 특수 목적 도구 및 라이브러리, 데이터 처리 계층, 네트워크 인프라를 포함한 배포 환경을 나타냅니다. 이 범주의 솔루션에는 API 키 관리와 신뢰할 수 있는 실행 환경에서 워크로드를 보호하기 위한 기밀 컴퓨팅이 포함됩니다.☑️AI TRiSM 시장을 형성하는 4가지 주요 트렌드1. AI TRiSM 팀의 형성AI는 효과적인 런타임 배포를 위해 새로운 기업 간 팀 프로세스와 도구가 필요합니다. Gartner는 향후 3년 동안 자연스럽게 TRiSM 감독 및 운영 팀으로 이어질 4가지 새로운 조직 트렌드를 목격하고 있습니다.1. 보안 및 위험 관리 기능이 관련 IT 소프트웨어 엔지니어링 및 품질 보증 팀과 통합되고, AI 엔지니어링으로 좌측 이동하여 AI TRiSM 제어를 관리2. AI 중앙 집중식 또는 하이브리드 팀이 등장하여 AI TRiSM 제어를 포함한 AI의 모든 측면을 관리3. 정보 거버넌스가 표면화되어 AI가 사용하는 정보를 보호하기 위해 여러 조직에 걸친 통합 접근 방식에 대한 즉각적인 필요성 발생4. 법무 및 규정 준수 직원이 엔터프라이즈 AI 애플리케이션에서 규제 및 법적 요구사항이 충족되도록 요구Gartner는 AI TRiSM 감독 및 운영 팀이 엔터프라이즈 AI 혁신, 개발 및 운영을 담당하는 관리자에게 보고할 것으로 예상합니다. 한편, 2024년 Gartner가 실시한 엔터프라이즈 AI 설문조사에 따르면 AI 프라이버시, 보안 및 위험 이니셔티브에 대한 예산 권한은 일반적으로 CTO 또는 CIO 사무실에 있습니다.2. 통합 AI 런타임 검사 및 실행 시스템일관된 신호, 낮은 지연 시간, 단일 패스 처리 및 통합 런타임 제어 시스템이 AI 이벤트의 런타임 검사를 효과적으로 처리하고 엔터프라이즈 정책을 실행하는 데 필요합니다. 그렇지 않으면 런타임에 동일한 이벤트에 대한 사일로화된 검사 및 정책 실행 시스템으로 인해 충돌하는 분석 및 해결이 발생합니다.다음이 중요합니다.· 런타임 정책 엔진(규칙 및 AI 모델로 구성)을 동시에 실행 - 예: 데이터 침해 위험, 편향 위험, 법적 위험 및 보안 위협을 점수화하는 별도의 정책 엔진· 결과를 공통 혼합 위험 점수로 병합하여 의심스러운 AI 상호작용에 대한 향후 엔터프라이즈 조치 및 수정 안내조직은 통합 런타임 검사 및 실행 시스템을 관리하기에 가장 적합한 팀이 AI 엔지니어링의 새로운 AI 팀인지, 확장된 IT 팀인지, 확장된 보안 및 위험 팀인지 식별해야 합니다. 통합 런타임 감지 및 실행 시스템을 소유하는 사람에 관계없이, 자동으로 차단되거나 수정되지 않는 의심스러운 트랜잭션에 대한 인시던트 대응 및 수정은 이를 처리하기에 가장 적합한 단위 및 시스템으로 전달되어야 합니다.예를 들어, 대부분의 시나리오에서 통합 검사 및 실행 시스템에서 감지된 보안 이벤트는 필요한 후속 조치를 위해 조직의 SIEM 팀(또는 적절하게 아웃소싱된 관리 보안 서비스 제공업체)으로 전송됩니다. 그런 다음 AI 이벤트 분류는 발생한 이상 또는 위반 유형에 따라 여러 에스컬레이션 대기열이 필요합니다.3. AI 호스팅 제공업체의 TRiSM 서비스 확장프런티어 모델 제공업체 및 기타 AI 호스팅 제공업체는 더 많은 비즈니스를 확보하기 위한 경쟁 전략으로 기업에 제공하는 TRiSM 서비스를 지속적으로 확장하고 있습니다. 일부는 이미 기업이 자체 특정 허용 사용 정책을 지원하는 데 사용할 수 있는 도구를 도입했습니다. 대부분의 호스팅 제공업체는 폭력, 자해, 성적 콘텐츠 및 증오에 대한 모델 사용에 대한 가드레일을 구현했습니다. 많은 제공업체가 저작권 침해 및 프롬프트 인젝션과 같은 알려진 런타임 보안 위협을 감지하기 위한 도구를 구현했습니다.AI TRiSM은 항상 사용자와 모델 제공업체 간의 공동 책임이 되며, AI 서비스의 구성, 즉 IaaS, PaaS 또는 SaaS 서비스를 나타내는지 여부에 따라 수준이 달라집니다. 자체 모델을 호스팅하고 관리하는 조직은 모든 위험 완화에 대한 전적인 책임이 있습니다.4. AI TRiSM 시장 통합AI 거버넌스와 AI 런타임 검사 및 실행의 통합: 이것은 이미 이 Market Guide의 여러 벤더에 의해 부분적으로 달성되었으며, 이 트렌드가 2025년 이후 가속화될 것으로 예상합니다. 일반적으로 AI 런타임 검사 및 실행을 제공하는 벤더는 두 가지 AI 거버넌스 기능도 제공합니다.· AI 카탈로그(인벤토리)· 지속적인 보증 및 평가이러한 두 가지 거버넌스 기능을 런타임 제어와 통합하면 모든 엔터프라이즈 AI 상호작용에 대한 실시간 분석 및 정책 실행을 위한 기반을 제공하고 AI 위험 및 위협에 대한 완전한 보기를 제공합니다.여러 유형의 벤더로부터의 확장 전략: AI 거버넌스와 런타임 검사 및 실행의 통합은 AI 여정에서 사용자를 지원하여 고객 지갑 점유율을 늘리려는 기존 대형 소프트웨어, 보안 또는 네트워킹 벤더가 제공하는 서비스에 통합됩니다. 예를 들어· 2024년 Cisco가 초기 스타트업 TRiSM 벤더인 Robust Intelligence를 인수했을 때 이 트렌드의 징후를 확인· Zscaler 및 Palo Alto Networks와 같은 클라우드 기반 네트워크 보안 벤더가 AI TRiSM으로 기능을 확장더 나아가· 일부 규제, 준수/공정성 및 신뢰 및 안전 지향 솔루션은 기존 거버넌스 위험 및 규정 준수(GRC) 시스템과 통합될 것이며, 이들 중 다수는 이미 AI 거버넌스를 위한 모듈을 추가· 일부 AI 런타임 검사 및 실행 솔루션은 Zscaler 및 Wiz와 같은 SASE, SSE 및 클라우드 보안 벤더 및 Exabeam 또는 Cisco(Splunk)와 같은 SIEM 및 SOAR 벤더와 통합· 보안 및 위험 기능에 대한 아웃소싱 서비스를 제공하는 벤더는 주로 중소 조직을 대상으로 AI TRiSM 서비스를 제공하도록 확장· AI 라이프사이클에 대한 추상화 계층을 지원하는 엔터프라이즈 AI 관리 플랫폼을 제공하는 벤더는 플랫폼에 TRiSM 기능을 점점 더 통합할 것정보 거버넌스 계층 통합: DSPM, 데이터 보안 및 DLP 시스템을 제공하는 벤더는 AI 중심 기능을 통합하도록 계속 확장할 것입니다. 특히· DSPM 벤더는 AI 런타임에서 동적 데이터 분류 및 권한 부여를 통합· DLP 벤더는 AI 세션 및 상호작용의 컨텍스트 기반 검사를 지원하고 허용 사용 및 액세스 제어를 실행하기 위해 AI 정책 엔진을 사용하도록 기능을 확장. DLP 벤더는 또한 현재와 같이 트랜잭션 입력 및 아웃바운드 정보뿐만 아니라 응답 및 인바운드 정보를 지원하도록 제품을 확대· 데이터 보안 플랫폼 벤더는 제품에서 구조화 및 비구조화 정보의 보안을 통합☑️기업을 위한 권장사항Gartner는 AI 리더가 조직 전체의 이해관계자와 협력하여 AI 신뢰, 위험 및 보안을 관리해야 한다고 강조합니다. AI 거버넌스 정책을 생성하고 업데이트하고 이러한 정책을 활성화하고 실행하는 AI TRiSM 기술을 평가하고 구현하기 위한 조직 구조를 수립해야 합니다.조직화된 후 AI 리더와 비즈니스 파트너는 다음을 수행해야 합니다.1. 조직에서 사용되는 모든 AI를 검색하고 인벤토리화: 이를 돕는 벤더의 기능을 활용하여 이 가이드의 AI 거버넌스 섹션에 정의된 대로 수행2. AI가 잠재적으로 활용할 수 있는 모든 엔터프라이즈 정보에 걸쳐 데이터 분류, 보호 및 액세스 관리를 재검토하고 구현: 구조화 및 비구조화 정보 모두 포함. 이는 정보 거버넌스와 관련된 여러 팀 간의 협업이 필요3. 서드파티 임베디드 AI 애플리케이션에서 허용되지 않는 AI 사용 또는 행동에 대한 책임과 책임을 계약적으로 정의: 법무 및 규정 준수 전문가와 협력4. 사용 중인 모든 AI 엔티티에 걸쳐 정책을 지속적으로 지원하고 실행하기 위해 계층화된 AI TRiSM 기술을 평가하고 구현: 프런티어 모델 제공업체가 제공하는 제어와 함께 엔터프라이즈 소유 AI TRiSM 서비스 포함. Microsoft, OpenAI, AWS, Google과 같은 벤더의 프런티어 모델 호스팅 제공업체 기능을 평가하고 적절한 경우 적용하되 이에만 의존하지 않음5. 단일 AI 모델 제공업체로부터의 독립성 보장: AI가 발전하고 더 발전된 비용 효율적인 AI 모델을 사용할 수 있게 됨에 따라 미래 유연성을 가능하게 함. TRiSM 서비스는 그러한 독립성을 지원하는 데 도움6. 예상되는 통합과 시스템 통합 및 유지 관리 부담을 줄이는 새로운 TRiSM 아웃소싱 서비스를 위해 벤더 환경을 지속적으로 모니터링☑️전망과 시사점Gartner는 2028년까지 대규모 조직의 25%에서 데이터 및 분석, 디지털 워크플레이스, 보안 및 규정 준수 담당자로 구성된 통합된 전담 정보 거버넌스 팀이 존재할 것으로 예측합니다. 또한 2027년까지 AI TRiSM as a Service가 자체 AI TRiSM 서비스를 구현할 리소스가 없는 기업을 위한 실행 가능한 아웃소싱 서비스 옵션으로 등장할 것으로 예상합니다.AI TRiSM은 단순히 기술적 솔루션을 넘어, 조직의 사일로 문제를 드러내고 팀들이 부서 경계를 넘어 문제를 해결하기 위해 재정렬하도록 추진하고 있습니다. 현재 단일 벤더나 솔루션이 AI 위협과 위험의 모든 측면을 해결하지는 못하지만, 시장은 빠르게 성숙해지고 있으며 사용자 수요가 꾸준히 증가하고 있습니다.기업이 AI를 안전하고 신뢰할 수 있게 활용하기 위해서는, AI TRiSM의 4계층 프레임워크를 이해하고 각 조직의 상황에 맞는 단계적 접근이 필요합니다.▶ 가트너 리포트 전문 보기 : Market Guide for AI Trust, Risk and Security ManagementAI 시대의 거버넌스는 더 이상 선택이 아닌 필수입니다. 클라우드네트웍스는 글로벌 파트너사들과 함께 기업의 안전한 AI 도입을 지원합니다. AI 거버넌스 솔루션에 대해 궁금하신 점이 있으시다면, 언제든 문의해 주세요.
January 12, 2026