기업의 AI 도입 속도는 보안 통제 체계가 따라잡는 속도보다 빠릅니다. 생성형 AI, LLM, 자율 에이전트가 업무 환경 곳곳에 배치되는 동안, 보안팀이 해당 자산을 목록화하거나 승인 절차에 올리는 작업은 뒤처지는 경우가 많습니다.

이 격차에서 나타나는 대표적인 현상이 섀도우 AI(Shadow AI)입니다. IBM이 2025년 발표한 Cost of a Data Breach Report에 따르면 조사 대상 조직의 63%는 AI 거버넌스 정책을 갖추고 있지 않았고, 20%는 섀도우 AI와 관련된 침해를 경험했습니다. 사용 자체를 막지 못하는 상황에서 사용 현황조차 파악되지 않는 구간이 존재한다는 의미입니다. 동시에 이사회, 감사인, 고객사는 AI 사용에 대한 명확한 정책과 통제 근거를 요구하기 시작했습니다. 그런데 대부분의 조직은 스프레드시트, 설문지, 수작업으로 모은 자료로 이 요구에 대응하고 있습니다. 이 지점에서 AI 거버넌스는 정책의 문제가 아니라 증거의 문제로 성격이 바뀝니다.

이 글에서는 퀄리스(Qualys)가 공개한 AI 거버넌스 증거 공백에 대한 분석과 Qualys TotalAI가 제시하는 접근 방식을 정리합니다.

☑️ 섀도우 AI(Shadow AI)란 무엇인가

섀도우 AI는 IT나 보안 조직의 감독 없이 임직원이 도입해 사용하는 미승인 AI 도구를 뜻합니다. IBM은 Cost of a Data Breach Report 2025에서 섀도우 AI를 이와 같이 정의하며, 이를 기술적 문제이자 조직 문화의 문제로 함께 설명합니다. 업무 효율을 높이라는 압박 속에서 임직원이 지침 없이 AI 도구를 사용하다가 고객 PII나 회사 지식재산을 업로드하면서 보안 절차를 우회하게 된다는 것입니다.

퀄리스는 여기에 더해 탐지 대상 범위를 SaaS 코파일럿, 브라우저 플러그인, AI 에이전트, MCP 서버, 코드 저장소, 컨테이너, GPU 환경까지로 제시합니다. 임직원 단위의 AI 사용과 개발 조직의 AI 자산이 서로 다른 경로로 발생하기 때문에, 두 영역을 하나의 인벤토리로 묶지 못하면 실제 사용 현황과 관리 대상 목록 사이에 차이가 남습니다.

☑️ AI 거버넌스가 증거의 문제가 된 이유

퀄리스는 AI 거버넌스의 핵심 난제를 증거 공백(Evidence Gap)으로 정의합니다. 정책 문서, 벤더 설문지, 리스크 레지스터는 조직이 무엇을 하기로 했는지는 보여주지만, AI 시스템이 실제로 안전하게 동작하고 있다는 사실을 증명하지는 못한다는 것입니다.

원문은 보안팀이 이해관계자별로 거의 동일한 질문에 반복해서 답하느라 상당한 시간을 쓰고 있다고 지적합니다.
- AI 자산 인벤토리를 유지하고 있습니까
- 모델을 어떤 방식으로 테스트합니까
- AI 에이전트가 접근할 수 있는 범위는 어디까지입니까

이 부담은 특정 조직에 집중되지 않고 역할별로 분산됩니다. 컴플라이언스와 GRC 담당자는 벤더 설문과 내부 감사를 병행하고, AppSec과 DevOps 조직은 CI/CD 파이프라인에 AI 점검 항목을 넣는 방법을 찾습니다. 클라우드와 아이덴티티 팀은 AI 관련 권한을 매핑하고, CISO와 리스크 담당 임원은 이 모든 내용을 이사회 보고 수준의 언어로 다시 정리해야 합니다.

☑️ 섀도우 AI가 만드는 리스크의 실제 크기

섀도우 AI는 비용으로 측정되는 리스크입니다. IBM Cost of a Data Breach Report 2025 기준으로 섀도우 AI 사용 수준이 높은 조직은 섀도우 AI가 없거나 낮은 조직 대비 평균 67만 달러 높은 침해 비용을 기록했습니다. 같은 보고서에서 글로벌 평균 침해 비용은 444만 달러였습니다.

노출되는 데이터의 성격도 다릅니다. 섀도우 AI가 관련된 침해에서는 고객 PII가 유출된 비율이 65%로 글로벌 평균 53%보다 높았고, 지식재산이 유출된 비율은 40%로 글로벌 평균 33%보다 높았습니다.
조직 자체의 AI 자산도 안전하지 않습니다. 같은 보고서에서 AI 모델 또는 AI 애플리케이션 관련 침해를 보고한 조직은 13%였으며, 이 중 97%는 적절한 AI 접근 통제를 갖추지 못한 것으로 나타났습니다.
모델 자체의 취약성도 확인됩니다. 2024년 11월 IBM 자료 기준으로 생성형 AI 탈옥 시도의 약 20%가 성공했고, 성공한 공격의 경우 공격자가 평균 42초와 5회의 상호작용을 필요로 했습니다. 성공한 공격 중 90%는 데이터 유출로 이어졌습니다.
공격 시도 자체도 늘고 있습니다. OWASP GenAI Security Project가 2026년 6월 발표한 State of Agentic AI Security and Governance v2.01은 프롬프트 인젝션 시도가 전년 대비 340% 증가했으며, 프롬프트 인젝션이 에이전틱 AI 장애의 주된 원인으로 유지되고 있다고 밝혔습니다.
노출된 정보가 충분히 민감하고 해당 사건이 중요하다고 판단되는 경우, 승인되지 않은 AI 사용이 SEC 공시 의무를 촉발할 수 있다는 점도 퀄리스가 지적하는 부분입니다.

☑️ 규제 환경은 증거를 요구하는 방향으로 움직입니다

각국 규제 기관은 AI에 대한 리스크 관리와 실증 가능한 통제를 요구하고 있습니다.

EU AI Act(Regulation (EU) 2024/1689)는 고위험(high-risk) AI 시스템에 대해 리스크 관리, 로깅, 기술 문서화, 인적 감독, 사이버보안 조치를 요구합니다. 과징금은 위반 유형에 따라 차등 적용되며, 금지된 AI 관행 위반은 최대 3,500만 유로 또는 글로벌 연간 매출액의 7%, 고위험 시스템 관련 의무를 포함한 그 밖의 위반은 최대 1,500만 유로 또는 3%까지 부과될 수 있습니다. 다만 EU AI Act는 조항별로 적용 시점이 나뉘는 단계적 적용 구조이며, 2026년 들어 일부 의무의 적용 시점 조정이 이루어졌습니다. 실제 대응 일정은 작성 시점 기준 최신 공식 자료로 확인이 필요합니다.

미국에서는 NIST의 AI 리스크 관리 프레임워크(AI RMF)가 신뢰할 수 있는 AI의 사실상 기준선으로 자리 잡고 있으며, 캘리포니아와 뉴욕 등은 주 단위 AI 법률을 NIST 가이드라인과 연결하고 있습니다. 이 외에도 OWASP의 LLM 및 MCP 대상 Top 10, MITRE ATLAS, ISO/IEC 42001, 싱가포르 AI 가이드라인, CERT-In 등 참조 프레임워크가 늘고 있습니다.

국내에서는 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」이 2026년 1월 22일 시행되었습니다. 이 법은 고영향 인공지능과 생성형 인공지능을 중심으로 투명성 및 안전성 확보 의무를 규정하고 있습니다.

이 규제들이 공통적으로 요구하는 것은 리스크 관리와 증거입니다. 퀄리스가 제시하는 핵심 질문은 하나로 정리됩니다. 우리 AI가 안전하다는 사실을 어떻게 아는가.

여기에 답하려면 IT 보안과 동일한 기본기가 필요합니다. 인벤토리, 스캐닝, 조치, 사고 대응이 있어야 하고, 그 통제가 실제로 동작하고 있다는 지속적인 기술적 증거가 뒷받침되어야 합니다. 정책 문서만으로는 충분하지 않습니다.

☑️ 기존 보안 도구로는 AI 리스크를 증명하기 어려운 이유

기존 보안 도구는 인프라를 스캔하고 데이터 이동을 모니터링할 수 있지만, 모델과 에이전트가 어떻게 행동하는지는 보지 못합니다. 패치가 모두 적용된 환경에서도 정교하게 설계된 프롬프트 하나로 민감 정보가 노출될 수 있으며, 이 경우 인프라 측면에서는 뚜렷한 실패 징후가 남지 않습니다. 특정 시점을 촬영하는 스냅샷 방식의 평가는 AI의 런타임 동작에 대해 맹점을 갖습니다.

AI 리스크는 프롬프트, 모델 응답, 에이전트 행위, 과도한 권한을 통해 런타임에 드러납니다. 코드에서 클라우드, 브라우저까지 이어지는 가시성이 없으면 조직은 다음과 같은 기본적인 질문에도 답하기 어렵습니다.
- AI는 정확히 어디에서 실행되고 있습니까
- 어떤 모델이 정보를 유출하거나 조작될 수 있습니까
- 우리 에이전트는 무엇을 할 수 있습니까
- 우리의 통제가 실제로 작동했다는 것을 증명할 수 있습니까

개별 도구 카테고리는 AI 라이프사이클 전체를 포괄하지 못합니다. API 스캐너는 알려진 모델은 테스트하지만 섀도우 AI는 찾지 못합니다. EDR과 CNAPP 플랫폼은 인프라를 평가하지만 추론 동작은 다루지 않습니다. CI/CD 도구는 코드 이슈를 찾지만 런타임 안전성을 강제하지는 못합니다.
퀄리스는 이 상황의 본질을 그라운드 트루스(ground truth)의 부재로 설명합니다. 컴플라이언스 프레임워크는 무엇을 해야 하는지는 알려주지만, 그것을 어떻게 증명할지는 알려주지 않는다는 것입니다.

☑️ Qualys TotalAI가 제시하는 AI 거버넌스 4개 축

Qualys TotalAI는 퀄리스의 Enterprise TruRisk Platform 위에 구축된 코드부터 런타임까지 아우르는 AI 보안 및 거버넌스 솔루션으로, 네 가지 구성 요소를 하나의 워크플로로 연결합니다.

1. 발견(Discover): AI 자산 인벤토리 확보

거버넌스는 AI가 어디에 존재하는지 정확히 아는 데서 시작합니다.

TotalAI는 클라우드 서비스, GPU, 컨테이너, 코드 저장소, SaaS 코파일럿, 브라우저 플러그인, AI 에이전트, MCP 서버 전반에서 승인된 AI와 섀도우 AI를 지속적으로 탐지합니다. 모델, 프레임워크, 워크로드를 식별한 뒤 각 자산을 소유자, 운영 컨텍스트, 노출 수준, 핵심 시스템에 대한 접근 권한과 매핑합니다.
퀄리스는 이 과정이 정적인 스프레드시트와 자가 신고 기반 목록을 실시간 감사 가능한 거버넌스 기준선으로 대체한다고 설명합니다. 무엇이 돌아가고 있는지, 어디에서 돌아가는지, 누가 소유하는지, 승인된 자산인지가 하나의 인벤토리에 정리되면 보안팀과 감사인이 필요로 하는 근거가 확보됩니다.

2. 평가: 포스처, 행위, 런타임의 3단 점검

TotalAI는 취약점 관리와 AI 전용 테스트, 실시간 모니터링을 결합해 AI 리스크를 평가하며, 각 발견 항목에 대해 포렌식 증거와 심각도 등급을 제공합니다. 평가는 세 가지 층위로 구성됩니다.

포스처 영역에서는 무엇이 노출되고 잘못 설정되었는지를 확인합니다. 실패한 보안 및 거버넌스 통제, 클라우드 오구성, 취약한 AI 인프라, 과도한 접근 권한, 노출된 모델 또는 MCP 엔드포인트, 누락된 안전장치를 식별합니다. AI SaaS 영역에서는 지원 대상 AI SaaS의 설정, 사용자, 그룹, 접근 권한을 평가하면서 승인된 사용과 섀도우 AI 사용을 구분합니다. AI 코드 보안 영역에서는 배포 전 단계에서 노출된 시크릿, 취약한 의존성, 안전하지 않은 AI 패턴, 취약한 Cedar 정책, 저장소와 CI/CD 파이프라인의 오구성을 탐지합니다.
행위 영역에서는 AI가 조작될 수 있는지를 실제로 시험합니다. LLM 대상 적대적 테스트를 통해 프롬프트 인젝션, 탈옥, 민감 정보 노출, 환각, 안전하지 않은 출력, 다국어 및 인코딩 공격, 서비스 거부, 멀티모달 조작을 점검합니다. MCP 서버에 대해서는 툴 포이즈닝, 인자 인젝션, SSRF, DNS 리바인딩, 러그풀 공격, 안전하지 않은 파일 접근, 스푸핑, 명령 실행, 자격 증명 노출을 직접 스캔합니다. 각 결과에는 프롬프트, 응답, 심각도, 통과 및 실패 여부, 성공한 탈옥 사례와 기술적 근거가 함께 기록됩니다.
런타임 영역에서는 승인 이후 AI가 실제로 무엇을 하는지 확인합니다. 코드, Cedar 정책, 워크로드, 런타임, 행위를 연결해 무엇이 만들어졌고 배포되었으며 허용되었고 실행되었는지를 파악하며, 커널 수준 eBPF 계측을 통해 AI 워크로드가 서버에서 실제로 실행하는 동작을 확인합니다. 브라우저 플러그인 텔레메트리와 SaaS 커넥터를 결합해 임직원의 승인 및 미승인 AI 사용, 위험한 설정, 프롬프트와 업로드를 통한 민감 데이터 이동을 파악하고, 승인 이후의 포스처 드리프트와 비정상적인 모델 또는 MCP 활동을 탐지합니다.
앞서 살펴본 IBM 조사에서 섀도우 AI 관련 침해가 고객 PII와 지식재산 유출로 이어지는 비율이 평균보다 높게 나타난 점을 고려하면, 프롬프트와 업로드를 통한 데이터 이동을 확인하는 브라우저 및 SaaS 계층의 가시성은 섀도우 AI 대응에서 비중이 큰 영역입니다.

3. 조치(Remediate): 우선순위 기반 조치 가이드

발견 항목만으로는 리스크가 줄지 않습니다. TotalAI는 모든 AI 이슈를 Qualys TruRisk 엔진으로 점수화하며, 이때 취약점 심각도, 데이터 민감도, 자산 중요도, 비즈니스 컨텍스트, 모델 행위, 런타임 증거를 함께 반영합니다. 퀄리스는 고객 PII에 접근 가능한 모델에서 발생한 프롬프트 인젝션이 최상위 우선순위를 받는 사례를 예시로 제시합니다.

각 이슈는 성격에 따라 클라우드, DevOps, AppSec, 아이덴티티 및 GRC 등 담당 조직으로 라우팅됩니다. 행위 기반 통제가 실패한 경우에는 가드레일, 프롬프트, 검색 로직, 정책, 애플리케이션 설계에 대한 변경을 권고하며, 공격 증거를 보존한 상태에서 플랫폼별 가드레일과 필요한 설정을 생성하고 사람의 승인 절차를 유지합니다.
조치가 적용된 뒤에는 재테스트를 수행하고 결과를 기록합니다. 퀄리스는 이 과정이 리스크가 실제로 줄었다는 방어 가능한 증거를 만들고, 탐지에서 조치, 검증, 문서화로 이어지는 루프를 닫는다고 설명합니다.

4. 거버넌스: 감사 대응이 가능한 리포팅

TotalAI는 AI 인벤토리, 포스처 스캔 결과, 테스트 로그, 조치 상태를 통합 대시보드와 리포트로 정리합니다. 이 산출물은 감사인과 경영진이 실제로 묻는 질문, 즉 우리가 보유한 AI 시스템은 무엇인지, 그중 어떤 것이 컴플라이언스를 충족하는지, 남아 있는 이슈는 무엇인지에 대응합니다.

리포트는 NIST AI RMF, EU AI Act 요구사항, FISMA, CMMC 2.0, OWASP Top 10 for LLM, MITRE ATLAS 등 프레임워크에 매핑된 형태로 내보낼 수 있습니다. 고객사 보안 설문, 벤더 평가, 이사회 보고 자료, 감사 제출물에 반복적으로 활용할 수 있는 형태입니다.
연방 기관 및 계약업체를 위해 TotalAI는 FedRAMP Moderate 승인(Authorized)을 받았으며, 승인된 경계 내에서 추가 ATO 절차 없이 배포할 수 있습니다.
또한 TotalAI는 클라우드, 취약점, 컨테이너 리스크를 이미 처리하고 있는 단일 플랫폼 위에서 동작하기 때문에, AI 리스크를 기존 보안 프로그램의 또 다른 축으로 다룰 수 있습니다. 별도 인프라나 에이전트를 추가하지 않고 기존 워크플로로 결과가 유입되는 구조입니다.

☑️ 도입을 검토할 때 확인할 포인트

지금까지 정리한 내용을 도입 검토 관점으로 옮기면 다음과 같은 항목을 확인해 볼 수 있습니다.

첫째, AI 자산 인벤토리가 자가 신고가 아닌 자동 탐지 기반으로 유지되고 있는지 확인합니다. 섀도우 AI는 승인 절차를 거치지 않는 사용을 뜻하므로 신고 기반 목록으로는 파악 범위에 한계가 있습니다.
둘째, 인프라 취약점 점검과 모델 행위 테스트가 서로 다른 도구와 보고 체계로 분리되어 있는지 확인합니다. 두 영역이 분리되어 있으면 통합된 증거를 만들기 어렵습니다.
셋째, 브라우저와 SaaS 계층의 AI 사용 현황을 파악할 수단이 있는지 확인합니다. 임직원 단위의 생성형 AI 사용은 개발 조직의 AI 자산과 다른 경로로 발생합니다.
넷째, 조치 이후 재검증과 기록이 자동으로 남는지 확인합니다. 감사 대응에서 요구되는 것은 조치 계획이 아니라 조치가 완료되었고 검증되었다는 증거입니다.
다섯째, 산출되는 리포트가 조직이 대응해야 할 프레임워크에 매핑되는지 확인합니다. 국내 기업의 경우 인공지능 기본법 대응과 글로벌 규제 대응을 함께 고려해야 하는 경우가 있습니다.

☑️ 자주 묻는 질문

섀도우 AI(Shadow AI)란 무엇인가요?

섀도우 AI는 IT나 보안 조직의 감독 없이 임직원이 도입해 사용하는 미승인 AI 도구를 의미합니다. IBM Cost of a Data Breach Report 2025 기준으로 조사 대상 조직의 20%가 섀도우 AI와 관련된 침해를 경험했으며, 섀도우 AI 사용 수준이 높은 조직은 그렇지 않은 조직 대비 평균 67만 달러 높은 침해 비용을 기록했습니다.

AI 거버넌스 증거 공백이란 무엇인가요?

AI 거버넌스 증거 공백은 조직이 AI 정책과 설문 답변은 갖추고 있지만, 모델과 에이전트, AI 워크로드가 운영 환경에서 실제로 안전하게 테스트되고 통제되고 있다는 지속적인 기술적 증거는 갖추지 못한 상태를 의미합니다.

Qualys TotalAI는 별도의 에이전트나 인프라가 필요합니까?

필요하지 않습니다. TotalAI는 기존 Qualys Cloud Agent와 클라우드 연동을 활용하며, 새로운 에이전트나 코드 수정, 추가 인프라 없이 사용할 수 있습니다.

TotalAI는 어떤 규제와 프레임워크를 지원합니까?

NIST AI RMF, EU AI Act, OWASP Top 10 for LLM, MITRE ATLAS, FISMA, CMMC 2.0 등 주요 요구사항에 매핑된 리포트를 생성합니다. 또한 FedRAMP Moderate 승인을 받았습니다.

☑️ 마무리

섀도우 AI를 포함한 AI 자산이 어디에서 무엇을 하고 있는지 파악되지 않으면 AI 정책은 문서로만 남습니다. 이사회와 감사인, 규제 기관이 요구하는 것은 정책의 존재가 아니라 그 통제가 실제로 작동한다는 기술적 증거입니다. AI 자산을 찾아내고, 모델과 에이전트의 행위까지 평가하고, 조치 결과를 검증해 기록으로 남기는 과정이 하나로 이어져야 합니다.

Qualys TotalAI는 발견, 평가, 조치, 거버넌스 리포팅을 하나의 플랫폼에서 연결해 이 과정을 지원합니다. 별도 인프라나 에이전트를 추가하지 않고 기존 Qualys 환경 위에서 운영할 수 있어, 우리 조직에 어떤 AI가 돌아가고 있는지 확인하는 단계부터 시작할 수 있습니다. 클라우드네트웍스는 Qualys 공 파트너로서 도입 검토부터 구축, 운영까지 지원합니다. 섀도우 AI 현황 파악과 AI 거버넌스 체계에 대한 문의사항은 클라우드네트웍스로 연락 부탁드립니다.

▶ 퀄리스(Qualys) 제품정보

[출처 : Qualys, "Operationalize AI Governance Across Shadow GenAI, MCP, and Agentic Workloads with Qualys TotalAI", IBM, "Cost of a Data Breach Report 2025", IBM, "AI jailbreak: Rooting out an evolving threat", OWASP GenAI Security Project, "State of Agentic AI Security and Governance v2.01", European Union, "Regulation (EU) 2024/1689 (EU AI Act)", 국가법령정보센터, "인공지능 발전과 신뢰 기반 조성 등에 관한 기본법"]