기업의 AI 도입은 실험 단계를 지나 프로덕션 환경으로 넘어가고 있습니다. 조직 안에서는 여러 LLM과 AI 에이전트, 그리고 최근에는 MCP(Model Context Protocol) 서버까지 빠르게 늘어나고 있습니다. 문제는 애플리케이션마다 인증, 비용 통제, 데이터 보호, 로깅을 제각기 구현하면 동일한 작업이 반복되고, 조직 전체의 AI 트래픽을 한눈에 파악하기 어려워진다는 점입니다.

이런 배경에서 애플리케이션과 AI 모델 사이에 위치해 트래픽을 한 곳에서 연결하고 통제하는 계층이 필요해졌습니다. 이 역할을 담당하는 것이 AI 게이트웨이입니다. 이 글에서는 Kong AI Gateway가 무엇이고, 어떤 문제를 해결하며, 어떤 기능으로 LLM과 MCP, 에이전트 트래픽을 관리하는지 정리합니다.

☑️ Kong AI Gateway란 무엇인가

Kong AI Gateway는 애플리케이션과 LLM·에이전트·MCP 서버 사이에 위치해 AI 트래픽의 라우팅, 인증, 비용 제어, 보안, 관측을 하나의 게이트웨이에서 처리하는 AI 연결·거버넌스 계층입니다. LLM 트래픽뿐 아니라 MCP 트래픽과 에이전트 간(A2A, Agent-to-Agent) 트래픽까지 동일한 게이트웨이로 통제한다는 점이 핵심입니다.

Kong AI Gateway는 Kong API Gateway 위에 구축되어 있습니다. 그래서 인증/인가, 트래픽 제어, 요청 제한, 변환 등 기존 API 게이트웨이에서 사용하던 정책과 플러그인을 AI 트래픽에도 그대로 적용할 수 있습니다. Kong은 이 게이트웨이를 통해 개발자와 애플리케이션, 에이전트가 AI를 소비하는 방식을 접근 권한부터 데이터 유출, 토큰 사용량까지 관리하도록 설계했습니다.

☑️ AI 게이트웨이가 필요한 이유

AI 게이트웨이가 없는 환경에서는 각 애플리케이션이 여러 LLM에 직접 연결되고, 보안·재시도·로깅·캐싱·프롬프트 관리 같은 공통 기능을 애플리케이션마다 따로 구현하게 됩니다. 그 결과 같은 기능이 중복 개발되고, 팀마다 거버넌스 수준이 달라지며, 조직 차원의 통합 가시성을 확보하기 어렵습니다. 또한 AI 환경에서는 통제해야 할 영역이 기존 API보다 넓어집니다. 고객 정보나 민감 데이터가 LLM으로 유입되는 것을 막아야 하고, 여러 프로바이더와 모델에 걸친 소비를 하나의 기준으로 관리해야 하며, 토큰 사용량과 비용을 지속적으로 확인해야 합니다.

AI 게이트웨이는 이런 공통 관심사를 애플리케이션 코드에서 분리해 게이트웨이 계층으로 옮깁니다. 요청 라우팅, 인증, 인가, 요청 제한, 트래픽 모니터링 같은 기능을 중앙에서 처리함으로써 AI를 조직의 플랫폼이 제공하는 하나의 서비스처럼 다룰 수 있게 합니다.

☑️ Kong AI Gateway의 동작 방식

Kong AI Gateway는 애플리케이션과 AI 모델 사이에서 프록시 역할을 합니다. 애플리케이션은 각 프로바이더에 직접 연결하는 대신 게이트웨이 주소로 요청을 보냅니다. 실제 코드 관점에서는 LLM 호출부의 엔드포인트(base_url)를 게이트웨이 주소로 바꾸는 정도의 변경으로 연동이 가능하며, 개별 프로바이더 인증 키를 애플리케이션에 직접 노출하지 않아도 됩니다. Kong은 이러한 로우코드 통합을 통해 GenAI 프로젝트를 프로덕션 수준으로 전환할 수 있도록 지원합니다.

구조적으로 Kong Enterprise는 관리 기능을 담당하는 컨트롤 플레인(Control Plane)과 실제 트래픽을 처리하는 데이터 플레인(Data Plane)으로 구성됩니다. AI Gateway와 MCP Gateway는 데이터 플레인을 구성하는 요소로, API Gateway, Event Gateway, Ingress Controller, Service Mesh와 함께 동일한 플랫폼 위에서 동작합니다.

게이트웨이를 지나는 AI 요청은 단계별 플러그인 파이프라인을 거칩니다. 소개 자료 기준으로 이 파이프라인은 보안 및 접근 제어(Security & Access Control), 비용 제어 및 캐싱(Cost Control & Caching), 콘텐츠 안전성(Content Safety), 컨텍스트 관리(Context Management), LLM 프록시(LLM Proxying), 응답 콘텐츠 안전성(Response Content Safety), 로깅 및 분석(Logging & Analytics)의 순서로 구성됩니다. 각 단계에서 필요한 정책만 선택해 적용하는 방식입니다.

☑️ Kong AI Gateway 주요 기능

멀티 LLM 지원과 프로바이더 전환

Kong AI Gateway는 통합 API 인터페이스를 통해 여러 AI 프로바이더를 함께 사용할 수 있습니다. 설정 전환만으로 프로바이더를 교체할 수 있어, 새로운 활용 사례를 적용하거나 특정 프로바이더에 장애가 발생했을 때 다른 프로바이더로 전환해 가용성을 유지할 수 있습니다.

고객 환경에서는 이 기능이 특정 프로바이더 종속을 줄이고, 모델 교체나 이중화 구성을 애플리케이션 코드 변경 없이 게이트웨이 설정으로 처리할 수 있게 해 줍니다.

LLM 정책과 보안 가드레일

Kong AI Gateway는 LLM 트래픽에 여러 층위의 가드레일을 적용합니다. 대표적으로 개인정보(PII) 새니타이제이션은 개인정보, 비밀번호, 코드 등이 LLM으로 유입되는 것을 막아 데이터 유출과 컴플라이언스 리스크를 줄입니다. 3.10 버전 발표 자료 기준으로 이 기능은 20개 이상의 PII 유형과 12개 언어를 대상으로 하며, 설정에 따라 응답 단계에서 마스킹했던 원본 데이터를 최종 사용자에게 다시 제공하는 옵션도 지원합니다.

시맨틱 프롬프트 가드(Semantic Prompt Guard)는 특정 주제에 대한 요청을 차단 규칙(Deny Rule)으로 관리합니다. 예를 들어 정치 관련 질문을 차단 대상으로 설정하면, 표현이 서로 달라도 의미상 해당 주제에 해당하는 요청을 인식해 차단합니다. 이를 통해 콘텐츠 검열과 기업 이미지 보존, 안전한 AI 사용 환경을 확보할 수 있습니다.

이 밖에도 OpenID Connect, ACL(Access Control List), OPA(Open Policy Agent) 등 기존 Kong Gateway의 인증·접근 제어 정책을 AI 트래픽에 그대로 적용할 수 있습니다.

비용 제어와 성능 최적화

Kong AI Gateway는 시맨틱 캐싱(Semantic Cache)을 제공합니다. 시맨틱 캐싱은 문장 표현이 달라도 의미가 유사한 프롬프트에 대해 이미 저장된 응답을 반환하는 방식으로, 반복되는 LLM 호출을 줄여 비용을 절감하고 응답 지연을 최소화합니다. 다양한 AI 임베딩 모델과 Vector DB(예: Redis, Postgre, Valkey 및 관리형 서비스) 연결 형식을 지원합니다.

시맨틱 라우팅과 로드 밸런싱은 프롬프트 유형에 따라 특화된 모델로 요청을 분배합니다. 예를 들어 기술 지원 문의는 상대적으로 높은 성능의 모델로, 사내 규정·복지 문의는 경량 모델로 라우팅하는 식입니다. 이를 통해 프롬프트 유형별로 적합한 모델을 호출하고 모델 사용량과 비용을 최적화할 수 있습니다.

또한 사용자, 모델, 기간을 기준으로 LLM 소비와 토큰 사용량에 대한 쿼터를 설정하고 이를 게이트웨이 레벨에서 적용할 수 있습니다. 이 데이터를 기반으로 LLM과 에이전트, MCP 사용량에 대한 쇼백(showback)과 차지백(chargeback) 체계를 구성하는 것도 가능합니다.

AI 트래픽 관측 가능성

Kong AI Gateway는 AI 트래픽에 대한 L7 관측 가능성을 제공합니다. AI 소비량, 툴 사용량, 토큰 소비, 응답 상태 코드, 프로바이더별·사용자별 사용량과 비용을 대시보드에서 확인할 수 있습니다. 이를 통해 비용을 모니터링하고 사용 패턴을 튜닝할 수 있으며, 로깅과 트레이싱을 활용해 AI 트래픽을 디버깅할 수 있습니다.

관측 대시보드에서 확인할 수 있는 지표에는 모델별 사용량, 모델 제공자별 사용 비율, 응답 에러율, 요청자·사용자별 토큰 사용량과 비용 등이 포함됩니다.

☑️ 에이전트와 MCP 트래픽까지 확장하는 거버넌스

Kong AI Gateway의 관리 범위는 LLM 트래픽에 그치지 않습니다. 동일한 게이트웨이로 MCP 서버 트래픽과 에이전트 간(A2A) 트래픽까지 통제합니다.

MCP Gateway

MCP는 에이전트/AI 애플리케이션을 LLM 및 도구와 통합하는 표준화된 방식을 제공합니다. 다만 MCP 표준 자체는 지속적으로 개발·변화하고 있고, 보안 이슈와 조직 배포 지침 등 해결해야 할 과제가 남아 있어 그 자체로 완결된 해결책은 아닙니다.

Kong MCP Gateway는 이 지점을 보완합니다. Kong이 관리하는 기존 REST API를 MCP 도구와 서버로 매핑해 MCP화할 수 있고(MCP Proxy 플러그인), MCP 프로토콜의 표준 인가 방식인 OAuth 2.1을 지원합니다(MCP OAuth2 플러그인). 또한 유량 제한, 라우팅, 로드 밸런스, IP 제한, OPA 판정 등 기존 Kong Gateway의 트래픽 제어·보안 정책을 MCP 트래픽에 그대로 활용할 수 있습니다.

프록시 모드는 용도에 따라 나뉩니다. 기존 MCP 서버로 요청을 라우팅하는 방식, REST API에 프로토콜 변환을 수행해 MCP 엔드포인트를 제공하는 방식, MCP 엔드포인트만 제공하는 방식, REST API에 대한 MCP/REST 프로토콜 변환을 수행하는 방식을 지원합니다. REST API를 MCP 기능에 매핑하면 MCP를 별도로 개발하지 않아도 되어 생산성이 높아지고, 인증을 위한 개별 토큰과 시크릿을 노출하지 않아도 됩니다.

Agent Gateway (A2A)

여러 에이전트가 협업하는 멀티 에이전트 환경에서는 에이전트 간 연결 경로마다 인증과 통제가 필요합니다. Kong Agent Gateway는 A2A 트래픽에 중앙 집중식 인증·인가(AuthN/Z), 요청 제한(Rate Limiting), 관측 가능성(Observability), 구조화 로깅(Structured Logging)을 적용합니다.

구체적으로는 A2A 호출에 대한 페이로드, 지연 시간, 토큰 사용량, 오류를 포함한 상세 원격 측정 데이터를 수집해 병목을 파악하고, 승인되지 않은 에이전트 상호 작용을 방지하며, 발신자 정보와 호출된 기능·결과 등 모든 A2A RPC 호출에 대한 감사 추적 기록을 유지합니다.

AI 데이터 경로 전체로의 확장

AI 트래픽은 AI 네이티브 트래픽만으로 구성되지 않습니다. 에이전트는 조직의 API와 이벤트 데이터에서 컨텍스트를 소비합니다. Kong AI Gateway는 애플리케이션 계층, 인텔리전스 계층, 컨텍스트 계층을 하나의 플랫폼에서 관측하고 통제해, 엔터프라이즈 데이터와 이벤트, API를 에이전트가 사용할 수 있는 형태로 제공하도록 지원합니다.

☑️ 자주 묻는 질문

Kong AI Gateway는 어떤 제품인가요?

Kong AI Gateway는 애플리케이션과 LLM·MCP 서버·AI 에이전트 사이에 위치해 AI 트래픽의 라우팅, 인증, 보안, 비용 제어, 관측을 하나의 게이트웨이에서 처리하는 AI 연결·거버넌스 계층입니다. LLM, MCP, A2A 트래픽을 동일한 게이트웨이로 관리합니다.

기존 애플리케이션 코드를 많이 바꿔야 하나요?

LLM 호출부의 엔드포인트를 게이트웨이 주소로 변경하는 수준의 로우코드 통합으로 연동할 수 있습니다. 개별 프로바이더 인증 키를 애플리케이션에 직접 노출하지 않고 게이트웨이에서 관리할 수 있습니다.

여러 LLM 프로바이더를 함께 사용할 수 있나요?

가능합니다. 통합 API 인터페이스를 통해 여러 AI 프로바이더를 사용하고, 설정 전환만으로 프로바이더를 교체할 수 있습니다. 특정 프로바이더 장애 시 다른 프로바이더로 전환해 가용성을 유지할 수 있습니다.

LLM 외에 MCP나 에이전트 트래픽도 관리할 수 있나요?

Kong AI Gateway는 동일한 게이트웨이로 MCP 서버 트래픽과 에이전트 간(A2A) 트래픽을 관리합니다. MCP화, OAuth 2.1 인가, A2A 인증·관측·감사 로깅을 제공합니다.

AI 비용은 어떻게 통제하나요?

시맨틱 캐싱으로 반복 호출을 줄이고, 시맨틱 라우팅으로 프롬프트 유형별 적합한 모델을 호출하며, 사용자·모델·기간별 토큰 쿼터를 게이트웨이 레벨에서 적용합니다. 관측 대시보드에서 프로바이더별·사용자별 토큰 사용량과 비용을 확인할 수 있습니다.

☑️ 마무리

Kong AI Gateway는 늘어나는 LLM과 MCP 서버, AI 에이전트 트래픽을 하나의 게이트웨이에서 연결하고 통제하도록 설계된 AI 연결·거버넌스 계층입니다. 애플리케이션마다 흩어져 있던 인증, 보안, 비용 제어, 관측을 게이트웨이로 옮겨, AI를 조직 플랫폼이 제공하는 하나의 서비스처럼 운영할 수 있게 합니다.

클라우드네트웍스는 이러한 AI 게이트웨이 도입을 고객 환경에 맞춰 검토하고, 구축과 운영을 지원합니다. 멀티 LLM 연동, MCP·에이전트 트래픽 거버넌스, 토큰 비용 최적화, AI 트래픽 관측 등 어떤 지점에서 출발할지 함께 정리하고자 하신다면 아래로 문의해 주시기 바랍니다.

▶ Kong AI Gateway 자세히보기

[출처 : Kong, "Secure, Scalable AI Gateway for AI Connectivity", https://konghq.com/products/kong-ai-gateway, Kong, "Announcing Kong's New Open Source AI Gateway", https://konghq.com/blog/product-releases/announcing-kong-ai-gateway, Kong, "Kong AI Gateway Launches Next-Gen Capabilities to Enhance AI Governance, Help Reduce LLM Hallucinations and Provide Infrastructure for Agentic Workflows", https://konghq.com/company/press-room/press-release/kong-ai-gateway-launches-next-gen-capabilities-to-enhance-ai-governance-help-reduce-llm-hallucinations-and-provide-infrastructure-for-agentic-workflows]