콩 AI 게이트웨이(Kong AI Gateway)
AI 트래픽 게이트웨이
AI 트래픽 게이트웨이
Kong은 API, LLM, MCP, 이벤트 요청을 하나의 플랫폼에서 안전하게 연결하고 관리하는 엔터프라이즈 API 및 AI 플랫폼입니다. 클라우드 네이티브 시대가 API 호출 중심이었다면, 에이전틱 AI 시대에는 토큰, 에이전트, 컨텍스트가 새로운 연결 단위가 되고 있습니다.
AI 에이전트를 구축, 배포, 운영하고 엔터프라이즈 컨텍스트와 연결할 수 있도록 지원합니다.
API 설계, 테스트, 게시, 비용 관리까지 API 라이프사이클 전반을 하나의 플랫폼에서 관리합니다.
AI 에이전트와 애플리케이션이 실시간 데이터 스트림에 안전하게 접근하고 활용할 수 있도록 지원합니다.
토큰 사용량을 관리하고, API와 에이전트 컨텍스트 사용에 대한 과금 체계를 운영할 수 있도록 지원합니다.
AI 에이전트와 개발자가 활용할 수 있는 API, MCP, 디지털 자산을 쉽게 탐색하고 사용할 수 있도록 지원합니다.
AI는 강력합니다.
하지만 통제되지 않으면 예측하기 어렵습니다.
Kong은 엔터프라이즈 팀이 더 빠르게 서비스를 출시하고, 통제력을 유지하며, 이미 신뢰하고 있는 인프라 위에서 AI와 API를 운영할 수 있도록 지원하는 검증된 API + AI 플랫폼입니다.
Kong은 API Gateway와 AI Gateway를 기반으로 API, LLM, AI 에이전트 트래픽을 하나의 플랫폼에서 연결하고 관리합니다. 기존 API 운영 경험을 AI 환경으로 확장해, 기업이 AI 서비스를 빠르게 도입하면서도 일관된 운영 체계를 유지할 수 있도록 지원합니다.
AI는 강력하지만 통제되지 않으면 예측하기 어렵습니다. Kong은 엔터프라이즈 환경에서 AI 트래픽을 안전하게 보호하고, LLM 사용과 에이전트 연결을 관리 가능한 구조로 운영할 수 있도록 지원합니다. Kong AI Gateway는 기존 API 거버넌스 방식을 LLM 환경에도 적용해 AI 활용을 확장하면서 통제력을 유지할 수 있도록 돕습니다.
Kong은 1,000개 이상의 엔터프라이즈 고객, 182,000명 이상의 커뮤니티 멤버, 90,000개 이상의 GitHub 스타를 기반으로 검증된 API + AI 플랫폼입니다. Kong은 99.99% 가용성 SLA, 하루 1조 건 규모의 API 및 AI 호출 처리, API와 에이전트 컨텍스트에 대한 가시성을 강조하며 대규모 운영 환경에 필요한 안정성과 성능을 제공합니다.
기업 환경에서는 여러 LLM, MCP, A2A 트래픽, API, 에이전트가 동시에 운영되면서 복잡성이 빠르게 커집니다. Kong은 이를 하나의 일관된 운영 모델로 관리할 수 있도록 지원해 운영 분산을 줄이고, 팀 간 핸드오프를 최소화하며, 접근 제어·컴플라이언스·멀티 리전 안정성·토큰 비용 관리까지 함께 대응할 수 있도록 합니다.
Kong은 기업이 이미 사용 중인 시스템, 도구, 클라우드 환경과 함께 작동하도록 설계되었습니다. 인프라 및 클라우드, AI 에이전트와 LLM, 보안 및 인증, 개발, 옵저버빌리티, 데이터 및 분석 영역과 연동할 수 있어 기존 아키텍처를 유지하면서 API와 AI 연결 계층을 확장할 수 있습니다.
AI 도입이 가속화되면서 애플리케이션은 기본적인 LLM 호출을 넘어, 사용자 애플리케이션, 에이전트, 오케스트레이션 계층, 컨텍스트 서버가 파운데이션 모델과 실시간으로 상호작용하는 복잡한 멀티 액터 시스템으로 진화하고 있습니다.
이러한 환경에서는 MCP와 A2A를 통해 도구, 데이터, 의사결정을 교환하는 방식이 표준화되고 있지만, 실제 운영 인프라에서는 인증, Rate Limiting, 데이터 보안, 옵저버빌리티, AI 제공업체 변경 대응 등 다양한 과제가 발생합니다.
Kong AI Gateway는 LLM, MCP, 에이전트 간 통신(A2A) 트래픽을 하나의 게이트웨이에서 관리하는 AI 트래픽 게이트웨이입니다. 접근 제어, 데이터 유출 방지, 토큰 사용량 관리, 옵저버빌리티, 멀티 LLM 연동을 지원해 AI 트래픽을 안전하고 효율적으로 운영할 수 있도록 돕습니다.
또한 분산된 AI Gateway 솔루션에 의존하지 않고 모든 AI 트래픽을 안전하고 복원력 있는 하나의 플랫폼으로 통합해, AI 에이전트를 더 빠르게 구축하고 토큰 비용과 AI 리스크를 함께 관리할 수 있습니다.
개발자, 애플리케이션, 에이전트가 LLM을 사용하는 방식을 관리합니다. 접근 제어부터 데이터 유출 방지, 토큰 사용량 관리까지 LLM 트래픽 전반을 통제할 수 있습니다.
MCP 서버를 생성하고, 에이전트가 MCP 서버를 탐색하고 사용하는 방식을 관리합니다. 운영 환경에 적합한 MCP 구현을 위해 컨텍스트를 최적화하고, 인증 및 접근 제어를 적용할 수 있습니다.
에이전트 게이트웨이를 통해 멀티 에이전트 트래픽 전반을 관리합니다. 인증, 옵저버빌리티, 감사 기능을 내장해 복잡한 에이전트 간 통신을 안전하게 운영할 수 있습니다.
분산된 AI Gateway 솔루션이나 엔터프라이즈 운영 요건을 충족하지 못하는 도구에 의존할 필요가 없습니다. Kong은 모든 AI 트래픽을 안전하고 복원력 있는 하나의 플랫폼에서 통합 관리할 수 있도록 지원합니다.
고급 LLM 정책 적용
· PII 정제를 통한 데이터 유출 방지 및 컴플라이언스 리스크 감소
· 시맨틱 캐싱, 라우팅, 로드밸런싱을 통한 LLM 트래픽 운영 효율 향상
· 시맨틱 프롬프트 가드, 접근 제어 등을 통한 리소스 보호 및 컴플라이언스 지원
MCP 기반 에이전트를 운영 환경에서 구현
· Kong이 관리하는 API 위에 지능형 MCP 도구 및 서버 자동 생성
· MCP 서버 접근 제어를 위한 인증 적용
· MCP 컨텍스트 최적화를 통한 토큰 비용 최적화
복잡한 멀티 에이전트 시스템 관리
· 모든 A2A 트래픽 관찰 및 A2A 전용 메트릭 수집
· 페이로드, 지연 시간, 토큰 사용량, 오류를 포함한 A2A 호출별 상세 텔레메트리 수집
· 모든 A2A 트래픽에 중앙화된 인증 및 권한 부여(AuthN/Z) 적용
· 호출자 ID, 호출된 기능 등을 기반으로 한 A2A RPC 호출 감사 및 추적
AI 네이티브 트래픽 외 데이터 경로 관리
· 에이전트의 API 및 이벤트 데이터 자산 컨텍스트 사용 방식 관리
· 애플리케이션, 인텔리전스, 컨텍스트 계층의 통합 관찰 및 관리
· 엔터프라이즈 데이터, 이벤트, API, 에이전트 준비형 컨텍스트 제공
고급 LLM 및 토큰 쿼터 관리
· 사용자, 모델, 기간 기준의 LLM 사용량 및 토큰 비용 쿼터 설정
· 게이트웨이 레벨의 쿼터 적용
· 엔터프라이즈 전반의 LLM, 에이전트, MCP 사용량에 대한 쇼백 및 차지백 체계 구축
AI 트래픽 L7 옵저버빌리티
· AI 사용량, 도구 사용, 토큰 비용 추적
· 예측 기반 사용량 모델을 통한 AI 사용량 및 비용 최적화
· 로깅, 트레이싱 등을 통한 AI 노출 영역 디버깅
모든 LLM 사용 사례 지원
· Kong의 통합 API 인터페이스를 통한 여러 AI 제공업체와의 즉시 연동
· 새로운 사용 사례 확장 및 다운타임 상황에서의 고가용성 확보를 위한 AI 제공업체 간 원활한 전환
AI 게이트웨이의 도입부터 보안, 비용 최적화, AI 모델 및 에이전트 관리까지, 실제 운영 환경에서 기업이 자주 묻는 질문과 답변을 확인해 보세요.
AI 게이트웨이는 AI 트래픽의 라우팅, 보안 및 관리를 중앙에서 수행하는 솔루션입니다.
Kong AI Gateway는 대규모 언어 모델(LLM), 모델 컨텍스트 프로토콜(MCP), AI 에이전트 간 통신(A2A)을 통합 관리합니다. 이를 통해 기업은 AI 서비스에 대한 접근을 제어하고, 토큰 사용량을 관리하며, AI 리소스의 사용 현황을 모니터링할 수 있습니다.
네. Kong AI Gateway는 통합 API 인터페이스를 통해 여러 AI 서비스 제공업체와 연동하고, 필요에 따라 제공업체를 전환할 수 있도록 지원합니다.
또한 지능형 라우팅과 로드 밸런싱으로 LLM 트래픽을 효율적으로 분산하며, 특정 제공업체에 장애가 발생하더라도 다른 제공업체로 전환해 서비스 가용성을 유지할 수 있습니다.