데이터넷
클라우드네트웍스 ‘콩 AI 게이트웨이’, AI 트래픽·비용 통합 관리
멀티 LLM 연동·MCP·A2A 인증·감사 단일 게이트웨이서 처리토큰 사용량·모델별 비용 관측으로 AI 핀옵스 지원기업의 AI 활용이 실험 단계를 넘어 실제 서비스와 업무 운영으로 확대되면서 AI 호출을 어떻게 통제하고 관측할 것인지가 새로운 운영 과제로 떠오르고 있다. 여러 LLM 공급자와 RAG, MCP, 에이전트 간(A2A) 호출이 얽히면서 인증과 사용량 제한, 데이터 보호, 관측 정책을 애플리케이션마다 개별적으로 구현하기 어려워지고 있기 때문이다.가트너는 2026년 발표한 ‘이머징 테크 어답션 레이더(Emerging Tech Adoption Radar): 가속화하는 AI 전환’ 보고서에서 AI 게이트웨이를 정책 집행과 사용량 모니터링을 위한 단일 통제 지점으로 제시했다. 특히 에이전트 간 상호작용이 증가하면서 AI 게이트웨이가 안전하고 확장 가능한 AI 확산의 기반이 되고 있다는 분석이다.이러한 가운데 ‘콩 AI 게이트웨이(Kong AI Gateway)’는 LLM과 MCP, 에이전트 간 트래픽을 하나의 게이트웨이에서 보안·통제·관측하는 통합 거버넌스 계층을 제공한다. AI 모델과 프로바이더, MCP 서버, 에이전트를 각각 독립된 AI 엔티티로 정의하고 콩 커넥트(Kong Konnect)에서 통합 관리할 수 있도록 지원한다.서비스와 라우트를 일일이 구성하지 않아도 관리할 AI 리소스를 선언하면 게이트웨이가 필요한 설정을 자동으로 구성하며, 기존 인프라와 보안 정책에 따라 도입 방식을 선택할 수 있다.콩(Kong) 파트너인 클라우드네트웍스(대표 정흥균)는 국내 기업을 대상으로 콩 AI 게이트웨이 공급과 기술지원을 제공한다.분산된 AI 통제 단일 게이트웨이로 일원화AI 게이트웨이가 없는 환경에서는 인증과 요청 제한, 로깅, 프롬프트 관리, 재시도 같은 통제 기능을 애플리케이션마다 별도로 구현해야 한다. 이 경우 팀마다 정책이 달라지고 어떤 AI 호출이 오가는지 파악하기 어려워질 뿐 아니라 토큰 사용량과 비용 역시 일관되게 관리하기 어렵다.콩 AI 게이트웨이는 이러한 통제 기능을 AI 트래픽이 지나는 하나의 관문으로 모은다. 애플리케이션 코드를 변경하지 않고도 인증, 요청 제한, 데이터 보호, 관측 정책을 공통으로 적용할 수 있도록 해 개별 애플리케이션이 아닌 게이트웨이가 AI 트래픽의 통제 지점 역할을 맡는다.멀티 LLM 환경도 하나의 인터페이스로 통합한다. 콩 AI 게이트웨이는 AI 모델과 프로바이더를 엔티티로 정의해 공급자에 종속되지 않는 단일 표준 API로 다양한 모델을 이용할 수 있도록 지원한다.아울러 오픈AI, 앤트로픽, 애저 AI를 비롯해 데이터브릭스, 딥시크, vLLM, 키미, 마이크로소프트 파운드리, 아마존 세이지메이커 등 다양한 공급자와 모델을 하나의 인터페이스에서 호출할 수 있다. 인증정보도 중앙에서 관리하며 비용과 지연시간, 가용성에 따라 요청 경로를 동적으로 조정할 수 있다.의미 기반 캐싱과 라우팅을 활용해 유사한 요청의 응답을 재사용함으로써 비용과 지연시간을 줄이는 기능도 제공한다. PII 새니타이저는 민감정보를 자동 탐지·마스킹하며 20개 범주와 9개 언어를 지원한다. 허용·차단 목록 기반의 프롬프트 가드를 통해 정책에 어긋나는 요청도 게이트웨이에서 걸러낼 수 있다.기존 API MCP로 연결 ··· 에이전트 간 통신까지 통제AI 에이전트가 외부 도구와 데이터를 이용하는 표준 방식으로 MCP가 확산되고 있지만, 도구마다 별도 MCP 서버를 구축하고 인증을 개별 적용하면 관리 부담이 커진다.콩 AI 게이트웨이는 콩에서 관리하는 기존 API를 기반으로 MCP 도구와 서버를 생성할 수 있도록 지원한다. 이를 통해 기업은 별도의 프로그램 개발 없이 기존 REST API를 MCP 방식으로 노출하고, 개별 토큰이나 시크릿을 애플리케이션에 직접 노출하지 않으면서 에이전트와 도구 간 연결을 표준화할 수 있다.여러 MCP 서버를 하나의 엔드포인트로 묶는 ‘MCP 서버 번들링’도 제공한다. 에이전트가 여러 MCP 서버에 각각 접속하는 대신 하나의 진입점을 이용할 수 있으며, MCP 도구 접근제어(MCP Tool ACLs)를 적용해 호출자별로 사용할 수 있는 도구의 범위를 세분화할 수 있다. 권한이 없는 도구는 실행뿐 아니라 도구 목록에서도 노출되지 않는다.AI 에이전트가 서로 작업을 주고받는 구조가 늘면서 에이전트 간 통신 역시 새로운 관리 대상이 되고 있다. 콩 AI 게이트웨이는 A2A 트래픽에 중앙 집중식 인증·인가를 적용하고 페이로드, 지연시간, 토큰 사용량, 오류 등의 텔레메트리를 수집한다.발신자와 호출 기능 등 A2A 호출 내역을 감사·추적할 수 있어 승인되지 않은 에이전트 간 상호작용을 차단하고 규정 준수와 사후 분석에 필요한 기록을 확보할 수 있다.토큰 교환과 범위 기반 도구 필터링도 제공해 각 에이전트가 접근할 수 있는 기능과 데이터 범위를 제어하도록 설계됐다.토큰 사용량·비용까지 관측해 AI 핀옵스 지원콩 AI 게이트웨이는 콩 커넥트를 통해 온프레미스와 하이브리드 환경, 쿠버네티스 등 다양한 데이터 플레인에 적용할 수 있다. 기업은 기존 인프라와 보안 정책에 맞춰 배포 방식을 선택할 수 있다.감사 로그와 메트릭, 오픈텔레메트리(OpenTelemetry, OTel) 기반 트레이싱을 제공해 토큰 사용량과 지연시간, 비용을 추적하며 커넥트 분석 대시보드나 기존 관측 스택과 연동해 모델별 사용량과 응답 오류율, 요청자별 토큰 사용량 등을 확인할 수 있다.특히 LLM 비용은 단순한 요청 건수가 아니라 모델과 입출력 토큰 규모에 따라 달라지기 때문에 일반적인 API 호출량만으로는 정확한 비용 통제가 어렵다. 콩 AI 게이트웨이는 실제 토큰 사용량을 기준으로 요청 제한과 사용량 할당량을 적용해 팀이나 프로젝트별 AI 지출을 관리할 수 있도록 지원한다.텍스트뿐 아니라 오디오·이미지·비디오와 캐시 읽기·쓰기까지 구분하는 모달리티 인식 비용 관리 기능을 통해 실제 과금 체계에 맞춘 비용 산정도 지원한다.또한 LLM과 MCP, API, 이벤트 스트림 전반의 AI 리소스 소비량을 하나의 환경에서 관측해 어떤 팀과 모델, 사용 사례에서 비용이 발생하는지 파악할 수 있도록 한다. 콩은 이러한 사용량·비용 거버넌스 기능을 기업의 AI 핀옵스를 위한 기반으로 제시하고 있다.고객 환경 맞춰 구축·연계·운영 지원클라우드네트웍스는 AI 게이트웨이를 비롯해 가드레일과 레드티밍, 관측·최적화 등 AI 거버넌스 영역의 솔루션을 제공하고 있다. 콩 AI 게이트웨이 도입 시에는 고객의 기존 인프라와 보안 정책, 운영 체계를 고려해 구축과 시스템 연계, 운영 최적화까지 지원한다.AI 활용이 개별 LLM 서비스에서 MCP 기반 도구 연결과 멀티 에이전트 운영으로 확대될수록 AI 트래픽을 일관되게 통제하고 사용 현황을 관측할 수 있는 공통 관리 계층의 중요성도 커질 전망이다. 클라우드네트웍스는 이러한 흐름에 맞춰 AI 게이트웨이와 가드레일, 관측·최적화를 아우르는 AI 거버넌스 사업을 확대한다는 계획이다.출처 : 데이터넷(https://www.datanet.co.kr)
September 23, 2026