이번 협력은 생성형 AI와 대규모 언어 모델(LLM)을 활용한 서비스가 확대되면서 AI 트래픽에 대한 통제와 관리 체계 구축 필요성이 커진 데 따른 것이다. 기업의 AI 활용이 실제 서비스와 업무 환경으로 확대되면서 인증·보안·모니터링 등을 통합 관리할 수 있는 관문 역할의 시스템이 요구되고 있다.

LLM 호출이 API를 통해 이뤄지는 환경에서는 여러 모델 공급자와 검색증강생성(RAG), 모델 컨텍스트 프로토콜(MCP), 에이전트 간(A2A) 통신 등이 함께 활용되면서 트래픽 관리의 복잡성도 커지고 있다. Kong은 기존 API 게이트웨이 플랫폼인 Kong Gateway의 기능을 AI 및 에이전트 트래픽 관리 영역으로 확장하고 Kong AI Gateway를 선보였다.

Kong AI Gateway는 Kong Gateway와 동일한 런타임을 기반으로 여러 LLM 공급자의 호출을 단일 인터페이스에서 관리할 수 있도록 구성됐다. 인증·인가, 사용량 제어, 감사 로그 등 기존 API 관리 기능과 함께 개인정보(PII) 필터링, 프롬프트 관리, 캐싱, 트래픽 모니터링 등의 기능을 제공한다.

클라우드네트웍스는 제품 공급과 함께 고객 환경에 맞춘 아키텍처 설계와 시스템 구축, 연계, 기술 지원 등을 진행할 예정이다. 기존 AI 운영 환경과 관문 계층을 연계해 기업의 AI 관리 체계 구축을 지원한다.

정흥균 클라우드네트웍스 대표이사는 "생성형 AI가 업무에 적용되면서 기업은 모델 성능뿐 아니라 AI 호출에 대한 통제와 관측도 함께 고려해야 한다"며 "Kong AI Gateway 공급을 통해 기업의 AI 운영과 관리 체계 구축을 지원하겠다"고 말했다.

데이비드 칼리스 Kong 아시아태평양·인도·일본 지역 부사장은 "금융, 제조, 유통 등 국내 기업의 AI Gateway 도입이 확대되는 시점"이라며 "클라우드네트웍스와 협력을 통해 기업의 AI 관리 체계 구축을 지원하겠다"고 밝혔다.

출처 : 공감신문(https://www.gokorea.kr)