이번 파트너십을 통해 양사는 생성형 AI와 대규모언어모델(LLM)을 활용하는 국내 기업을 대상으로 AI 호출에 대한 보안과 통제, 모니터링 등 운영 관리 체계 구축을 지원할 계획이다.

최근 기업의 AI 활용이 기술 검증과 실험 단계를 넘어 실제 업무와 서비스로 확대되면서 모델 자체의 성능뿐 아니라 AI 호출 경로와 사용량, 비용, 보안 정책 등을 관리하는 것이 주요 운영 과제로 떠오르고 있다.

특히 LLM 호출이 API 형태로 이뤄지는 가운데 여러 LLM 공급자와 검색증강생성(RAG), 모델 컨텍스트 프로토콜(MCP), AI 에이전트 간 연결이 복잡해지면서 이를 중앙에서 관리할 수 있는 시스템에 대한 수요도 늘고 있다.

Kong은 오픈소스 ‘Kong Gateway’를 기반으로 API 관리 플랫폼을 제공하는 기업이다. 최근 기존 API 관리 영역을 LLM과 MCP, 에이전트 간(A2A) 트래픽으로 확대하고 있다.

Kong AI Gateway는 기존 API 게이트웨이의 기능을 생성형 AI 영역으로 확장한 솔루션이다. 여러 LLM 공급자에 대한 호출을 하나의 인터페이스에서 관리하고 AI API 호출에 필요한 보안과 모니터링 기능 등을 제공한다.

기존 API 환경에서 사용하는 인증·인가, 사용량 제한, 감사 로그 등의 정책을 AI 호출에도 적용할 수 있다. 개인정보(PII) 제거와 프롬프트 통제, 의미 기반 캐싱, 트래픽 관측 등의 기능도 제공한다.

기업 입장에서는 개별 애플리케이션마다 AI 관련 보안·운영 기능을 별도로 구축하는 대신 게이트웨이 계층에서 공통 정책을 적용할 수 있다는 게 회사 측 설명이다.

클라우드네트웍스는 Kong AI Gateway의 국내 공급과 함께 기업별 시스템 환경에 따른 아키텍처 설계와 구축, 기존 시스템 연계, 기술 지원 등을 제공할 예정이다. 이를 기반으로 기업용 AI 거버넌스 관련 사업도 확대한다는 방침이다.

정흥균 클라우드네트웍스 대표는 "생성형 AI가 실제 업무에 적용되면서 기업은 모델 성능뿐 아니라 AI 호출을 어떻게 통제하고 관측할지도 함께 고려해야 한다"며 "Kong AI Gateway 공급을 통해 국내 기업의 AI 운영 환경 구축을 지원하겠다"고 말했다.

데이비드 칼리스 Kong 아시아태평양·인도·일본 지역 부사장은 "금융, 제조, 유통 등 국내 기업을 중심으로 Kong AI Gateway 도입을 확대할 계획"이라며 "클라우드네트웍스와 협력을 강화해 나가겠다"고 말했다.

출처 : 한경MONEY(https://magazine.hankyung.com/money)