기업의 생성형 인공지능(AI) 활용 과정에서 발생하는 모델 호출과 데이터 흐름을 관리하는 AI 게이트웨이 제품이 국내에 공급된다. 여러 대규모 언어 모델(LLM)을 하나의 체계에서 관리하고 인증·보안·모니터링 기능을 적용하는 방식이다.

18일 클라우드네트웍스는 글로벌 API·AI 연결성 기업 Kong과 파트너십을 체결하고 ‘Kong AI Gateway’의 국내 유통을 시작한다고 밝혔다.

양사는 생성형 AI와 LLM을 실제 업무와 서비스에 적용하는 기업을 대상으로 AI 트래픽 관리와 거버넌스 구축을 지원할 계획이다. LLM 호출 과정에서 필요한 인증과 보안, 모니터링 등을 중앙에서 관리하는 체계를 제공한다.

LLM은 주로 API를 통해 호출되며 여러 모델 공급자와 검색증강생성(RAG), 모델 Context 프로토콜(MCP), 에이전트 간 호출 등이 함께 사용된다. Kong AI Gateway는 이 같은 환경에서 발생하는 API와 에이전트 간(A2A) 트래픽을 관리하도록 설계됐다.

Kong AI Gateway는 기존 Kong Gateway와 동일한 런타임을 사용하며 여러 LLM 공급자에 대한 호출을 단일 표준 인터페이스에서 관리한다. 기존 API에 적용하던 인증과 인가, 사용량 제한, 감사 로그 등의 정책을 AI 호출에도 적용할 수 있다.

게이트웨이 단계에서 개인식별정보(PII) 필터링과 프롬프트 통제, 의미 기반 캐싱, 트래픽 관측 기능도 제공한다. 기업이 사용하는 복수의 AI 모델과 관련 트래픽을 한곳에서 관리할 수 있도록 구성한 것이 특징이다.

클라우드네트웍스는 제품 공급과 함께 기업별 환경에 맞는 아키텍처 설계와 시스템 구축, 기존 시스템 연계, 기술 지원을 제공할 예정이다. 기존 AI 운영 환경에 게이트웨이 기반 관리 체계를 연동하는 사업도 추진한다.

정흥균 클라우드네트웍스 대표이사는 "생성형 AI가 실제 업무에 적용되면서 기업은 모델 성능뿐 아니라 AI 호출을 어떻게 통제하고 관측할지 함께 고려해야 하는 상황에 놓여 있다"며 "클라우드네트웍스는 AI 운영 환경 구축 경험을 바탕으로 Kong AI Gateway를 공급하며 국내 기업의 AI 거버넌스 체계를 지원하겠다"고 전했다.

데이비드 칼리스(David Carless) Kong 아시아태평양·인도·일본 지역 부사장은 “올해는 금융, 제조, 유통 등 국내 주요 기업을 중심으로 Kong AI Gateway 도입이 본격화되는 중요한 시점”이라고 말했다.

출처 : 내외경제TV(https://www.nbntv.co.kr)