AI 기반 고객 서비스를 도입하는 기업이 빠르게 늘고 있습니다. 상담 요약, 실시간 답변 추천, AI 콜봇까지 LLM을 활용한 서비스 방식이 다양해지면서, AI가 고객 접점 전반에 들어오고 있습니다. 그런데 도입보다 어려운 것이 운영입니다. 실제 프로덕션 환경에서 응답 품질이 저하되거나 문제가 발생했을 때 원인을 추적하기 어렵고, 대규모 상담이 처리되는 환경에서는 품질을 지속적으로 관리하는 체계를 갖추는 것 자체가 과제가 됩니다.

Arize AI가 최근 이 과제를 실제로 풀어낸 고객 사례를 공개했습니다. 전국 17개 고객센터와 4,000명 이상의 상담사를 지원하는 LG유플러스 AI 컨택센터(AICC)에 Arize AX 플랫폼을 공급한 것입니다. 외부 인터넷 접속이 차단된 폐쇄망 환경에서 엔터프라이즈급 LLMOps를 구현한 국내 사례를 소개합니다.

☑️ LG유플러스 AICC의 Arize AX 도입 사례

전국 17개 고객센터, 4,000명 상담사를 지원하는 AI 시스템

LG유플러스의 AI 컨택센터(AICC)는 전국 17개 고객센터, 4,000명 이상의 상담사, 9,000명 이상의 매장 직원을 지원하는 대규모 AI 고객 서비스 플랫폼입니다. 상담 코드 자동 추천, 상담 요약, 실시간 지식 추천, AI 기반 상담 평가, 생성형 AI 기반 Agentic 콜봇 서비스까지 LLM이 고객 상담의 핵심 흐름에 들어가 있습니다. Private LLM을 포함한 하이브리드 클라우드 환경에서 다수의 모델을 동시에 연동해 운영하고 있으며, 모든 데이터 처리는 사내 보안 가이드라인을 준수합니다. 이 규모에서 LLMOps 운영 체계를 어떻게 갖출 것인가가 핵심 과제였습니다.

폐쇄망 환경이라는 조건

운영 체계를 갖추는 것 외에, LG유플러스 AICC에는 하나의 조건이 더 있었습니다. 외부 인터넷 접속이 전면 차단된 폐쇄망 환경에서 운영되어야 한다는 것입니다. 상담 데이터가 외부 모델 학습에 활용될 리스크를 물리적으로 차단해야 했고, 이는 협상 가능한 조건이 아니었습니다. LLMOps 도구 중에는 클라우드 SaaS 방식으로 제공되는 경우가 많아, 폐쇄망 환경에서는 선택지가 제한될 수 있습니다. Arize AX는 Self-hosted 방식의 배포를 지원합니다. 고객사 인프라 내부에 직접 배포하는 구조로, 데이터가 외부로 나가지 않습니다.

Arize AX는 LG유플러스의 완전한 폐쇄망 환경에 Self-hosted 방식으로 구축되어, 엄격한 엔터프라이즈 보안 요건을 충족하면서 프로덕션 규모의 AI Observability를 제공하고 있습니다. SSO 연동, 프로젝트별 접근 권한 제어, 개발·상용 환경의 엄격한 격리를 함께 적용해 내부 데이터 접근 보안도 강화했습니다.

실제로 어떻게 쓰고 있는가

현재 LG유플러스 AICC는 Arize AX를 통해 LLM 트레이싱 및 모니터링, 프롬프트 최적화 및 실험, 자동화된 평가 파이프라인을 운영하고 있습니다. 도입 이후 개발 리드타임과 장애 대응 시간이 단축됐고, 인프라 관리 부담도 줄었습니다. 

Arize AI 이승민 APAC 기술총괄은 "LG유플러스의 AICC는 폐쇄망 환경에서 다수의 LLM을 연동해 운영하는 고도화된 AI 상담 시스템이다. Arize AX는 이러한 엔터프라이즈 환경의 복합적 요구사항을 충족하면서, LLM 트레이싱부터 평가 파이프라인까지 엔드투엔드 옵저버빌리티를 지원하고 있다"고 밝혔습니다.

LG유플러스 정진수 AICC DevOps Lead는 "Arize는 LLMOps를 넘어선 AI Platform이라고 생각한다. 폐쇄망 환경에서도 엔터프라이즈 수준의 보안과 운영 효율성을 모두 충족하면서, 데이터셋·프롬프트 관리부터 모델 평가까지 하나의 플랫폼에서 해결할 수 있는 점이 핵심이었다"고 말했습니다.

도입 과정과 실제 운영 경험은 Arize Meetup Seoul에서 정진수 DevOps Lead가 직접 발표한 아래 영상에서 확인하실 수 있습니다.

☑️ Arize AX는 어떤 플랫폼인가

Arize AX는 AI 엔지니어와 프로덕트 매니저가 AI 에이전트와 AI 애플리케이션을 신뢰 있게 관찰하고, 개선하고, 평가할 수 있도록 지원하는 플랫폼입니다. LLM, RAG, AI Agent 기반 서비스의 개발부터 프로덕션 운영까지를 하나의 플랫폼에서 지원하며, 크게 네 가지 영역으로 구성됩니다.

관찰(Observe)

관찰(Observe)은 AI 서비스의 전체 호출 흐름을 추적하고 분석하는 기능입니다. LLM 서비스는 프롬프트, 모델 호출, 검색, 응답 생성까지 여러 단계를 거치는데, 어느 단계에서 문제가 발생했는지 추적하지 못하면 품질 저하의 원인을 찾기 어렵습니다. Arize AX는 30개 이상의 프레임워크와 프로바이더에 대한 자동·수동 계측을 지원하며, 각 스팬과 트레이스를 필터링하고 검색해 문제가 되는 구간을 빠르게 찾을 수 있습니다. AI 에이전트가 여러 툴과 하위 에이전트를 거치는 복잡한 구조에서도 전체 호출 경로를 시각화할 수 있습니다.

평가(Evaluate)

평가(Evaluate)는 AI 서비스의 응답 품질을 지속적으로 측정하고 관리하는 기능입니다. LLM 서비스는 동일한 입력에도 응답이 달라질 수 있어, 품질을 일정 수준으로 유지하려면 지속적인 평가 체계가 필요합니다. 프로덕션 트레이스에 대한 온라인 평가와 실험 기반 오프라인 평가를 모두 지원하며, 자동화된 평가 결과를 사람의 판단과 비교해 평가 기준을 정교하게 맞춰가는 과정도 지원합니다. 품질이 기준치를 벗어날 경우 알림을 받고, 부적절한 응답이 사용자에게 전달되기 전에 가드레일을 통해 차단할 수 있습니다.

개선(Improve)

개선(Improve)은 데이터 기반으로 AI 서비스를 반복 개선하는 기능입니다. 프롬프트 하나를 바꾸는 것만으로도 서비스 품질이 크게 달라질 수 있는데, 변경 사항의 영향을 체계적으로 검증하지 않으면 의도치 않은 품질 저하가 생길 수 있습니다. 프롬프트 플레이그라운드에서 변경 사항을 실시간으로 비교하고, 프롬프트 허브에서 버전을 관리합니다. 대규모 데이터셋을 기준으로 실험을 구성하고, CI/CD 파이프라인과 연동해 실험 결과가 기준을 충족하는 경우에만 프로덕션에 배포하는 체계도 구성할 수 있습니다.

Alyx

Alyx는 Arize AX에 내장된 AI 엔지니어링 에이전트입니다. 트레이스 분석, 평가 생성, 실험 결과 비교, 프롬프트 개선 과정에서 컨텍스트를 이해하고 실행 가능한 제안을 제공합니다. 별도의 쿼리 언어 없이 원하는 지표를 설명하면 대시보드 위젯을 생성하는 기능도 지원합니다.

기술 기반 측면에서는 OpenTelemetry 표준을 채택해 특정 벤더, 프레임워크, 언어에 종속되지 않습니다. 엄격한 보안 요건이 있는 환경을 위한 Self-hosted 배포 옵션도 제공해, 폐쇄망 환경에서도 기능의 타협 없이 도입할 수 있습니다.

☑️ AI 서비스를 운영하는 조직이라면

LG유플러스 AICC의 사례는 LLM 기반 AI 서비스를 대규모로 운영하는 환경에서 AI Observability와 평가 체계가 어떤 역할을 하는지 구체적으로 보여줍니다. 폐쇄망이라는 까다로운 보안 요건 안에서도 엔터프라이즈급 LLMOps를 구현할 수 있다는 점은, AI 고객 서비스를 이미 운영 중이거나 도입을 검토하는 조직 모두에 실질적인 참고가 될 수 있습니다.

AI 서비스는 배포 이후가 시작입니다. 응답 품질을 어떻게 측정할 것인지, 문제가 생겼을 때 어디서 원인을 찾을 것인지, 개선 주기를 어떻게 만들 것인지. 이 질문에 답할 수 있는 운영 체계를 갖추는 것이 AI 서비스의 지속 가능성을 결정합니다.

클라우드네트웍스는 Arize AI의 국내 공식 파트너로서 Arize AX 도입 검토부터 기술 환경에 맞는 구성 방식까지 함께 검토합니다. AI 서비스 운영 체계 수립이 필요한 조직이라면 클라우드네트웍스와 상담해 보시기 바랍니다.

▶ 어라이즈 AI(Arize AI) 자세히보기