AI는 단순한 기술적 혁신이 아니라, 조직이 디지털 회복력을 구축하는 데 필수적인 요소가 되고 있습니다. Splunk는 AI가 어떻게 보안과 IT 운영의 효율성을 극대화하고, 위협에 대한 대응력을 향상시키는지에 대한 철학을 정립하고 있습니다.
이번 글에서는 AI가 보안과 옵저버빌리티(Security & Observability)에서 어떤 역할을 수행하는지, 그리고 Splunk의 AI 철학이 어떻게 발전해 나가고 있는지 소개해드리겠습니다.
✅ AI의 봄, 그리고 새로운 패러다임의 시작
역사적으로 AI는 여러 번의 부침을 겪어왔습니다. 1950년대 이후 AI는 대중의 관심을 받다가도 기대에 미치지 못해 쇠퇴하는 "AI 겨울"을 반복했습니다. 하지만 2022년 말 OpenAI의 ChatGPT 출시 이후, AI는 대중화되며 다시 한번 혁신의 중심에 섰습니다.
가트너(Gartner)의 2023년 신기술 하이프 사이클(Hype Cycle)에서는 생성형 AI가 "과도한 기대의 정점(Peak of Inflated Expectations)"에 도달할 것으로 전망했습니다. 하지만 Splunk는 AI의 잠재력이 단순한 유행을 넘어 장기적인 변화를 가져올 것이라고 믿고 있습니다. AI는 전기처럼 우리의 일상과 업무 환경에 자연스럽게 녹아들 것이며, 더 이상 인식하지 않을 정도로 보편화될 것입니다.
현재의 디지털 환경은 AI 활용에 최적화되어 있습니다. 과거에는 한 사람이 조직의 모든 데이터를 관리할 수 있었지만, 클라우드와 하이브리드 아키텍처가 확산되면서 데이터는 더욱 분산되었습니다. 이는 IT 및 보안 전문가들에게 복잡성을 증가시키고 있으며, 단순한 보안 솔루션만으로는 해결하기 어려운 과제를 안겨주고 있습니다. Splunk의 2024년 보안 현황 보고서에 따르면, 91%의 보안 팀이 이미 공용 생성형 AI 도구를 사용하고 있으며, 86%의 CISO가 AI가 보안 인력 부족 문제를 해결하는 데 도움이 될 것이라고 믿고 있습니다. 즉, AI는 단순한 선택이 아니라, 디지털 회복력을 구축하는 필수적인 요소가 되고 있습니다.
AI를 정의하다: 단순한 도구가 아닌 필수 기술
Splunk는 AI를 단순한 기술이 아닌, 여러 기술을 포함하는 상위 개념(Superset)으로 정의합니다. AI는 머신러닝(ML), 딥러닝(DL), 생성형 AI(GenAI) 등을 포함하며, 이를 보안과 IT 운영에 적용함으로써 디지털 회복력을 강화할 수 있습니다. 특히 AI가 효과적으로 작동하기 위해서는 데이터의 질과 도메인 전문성이 필수적입니다. AI 모델이 학습할 수 있는 데이터가 많을수록, 이상 패턴을 감지하고 문제를 해결하는 능력이 향상됩니다. Splunk는 LLM을 단순히 도입하는 것을 넘어, 보안 및 관찰 가능성 데이터를 AI 모델과 결합하여 보다 정교한 인사이트를 제공하는 전략을 추진하고 있습니다.
AI에 대한 불안감과 신뢰 문제
AI는 많은 관심을 받으며 빠르게 발전하고 있지만, 보안 전문가들 사이에서는 여전히 불신과 우려의 대상이 되고 있습니다. "알지 못하면 보호할 수 없다"는 말처럼, AI는 여전히 많은 부분이 연구되고 있으며, 이에 대한 불확실성으로 인해 AI 불안(AI Anxiety)이 발생하는 것은 자연스러운 현상입니다. 우리가 확실하게 알고 있는 점은 다음과 같습니다. AI는 긍정적인 방향과 부정적인 방향 모두로 사용될 것입니다. 보안 전문가와 해커 모두 AI를 활용할 것이며, AI는 새로운 사회공학적 공격 기법을 만들고, 데이터 프라이버시 및 보안 위험을 증가시키며, 사이버 범죄의 장벽을 낮출 것입니다. 동시에 AI는 IT, 엔지니어링, 보안 운영을 더욱 빠르고 효율적으로 만들 것입니다.
AI에 대한 불확실성을 증폭시키는 주된 원인은 투명성 부족입니다. AI 모델이 어떤 근거로 결정을 내리는지, 왜 그렇게 판단했는지를 명확히 알기 어렵습니다. 디지털 회복력에서 의사 결정은 매우 중요한 요소이며, 잘못된 결정은 막대한 금전적 손실이나 보안 침해로 이어질 수 있습니다. 인간이 자신의 결정 이유를 설명할 수 있는 반면, AI는 아직 완전히 설명 가능한(Explainable) 수준에 도달하지 못했습니다. 또한, 인간의 편향(Bias)은 문서화될 수 있지만, AI의 알고리즘과 학습 데이터에 내재된 편향은 탐지하기가 더욱 어렵습니다. 그러나, AI의 미래는 결코 어둡지 않습니다. 오히려, AI는 디지털 회복력을 강화하는 데 있어 긍정적인 역할을 할 것입니다. 규제와 명확한 거버넌스가 AI의 문제를 해결하는 데 도움을 줄 것이며, Splunk와 같은 AI 선도 기업들이 AI를 안전하고 효과적으로 활용할 수 있도록 지원하는 것이 중요합니다.
Splunk는 2015년부터 AI를 핵심 기술로 채택하며, 고객을 보호하고 AI를 디지털 회복력 강화에 활용하는 방법을 지속적으로 연구해 왔습니다. AI를 효과적으로 개발하고 사용하려면 신중하고 체계적인 접근이 필요합니다. 이에 따라 Splunk는 AI 철학을 수립하였으며, 이는 AI의 올바른 사용과 개발을 위한 불변의 원칙이 될 것입니다. 이러한 철학은 전 세계 조직에 가치를 제공하고, Splunk의 장기적인 전략을 안내하며, 무엇보다 AI의 책임 있는 사용을 보장하는 역할을 할 것입니다.
✅ 디지털 회복력을 강화하는 Splunk의 3가지 AI 철학
1. 목적 중심(Purpose-built)의 AI가 최고의 디지털 회복력 결과를 이끌어낸다.
Splunk의 공동 창립자인 Erik Swan과 Rob Das는 처음에는 암 치료법을 찾는 데 도전했지만, 도메인 전문성이 부족해 실패를 경험했습니다. "나는 아직도 내 브라우저에 유전체학 연구 관련 북마크를 가지고 있지만, 첫 번째 논문도 끝까지 읽지 못했다."라고 Swan은 한 인터뷰에서 말했습니다. 결국 그들은 자신들이 가장 잘 이해하는 문제, 즉 IT 인프라 장애 원인을 찾기 위한 로그 검색 문제를 해결하는 방향으로 전환했고, 이를 통해 Splunk를 개발했습니다.
마찬가지로, 보안 및 관찰 가능성 분야의 전문가들은 해당 도메인의 실전 경험과 데이터를 기반으로 AI 모델을 설계하고 구축해야 합니다. AI 모델은 특정 환경과 사용 사례에 맞게 학습되어야 하며, 이를 통해 보다 적절한 맥락을 제공할 수 있습니다. 디지털 회복력 강화를 위해 AI가 진정으로 유용하려면, 범용적인 AI가 아닌 도메인 특화(Domain-specific) AI, 즉 목적 중심(Purpose-built) AI가 되어야 하며, 조직의 일상적인 워크플로우에 밀착되어야 합니다.
■ 목적 중심 AI란 무엇인가?
범용적인 AI 대형 언어 모델(LLM)은 방대한 데이터셋을 학습하여 광범위한 지식을 보유할 수 있지만, 특정 문제를 해결하는 데 있어서는 한계가 있습니다. 마치 스위스 군용 칼로 울타리를 세우려는 것과 같은 비효율성이 발생할 수 있습니다. 특정 문제를 해결하려면 전용 드릴과 같은 특화된 도구가 필요합니다. 예를 들어, 일반적인 LLM은 보안 사건을 분석할 수 있지만, 해당 분석이 조직의 환경과 정확히 맞아떨어지지는 않을 수 있습니다.
■ 도메인 특화 AI의 중요성
현재 보안 및 관찰 가능성 전문가들은 비효율적이고 번거로운 워크플로우에 지쳐 있습니다. Splunk의 2023년 'State of Observability' 보고서에 따르면, 조직들은 평균 165개의 자체 개발된 비즈니스 애플리케이션을 운영하고 유지하고 있습니다. 보안 측면에서도, 65%의 보안 운영 센터(SOC) 팀이 너무 많은 분산된 도구와 관리 콘솔을 전환하는 것에 불만을 표했습니다.
디지털 회복력 구축에서는 탐지 및 대응 시간의 단축이 필수적입니다. 여러 도구를 사용해야 하는 경우, 조직은 서로 다른 데이터를 기반으로 여러 개의 '진실의 원천'을 가지게 되어 혼란이 발생합니다. 목적 중심 AI는 기존 워크플로우와 원활하게 통합되며, 필요한 순간에 적절한 컨텍스트를 제공하여 최적의 결과를 도출할 수 있도록 지원합니다.
2. AI는 인간이 주도해야 하며, AI는 신뢰할 수 있는 조력자가 되어야 한다.
사람들은 한때 미래를 기계가 지배하는 세계로 상상하곤 했습니다. 자율주행차(심지어 비행 자동차까지), 친절한 로봇 집사, 우주로 떠나는 무책임한 휴가 등의 만화 같은 판타지가 있었습니다. 하지만 이러한 예측 중 많은 부분이 실현되지 않았습니다.
현재 존재하는 자율주행차는 대형 데이터셋을 학습한 딥러닝 알고리즘에 의존하며, 도로 표지판, 교통 흐름, 보행자를 인식하고 이에 따라 결정을 내립니다. 그러나 자율주행차는 교통 체증을 유발하거나 충돌 사고를 일으키기도 했으며, 일부는 치명적인 결과를 초래하기도 했습니다. 운전과 같은 고위험 상황에서 기계가 단독으로 결정을 내리도록 신뢰해서는 안 됩니다. 훈련 모델이 아무리 크더라도 차량은 개가 공을 물고 뛰어오는 상황과 다람쥐가 도로를 가로지르는 상황에서의 감정적 의미를 이해할 수 없으며, 그렇게 판단해서도 안 됩니다.
이와 마찬가지로, 단 한 번의 결정이 보안 및 관찰 가능성 결과에 중대한 영향을 미칠 수 있으며, 이는 비즈니스에 연쇄적인 영향을 줄 수 있습니다. AI는 인간과 협력하여 사실을 빠르게 제공하고, 사건을 요약하며, 우선순위 경고를 전면에 배치하는 조력자 역할을 해야 합니다. 하지만, 최종적으로 의사결정을 내리는 것은 항상 인간이어야 합니다.
■ AI와 인간의 협업이 필요한 이유
군사 전략에서 감정의 역할을 연구한 Samuel Zilincik 교수는 감정이 동기 부여나 전략적 조작 방식으로 사용될 때 유용할 수 있다고 주장합니다. 특히 보안 전문가들은 창의적이고 공감적이며 동기 부여된 상태여야 사이버 범죄자보다 한 발 앞서 나갈 수 있습니다. 사이버 공격자들은 일반적으로 법적 제약 없이 공격을 감행하기 때문에, 방어자는 더욱 전략적이고 직관적인 접근이 필요합니다. 보안 운영 센터(SOC), 엔지니어링, IT 운영 팀에서 암묵적 지식, 직관, 그리고 기본적인 상식은 AI가 대체할 수 없는 필수적인 기술입니다. 현대 디지털 환경은 복잡한 시스템과 공격 방법으로 가득 차 있으며, 그 위험성은 매우 큽니다. 이러한 상황을 헤쳐나가기 위해서는 인간만이 가진 세밀한 분석 능력이 필수적입니다.
■ AI는 인간을 보조하는 역할을 해야 한다
사건에 대응하는 최적의 방법을 결정하는 것은 단순히 무슨 일이 발생했는지, 누가 관련되어 있는지, 어디에서 발생했는지를 이해하는 것 이상을 요구합니다. AI는 위협 행위자의 공격 전술을 연구할 때도 한계를 가질 수 있으며, 기존의 참고 자료가 없다면 진화하는 새로운 유형의 공격과 사건을 따라잡기 어려울 것입니다. 또한, 인간이 직접 피드백을 제공하는 과정(Human-in-the-loop)이 AI 모델을 더욱 책임감 있고 신뢰할 수 있도록 만듭니다. 디지털 회복력에 있어 신뢰는 가장 중요한 요소이며, AI는 인간이 주도하는 환경에서 보조 역할을 수행해야 합니다.
3.개방성과 확장성이 AI 혁신을 가속화한다
강력한 AI는 방대한 양의 적절한 데이터를 필요로 합니다. AI는 이미 엄청난 양의 데이터를 생성하고 활용하고 있으며, 조직이 수십억 개의 매개변수를 가진 모델을 훈련하고 실행함에 따라 이러한 데이터의 양은 더욱 증가할 것입니다. 향후 20년 이상을 주도할 AI 모델을 구축하려면 신중한 계획과 협업이 필요합니다.
개방적이고 확장 가능한 AI는 여러 가지 의미를 가집니다. 확장 가능한 AI는 개발자, 데이터 과학자 및 파트너가 자신들에게 가장 적합한 방식으로 AI 모델을 구축하고 확장하며 연결할 수 있도록 유연성을 제공합니다. Splunk의 독점 모델을 사용할 수도 있고, 조직의 정책과 리스크 허용 범위에 맞춰 자체 모델을 가져올 수도 있습니다.
역사가 우리에게 가르쳐준 것이 있다면, 사람들은 자신이 있는 곳에서 만나고 싶어 한다는 점입니다. 하이브리드 및 멀티 클라우드 환경이 당분간 사라지지 않는 것처럼, 조직별 맞춤형 적응에 대한 요구도 지속될 것입니다. 지나치게 경직된 시스템은 혁신을 방해할 뿐입니다. 따라서 AI 시스템은 쉽게 통합, 사용자 정의 및 확장 가능해야 하며, 기존의 다양한 보안 및 관찰 가능성 도구와 원활하게 연동되어야 합니다.
확장 가능한 AI는 개발자가 모델을 보다 빠르고 쉽게 구축할 수 있도록 할 뿐만 아니라, 협업과 커뮤니티를 활성화하는 역할도 합니다. 오픈 소스가 소프트웨어 개발에서 혁신을 이끌어왔듯이, Splunk는 확장성이 AI의 확장과 발전을 위한 핵심 요소라고 믿습니다. 내부 엔지니어링 팀뿐만 아니라 파트너 및 서드파티 애플리케이션과의 협력을 통해 포트폴리오를 더욱 강화하고 있으며, AI 구축은 본질적으로 협업을 필요로 하는 과정입니다. 또한, 고객이 집계된 익명 데이터를 공유하도록 선택하면, 실제 환경에 기반하여 모델을 미세 조정하고 지속적으로 개선할 수 있습니다.
개방적이고 투명한 AI는 또한 AI를 둘러싼 불확실성을 해소하는 데 중요한 역할을 합니다. AI는 여러 가지 의미에서 판도라의 상자와 같습니다. 데이터 프라이버시 문제를 제외하더라도, AI 모델이 어떻게 결정을 내리는지 이해하는 것은 쉽지 않으며, AI가 점점 더 스마트해지고 확산될수록 그 이해는 더욱 어려워집니다. 확장, 생성, 적응을 위한 기반을 이해하는 것은 필수적이며, Splunk는 이러한 투명성이 개발자와 데이터 과학자가 모델을 조정하고 구축하는 데 중요한 요소라고 믿습니다. 또한, 투명성은 AI의 보다 책임감 있는 사용을 촉진하여, 편향성, 부정확성 및 환각(hallucination) 현상을 밝혀낼 수 있도록 돕습니다. 미래에 대비하는 것은 단단한 기반을 구축하고, 문제가 나중에 발생하지 않도록 미리 해결하는 것입니다.
✅ AI 철학을 현실로 구현하여 디지털 회복력 촉진하기
보다 안전하고 회복력 있는 세상을 만들기 위해, Splunk의 AI 전략은 가치와 신뢰를 구축하는 네 가지 핵심 영역에 집중할 것입니다. 이를 통해 고객에게 더 나은 결과를 제공하고자 합니다.
🔸 문제의 핵심을 찾아내고 해결책을 제시하기
보안 및 관찰 가능성 전문가들에게 하루에도 수백 개의 경고를 처리하는 일은 즐거운 일이 아닙니다. 이는 도메인 전문성을 갖춘 전문가들이 전략을 수립하거나 문제를 해결하는 데 집중해야 할 시간을 낭비하는 비효율적인 방식이기도 합니다. 이에 따라 Splunk는 2018년부터 머신러닝(ML)을 활용한 이상 탐지(anomaly detection) 기술을 혁신해왔습니다.
앞으로 Splunk는 이를 한층 발전시켜, 보안과 관찰 가능성 영역 전반에서 이상 탐지를 수행할 것입니다. 이 두 가지는 본질적으로 데이터 문제이며, 예를 들어 서버 사용률이 갑자기 급증하는 경우, 이는 단순한 코드 오류일 수도 있고, 사이버 공격의 징후일 수도 있습니다.
Splunk의 목표는 보안 및 관찰 가능성 애플리케이션 전반에서 인사이트를 제공하는 중앙 집중형 AI 서비스를 구축하는 것입니다. 이를 통해 인간이 여러 관점에서 문제를 분석하고 보다 신속하게 해결할 수 있도록 지원할 것입니다. 이 접근 방식은 다양한 사용 사례에 적용될 수 있으며, 데이터가 고립된 사일로(silo) 형태로 운영되지 않도록 설계될 것입니다. AI를 활용하면 시계열 데이터(time-series data), 상관관계 분석(correlations), 이상 탐지를 보다 정확하게 수행할 수 있으며, 문제의 근본 원인을 식별하고 해결책을 추천할 수 있습니다.
🔸 AI 기반 지원 기능을 워크플로우에 내장하기
보안, IT, 엔지니어링 전문가들은 점점 복잡해지는 환경 속에서 공격 기법, 데이터, 도구 및 경고를 처리해야 하는 부담을 안고 있습니다. Splunk는 이러한 복잡성을 줄이고, 사용자가 보다 효율적이고 효과적으로 업무를 수행할 수 있도록 지원할 것입니다.
Splunk는 적절한 시점과 적절한 위치에서 AI를 활용하여 사용자의 부담을 덜어주고, 고객이 얻을 수 있는 결과를 획기적으로 개선하는 것을 목표로 합니다. 사용자가 Splunk에 의존할 때, AI는 보다 신속하고 정확한 답변과 조치를 제공할 것입니다. 이를 위해 Splunk는 도메인 특화 AI 기술을 구축하고 훈련하여 조사 및 대응 워크플로우를 향상시킬 것입니다. AI는 검색어를 자동으로 작성하고, 사건을 요약하며, 조사 단계를 추천할 것입니다. 또한, 이러한 기능은 고객의 환경과 사용 사례에 맞춰 개인화될 것입니다.
🔸 대규모 확장에서 고유한 사용 사례 지원하기
확장된 회복력(resilience at scale)을 구축하기 위해서는 세밀한 데이터 접근이 필수적입니다. Splunk는 복잡한 요구사항을 가진 고객들이 대규모 모델을 생성하고 훈련할 수 있도록 지원할 계획입니다.
Splunk는 머신러닝 툴킷(MLTK)을 통해 고객이 자체 AI 모델을 생성하고 훈련할 수 있도록 지원해왔으며, 이는 현재 Splunkbase에서 가장 많이 다운로드된 애플리케이션입니다. 하지만 AI 환경이 지속적으로 변화함에 따라, Splunk는 이러한 기능을 미래에도 활용할 수 있도록 확장하고 개선할 것입니다.
Splunk는 MLTK의 광범위한 활용을 계속 지원하는 동시에, 대규모 데이터를 처리할 수 있는 차세대 AI 서비스를 설계하고 있습니다. 이를 통해 조직은 수십억 개의 매개변수를 가진 모델을 운영하고, 확장성에 맞는 회복력을 구축할 수 있게 될 것입니다.
🔸 차별화된 AI 결과 제공 및 데이터 활용 극대화
조직의 기술 스택 내 각 구성 요소는 AI 모델에 중요한 맥락을 제공합니다. 네트워크 트래픽은 대역폭 급증이나 지연 문제와 같은 사용 패턴을 분석하며, 엔드포인트 로그는 요청, 오류, 성능 지표 및 센서 데이터를 포함한 방대한 정보를 보유하고 있습니다. 보안 데이터는 환경 내 다양한 위협을 탐지할 수 있으며, 관찰 가능성 데이터는 IT 시스템 전반의 성능을 추적하는 역할을 합니다.
Splunk는 이러한 방대한 데이터셋을 AI와 결합하여 탐지, 조사 및 대응 능력을 향상시킬 것입니다. 단일 데이터만 분석할 경우 문제의 일부만 볼 수 있지만, 다양한 데이터를 통합하면 디지털 환경 전체의 스토리를 명확하게 이해할 수 있습니다.
효율적인 AI 성공을 위해서는 대규모 데이터 활용이 필수적이며, Splunk는 이를 통해 조직이 이전에는 불가능했던 결과를 도출할 수 있도록 지원할 것입니다. Splunk는 보안 및 관찰 가능성 데이터를 집계하고 익명화된 방식으로 결합하여, 올바른 도메인 전문성을 활용해 AI 모델의 성능을 지속적으로 개선하고 궁극적으로 고객에게 더 나은 결과를 제공할 것입니다.
✅ 미래 전망: AI가 모든 곳에 확산되다
AI의 영향력은 이제 막 표면을 긁기 시작한 수준입니다. McKinsey & Company는 2030년에서 2060년 사이에 생성형 AI가 현재 업무의 50%를 자동화할 것이라고 예측합니다. AI 기술의 범위는 데이터 분포 분석과 이상 탐지에서부터 수백억 개의 매개변수를 가진 대형 언어 모델(LLM) 구축까지 확장되고 있습니다.
AI를 포괄적으로 수용하는 과정에서 기대와 불안이 공존합니다. Splunk는 AI가 디지털 회복력을 향상하고 고객의 업무를 보다 신속하고 효율적으로 만드는 기회를 제공한다는 점에 기대감을 갖고 있습니다. 또한, AI의 급격한 발전이 불러오는 불확실성과 잠재적 위험 요소를 인정하며, 이를 완화할 방안을 모색하고 있습니다.
이를 위해 Splunk는 다음과 같은 핵심 질문들을 다룹니다.
Splunk는 모든 답을 알고 있는 것은 아니지만, AI 철학을 나침반 삼아 AI가 디지털 회복력을 촉진하는 방안을 모색해 나갈 것입니다.
▶ 스플렁크(Splunk) : 자세히보기
Splunk는 머신 데이터를 아무런 제약 없이 수집, 저장, 분석, 시각화 할 수 있는 실시간 분산 통합 빅데이터 플랫폼입니다. 탐지, 조사 및 대응을 가속화하는 보안 및 관찰성을 위한 AI 기반 솔루션으로 공유 데이터, 컨텍스트 및 워크플로를 지원하는 엔터프라이즈급 플랫폼으로 지원됩니다.
클라우드네트웍스는 스플렁크 플랫폼의 구축과 기술 지원을 전문으로 하는 전담팀을 운영하고 있습니다. 스플렁크 도입 및 활용에 대한 문의사항은 공식 파트너사인 클라우드네트웍스 연락 부탁드립니다.
