기사 공유하기

많은 사람들이 톰 크루즈가 영화 [마이너리티 리포트]에서 손에 특수 장갑을 끼고, 여러 제스처를 통해 앞에 있는 홀로그램 화면을 조작하는 장면을 기억할 것이다. 영화는 2054년을 배경으로 범죄를 예측해 미리 방지하는 첨단 시스템을 보여준다. 이 영화는 대한민국 국민이 태극기와 붉은 악마 티셔츠를 입고 열심히 응원하던 2002년에 개봉되었으니 이미 20년 가깝게 시간이 지났는데, 오늘 우리가 사는 세상에서 그 영화 장면은 더이상 놀랍지 않다.

마이너리티 리포트 (2002, 스티븐 스필버그)
마이너리티 리포트 (2002, 스티븐 스필버그)

데이터 분석에 새로운 지능이 필요하다 

특수 장갑을 이용한 손 제스처 유저 인터페이스1)는 이미 여러 학계 논문들을 거쳐 상용화 실험을 거치고 있고, 홀로그램 기술이야 더 이상 신기술이라고 할 수 없을 정도로 증강현실에선 많이 발전된 상태다. 그러니 영화에서 나온 2054년이 훨씬 앞당겨져서 실현되고 있는 것으로 보인다. 그럼에도 한 가지 아직은 덜 익숙한 부분이 있다면 영화에서 본 범죄 방지 시스템이다. 이런 광범위하고 다양한 종류의 데이터로부터 예측이 실현되는 통합 분석기술은 조금 더 시간이 걸릴 듯하다. 데이터로부터 시작된 작은 조각이 범인을 잡을 정도의 힘이 생기려면 여러 번의 진화와 가공이 필요하다.

데이터의 진화 형태
데이터의 진화 형태

데이터의 진화는 위 그림과 같이 조각조각 모인 원시 데이터가 군집을 이루어 정보가 되고, 정보의 네트워크가 패턴을 이루면서 지식으로 발전한다. 이 정도 수준은 인류가 발전해 오는 동안 어떻게 데이터를 모으고 골라내고 분류하는 충분히 많은 연습을 해 왔다.

이제는 새로운 지식의 단계로 업그레이드될 시기인데, 이것이 가능하게 하려면 정형·비정형 데이터를 모두 처리하는 빅데이터 능력에, 자연어를 데이터의 입출력으로 사용할 수 있고, 스스로 자신의 학습 패턴을 갖고 진화할 수 있는 머신 러닝 인공지능의 이용이 필수 불가결하다. 데이터가 진보하고 진화하기 위해서는 그것을 제대로 분석하기 위한 도구가 동시에 필요한데, 그 분석 방법과 도구 역시 이런 새로운 시대의 지능이 필요하다.

‘증강 분석’이란 무엇인가?

‘증강'(Augmented)이라는 말은 현실 상황에 컴퓨터가 생산해 낸 데이터를 추가로 투영함으로 부가가치를 얻는 ‘증강현실'(Augmented Reality)을 설명할 때 많이 등장한다. ‘증강 분석’(Augmented Analytics)이란 용어는 2017년 가트너가 처음 사용하기 시작했는데, 현재의 데이터 분석 방법(마이닝을 통한 예측 분석도 포함한다)에 머신 러닝이나 자연어 처리와 같은 인공지능 기술을 적용하여 ‘증강된 부가가치’ 능력을 분석에 사용하는 기술을 말한다.

머신 러닝은 데이터를 준비하는 과정과 ‘통찰력 생성’(insight generation), 생성된 통찰력을 시각화 프로세스를 자동화하는데 기여함으로 많은 상황에서 데이터 사이언티스트의 전문 영역을 대체할 수 있게 한다. 또한, 자연어 처리는 비전문가나 업무에 숙련되지 않은 사용자라도 데이터에 접근하고 그 결과로부터 통찰력을 얻는 프로세스에서도 새로운 역량을 발휘할 것이다. 즉, 데이터의 접근성을 혁신적으로 높이면서 분석의 품질은 전문가들의 영역까지 이르게 하는 새로운 데이터 분석 방법을 이야기한다.

인공지능 AI

분석 테크놀로지의 발전 과정

최근 몇 년간 분석 테크놀로지 및 비즈니스 인텔리전스는 데이터 및 분석 전문가를 위한 정교한 도구에서 누구나 사용할 수 있는 증강 분석 테크놀로지로 발전하여 왔다. 각각의 분석 테크놀로지의 특징과 발전 형태는 같다.

분석 기술의 발전 형태와 특징
분석 기술의 발전 형태와 특징

증강 분석은 왜 중요한가?

1. 빅데이터 분석

데이터의 품질은 기업에게 가장 효과적인 경쟁수단이 된다. 이를 통해 기업은 언제 무엇을 생산할지, 누구에게 마케팅할지, 어떻게 변화를 만들 것인지 등을 알 수 있게 된다. 오늘날 데이터의 양은 사람이 스스로 해석하거나 편견 없이 해석하기에는 너무 방대하며 상황의 변화에 대한 즉각적인 답변을 가능하게 하는 것은 불가능하다.

빅 데이터의 바다에서 의미 있는 인사이트를 발견하려면 인공지능 및 머신 러닝과 같은 기술이 필수이다. 데이터 사이언스와 인공지능을 결합하여 기업이 대규모 데이터 세트를 실시간으로 분석할 수 있는 것이 경쟁력이다.

2. 데이터 사이언티스트에 대한 의존 탈피

분석 프로세스는 시간이 오래 걸리는 일련의 수작업이고, 일반적으로 데이터 사이언티스트만 수행할 수 있을 정도로 복잡한데 일반적인 과정은 다음과 같다.

  1. 다수의 데이터 소스에서 데이터 수집
  2. 분석을 위해 준비
  3. 분석 수행
  4. 의미 있는 통찰력 찾기
  5. 결과 시각화
  6. 설득력 있는 방식으로 결과 공유
  7. 결과에 따른 실행 계획 만들기

이 방법의 심각한 부분은 전 세계적으로 능력 있는 데이터 사이언티스트가 크게 부족하고 그들을 고용하는 데 비용이 많이 든다는 것이다. 증강 분석이 이러한 전문가 역할을 완전히 대체하지는 못하지만 데이터 수집, 준비, 정리 및 분석과 같은 프로세스를 자동화하면 전문가에 대한 의존도를 줄일 수 있다. 증강 분석은 결과 해석과 같은 더 중요한 작업에 데이터 사이언티스트의 시간을 확보해줌으로 이러한 분석전문가가 기업에 제공하는 가치를 높일 수 있다.

인공지능과 머신 러닝을 기반으로 한 분석을 사용하면 더 짧은 시간에 더 깊은 통찰력을 찾을 수 있을 뿐만 아니라 서로의 데이터 분석 편향을 보완할 수도 있다. 또한, 비전문 일반 직원이 ‘비즈니스 분석가에서 일반인 데이터 사이언티스트(citizen data scientist)’가 처리하던 분석 역할을 담당하게 함으로써, 그들의 데이터분석에 관한 통찰력을 향상하고 이전에 전문 데이터 사이언티스트만 수행했던 작업을 대신할 수 있도록 한다.

가트너는 다음과 같이 예측한다:

 

[divide style=”2″]

2020년까지 데이터 사이언스 업무의 40%이상은 자동화될 것이다.
데이터사이언티스트의 희소성 문제는
데이터 사이언스와  머신 러닝의 도입으로
2025년 전에 해결될 것이다.”
(가트너 2018)

[divide style=”2″]

 

3. 비전문가들을 위한 분석기술 대중화

증강 분석이 중요한 또 다른 이유는 분석을 전공이나 전문으로 공부하지 않은 비전문 ‘정보 탐험가’도 같은 업무에 참여할 수 있도록 하기 때문이다. 복잡한 분석 프로세스를 자동화하고 사용자가 자연어 질문만으로 데이터를 쿼리 할 수 있도록 함으로써 데이터 사이언스 기술이 없는 일반 직원도 고급 분석을 활용할 수 있게 된다.

머신 러닝은 다음에 물어봐야 할 질문을 추천하고 더 깊이 파헤쳐 야 할 곳을 제안함으로써 이러한 비전문가를 인사이트의 세계로 충분히 안내할 수 있다. 증강 분석을 사용하면 질의어에 대한 답변이 도표, 그래프, 지도와 같이 미리 만들어진 데이터 시각화의 형태로 제공되므로 사용자가 직접 만들 필요가 없다. 이러한 시각화는 간단한 명령으로 자동화할 수 있고 데이터 스토리에 연결하고 다른 팀이나 매니저에게 쉽게 공유할 수 있다. 특별한 전문 박사 학위가 없어도 수행할 수 있는 일이 된다.

박사 학위 전문가

증강 분석의 이점

증강 분석은 개선된 리포팅 기능 및 의사 결정 지원과 같은 부분에선 비즈니스 인텔리전스와 동일한 이점을 제공하지만 인공 지능 및 머신 러닝 없이는 불가능한 수준의 속도와 정확성을 제공한다. 다음이 증강 분석에 관한 명백히 드러나는 이점들이다.

  • 신속한 데이터 준비: 분석 전문가는 분석을 위해 데이터를 준비하는 데 약 80%의 시간을 소비하는데 경우에 따라서 수백만 개의 레코드가 포함된 대용량 데이터 세트를 내보내고 분석을 시작하기 전에 이것을 결합하거나 정리하면서 구조화한다. 증강 분석의 머신 러닝은 이 프로세스를 자동화하여 분석 전문가가 더 가치 있는 분석 업무에 집중할 수 있도록 해주고 동시에 오류를 줄여 준다.
  • 분석의 자동화: 머신 러닝 모델은 데이터 사이언티스트가 자체적으로 구축하는데 몇 주가 걸리는 복잡한 분석을 자동화할 수 있다. 결과 및 데이터 시각화가 즉시 생성되어 사용자가 사용할 수 있음으로 데이터를 파헤치는 시간을 줄이는 만큼 그 시간을 통찰력을 해석하고 데이터 스토리를 보고하고 업무 결정을 지원하는데 더 많은 시간을 할애할 수 있다.
  • 깊이 있는 통찰력: 기계는 인간이 할 수 없는 방식으로 데이터를 볼 수 있다. 더 많은 각도에서 훨씬 더 큰 데이터 세트를 조사할 수 있고 인간의 눈에는 보이지 않는 통계적 상관관계 및 패턴을 찾을 수 있다. 기계는 데이터를 규모와 상관없이 신속하게 이해하고 편향되지 않은 통찰력으로 인간의 지능을 강화하며 사용자에게 주의를 집중해야 할 위치를 알려준다.
  • 대화형 분석: 시리 및 알렉사와 같은 디지털 비서에 사용되는 것과 동일한 대화형 인공지능 기술인 자연어 처리를 통해 질의할 수 있는 언어나 코드에 대한 지식이 없는 비즈니스 사용자가 대화형 방식으로 질문할 수 있다. 또한, 자연어 생성 (NLG: Natural Language Generation)은 결과를 요약이나 설명을 완전한 문장, 서면 또는 구두로 답변을 제공한다.
  • 즉각적인 비즈니스 이해: 비즈니스를 이해하지 못하는 통찰력은 의미가 없다. 머신 러닝 알고리듬은 사용자의 의도와 행동에 근거해 그 상황에 필요한 조치를 인식하는 ‘상황 인식 통찰력(context-aware insight)’을 즉각적으로 제공한다.

인공지능 개인정보

증강 분석 (가상) 사례: 마케팅과 영업부서 사례

증강분석을 통해 업무 효율성을 얻은 사례를 소개하기 위해, 실제 기업 업무 환경에서 충분히 일어날 수 있는 상황을 가상의 시나리오로 설명한다면 다음과 같은 경우가 있다.

  • 업무 담당자: 경쟁이 치열한 통신 회사의 비즈니스 분석가
  • 수익성 확대 계획: 관련 제품 또는 서비스를 상향 판매 및 교차 판매하여 개별 고객에 의한 회사의 ‘지갑 점유율(share of wallet)’을 확장할 수 있어야 전반적인 수익과 수익성을 높일 수 있다. 국제전화 플랜, 무제한 데이터 옵션 또는 번들 제품 등 새로운 제안이 무엇이든 현재 및 미래의 요구에 맞는 적절한 프로모션을 설계하기 전에 먼저 고객을 이해해야 한다.
  • 현재 접근 방법: 과거의 마케팅 리소스를 뒤져서 특별한 표시를 해 놓았던 데이터나, 원하는 결과를 제공하지 못했던 프로모션을 새롭게 디자인한다. 스프레드 시트 기반의 수동 분석은 복잡하고 시간이 오래 걸리며 특히 분석 비전문가의 경우 고객 데이터를 통합하여 이전 구매 행동을 기반으로 올바른 잠재 고객과 올바른 제안을 찾아내려 할 때 오류가 발생하기 쉽다.

회사원 마케팅 업무

증강분석 적용! 

1) 진실의 단일 소스:

증강 분석의 주요 이점 중 하나는 데이터 (이 경우 고객 데이터)가 분석 및 통찰력을 위해 단일보(single-view)로 통합된다는 것이다. 이런 경우 상향 판매 및 교차 판매 캠페인을 디자인하는 프로세스가 빨라질 뿐만 아니라 캠페인 효과도 크게 향상된다.

고객 데이터에 대한 즉각적인 가시성을 바탕으로 영업 또는 마케팅 분야의 비즈니스 분석가는 연령, 위치, 직업 및 교육 수준에 관한 기본 인구 통계 데이터를 탐색한 다음 이 정보를 과거의 구매 행동과 연관시킴으로써 즉시 분석 작업을 시작할 수 있다.

또한, 증강 분석은 분석 전문가가 아닌 상황에서도 (다음과 같은) 관련 질문을 쉽게 할 수 있도록 한다. 가령, 기존 구매 또는 온라인 상점 방문 횟수 또는 분기에 보낸 평균 통화 또는 문자 메시지 수가 등이 모니터링을 중점 KPI(Key Performance Indicator; 핵심 성과 지표)로 봐야 한다는 제안이 머신 러닝에 의해 제공되기도 한다.

2) 머신 러닝의 능력:

이 시나리오에서 머신 러닝은 많은 양의 과거 고객 데이터를 정렬하고 알고리즘에 따라 고객 프로필의 패턴과 과거 구매 행동을 감지함으로써 특정 고객 혹은 잠재 고객이 새로운 제안이나 캠페인에 긍정적으로 반응할 가능성을 예측할 수 있다. 예를 들어 개별 구매 성향에 따라 고객 리스트가 작성되고, 성향 점수 순서로 추적된다.

이 경우 주요 측정 항목은 프로모션을 수락하는 그룹의 성향과 이를 거부하는 성향으로 구분되어 분석된다. 분석에 관한 비전문가 입장에서 영업 및 마케팅부서의 판촉 효과를 개선하도록 돕고자 하는 비즈니스 분석가에게 이런 정보는 대단히 중요하다. 그러나 머신 러닝이 제공한 것과 비슷한 품질과 속도로 같은 성향을 가진 ‘유사 그룹’을 스프레드 시트와 수동 분석을 사용하여 생성한다는 것은 사실상 불가능했을 것이다.

증강분석에 관한 더 많은 참고 사례는 ‘이곳’을 참고하기 바란다.

‘데이터 기반’의 투명한 의사결정 

증강 분석은 좀 더 빠른 시간에 데이터를 분석하여 그곳에서 혁신적인 인사이트를 얻기 위한 방법으로는 최적의 게임 체인저라고 할 수 있다. 이제는 전문 분석가가 아니어도 모인 데이터로부터 머신 러닝과 자연어 처리, 자연어 생성과 같은 인공지능기술을 통해 즉각적이고 신뢰할 수 있는 통찰력을 얻어 업무 전반의 역량을 강화할 수 있다.

비즈니스에 대한 투자의 관점에서도 수작업이나, 데이터 사전작업, 분석작업을 통해 소비된 모든 시간, 비용, 노력에 대한 ROI(투자수익률)가 비교할 수 없을 정도로 높아진다.

증강 분석의 부가적 효과이지만, 매우 중요한 점은 그 기업이나 조직의 의사 결정이 매우 투명하게 ‘데이터 기반’으로 이루어진다는 사실이다. 진정한 의미의 ‘데이터 기반 의사 결정 기업’이 되는 것이고, 이 부분은 기업 문화에 큰 영향력을 만들어 내외적으로 신뢰감 상승에 크게 기여한다.

 

[divide style=”2″]

[box type=”note”]

이 글의 필자는 김영욱 님입니다. 본 글은 한국정보화진흥원의 지원을 받아 작성되었으며, 클라우드스토어 씨앗 이슈리포트에 동시 게재합니다.

[/box]

관련 글