기사 공유하기

매년 열리는 아마존의 리인벤트 2019년은 클라우드 산업계에서 가장 핫한 행사 중 하나다. 라스 베가스에서 12월 1일부터 12월 5일까지 열린 이번 행사에는 한국 참가자 1천여 명을 포함해 6만 5천여 명의 참가자를 대상으로 3천 개가 넘는 강연 세션이 진행되었고, 그 결과는 700여 개의 비디오로 아마존 AWS 사이트를 통해서 제공된다.

출처: AWS https://www.facebook.com/amazonwebservices/photos/a.213630065341033/2165857723451581
AWS 리인벤트 2019 (출처: AWS)

컴퓨팅, 데이터 분석, 머신 러닝, 엣지 컴퓨팅을 아우르는 수많은 주제에 너무 많은 내용이 발표되어 이를 하나로 다 담을 수는 없어서 이번 글에서는 아마존이 엔드투엔드 인공지능 플랫폼으로 강하게 미는 세이지메이커(SageMaker)와 관련된 신기술과 전략을 중심으로 소개하기로 한다. 전체 리뷰는 AWS 한국 블로그에서 설명하고 있기 때문에 이를 참고하기 바란다.

세이지메이커는 아마존의 인공지능과 머신 러닝을 위한 엔드투엔드 서비스이며 데이터 준비에서 모델의 구축과 학습 및 튜닝, 그리고 배포와 관리를 모두 하나의 환경에서 관리할 수 있는 서비스다. 이를 통해 도구와 머신 러닝 워크플로우를 함께 연결해서 머신 러닝 모델을 간편하고 빠르게 생성할 수 있도록 한다.

세이지메이커의 전체 구성
세이지메이커의 전체 구성 (출처: AWS)

세이지메이커 그라운드 트루스(Ground Truth)

인공지능을 활용하기 위해서 현재 가장 유용한 머신 러닝 모델은 품질이 뛰어나면서도 방대한 학습 데이터를 필요로 한다. 이런 학습 데이터를 만드는 시간과 비용이 만만치 않으며, 이를 전문 서비스로 제공하는 기업들도 등장하고 있다.

그라운드 트루스학습 데이터 셋을 정확하고, 신속하게 구축하는 것을 지원하는 도구데이터 레이블 제작 비용을 70%로 절감할 수 있다고 말한다. 아마존의 메카니컬 터크(Mechanical Turk)를 통해 외부의 레이블러를 이용하도록 지원하거나 자체 레이블링 작업을 위해 워크플로우와 인터페이스를 제공하기도 한다. 메카니컬 터크에는 50만 명이 넘는 레이블링 작업자가 있다. 그 외에 AWS 마켓플레이스에 등록된 공식 업체를 사용할 수 있다.

그라운드 트루스 작동 방식 (출처: 아마존)
그라운드 트루스 작동 방식 (출처: AWS)

그림에서 보듯이 그라운드 트루스는 자동으로 레이블을 붙일 수 있으며, 모호한 데이터는 인간 레이블러에게 보내진다.

세이지메이커 스튜디오

이번 AWS 리인벤트 2019에서 가장 인상적으로 소개된 서비스는 머신 러닝을 위한 웹 기반 IDE(통합 개발 환경; Integrated Development Environment)인 세이지메이커 스튜디오다. 스튜디오는 완전 통합된 개발 환경으로 사용자가 필요로 하는 코드, 노트북, 프로젝트 폴더 등 모든 것을 저장하거나 모을 수 있다.

AWS의 CEO인 앤디 재시도 이 스튜디오를 “거대한 진전”이라고 자랑했다. 세이지메이커 스튜디오는 여러 개의 도구로 구성되어 있는데 노트북, 엑스페리먼츠, 디버거, 모델 모니터, 오토파일럿 등이다. 이는 머신 러닝 워크플로우에 따라 단계적으로 사용할 수 있으며 단일 통합 비주얼 인터페이스에서 코드를 작성하고 실험을 추적하며, 데이터를 시각화하면서 디버깅과 모니터링 업무를 수행할 수 있다.

스튜디오 화면 (출처: 아마존)
스튜디오 화면 (출처: AWS)

특히, 모든 단계가 내부에서 추적될 수 있어 개발자는 단계 사이를 앞뒤로 이동할 수 있다. 이를 통해 변경 사항을 적용한 후 결과를 관찰하고, 이런 작업을 반복적으로 수행함으로써 머신 러닝 모델의 정확도나 품질을 향상 시킬 수 있다.

세이지메이커 엑스페리먼츠(Experiments)와 디버거

실험이라는 의미의 엑스페리먼츠반복적인 머신 러닝 모델 버전을 구성, 추적, 비교 및 평가하는 새로운 기능이다. 이 도구의 목적은 가능한 간단히 실험을 생성하고 시행과 실험 전체에서 분석을 하는 방법을 제공한다. 세이지메이커나 오토파일럿에서 학습 작업을 할 때 시행을 연결할 실험 이름을 정의하면 모든 입출력이 자동으로 기록된다.

이런 실험에 사용한 입력 파라미터, 구성, 결과는 모두 자동으로 수집되며 하나의 프로젝트에 여러 실험을 하도록 할 수 있다. 개발자는 액티브한 실험을 찾아보고 리뷰하면서 과거의 실험을 비교해 보도록 지원한다.

디버거는 모델 학습 과정에서 모델의 정확도롤 올리기 위해서 학습 시간과 모델 품질 개선을 위한 최적화를 돕니다. ‘특징 우선 순위화’라는 기능을 통해 디버거는 모델에 영향을 주는 차원이나 특징에 대해 주목할 수 있도록 한다.  디폴트(기본)로 제공되며, 인기 있는 프레임워크를 사용할 때 중요 학습 지표를 자동으로 모으고 모니터링하며, 모델 학습 성과에 대한 실시간 지표를 제공한다. 디버거의 결과는 스튜디오 안에 있는 노트북을 통해서 볼 수 있다.

세이지메이커 디버거 작동 개념도 (출처: 아마존)
세이지메이커 디버거 작동 방식 (출처: AWS)

세이지메이커 오토파일럿(Autopilot)

스튜디오에 포함되어 있는 기능 중 하나로, 사용자의 테이블 방식으로 제공되는 데이터를 사용해 사용자가 특정 하는 타킷 칼럼 데이터를 통해 자동으로 머신 러닝 모델을 학습하고 튜닝 하는 기능이며, 전 과정으로 살펴볼 수 있다. 세이지메이커 스튜디오에서 한 번의 클릭으로 모델을 배포 할 수 있다. 또는 정확도에 따른 시간 지연이나 모델 사이즈와 같은 선택 사항을 비교하며 의사 결정을 할 수도 있다.

데이터를 전 처리하거나 정리할 수도 있고, 어떤 모델을 사용하거나 적절한 파라미터를 찾아내는 작업은 매우 시간이 걸리는 일이며 때로는 고급의 머신 러닝 실력이 필요하기도 하다. 이런 전 과정을 단순화하면서 더 쉽고, 빠르고, 투명하게 하겠다는 것이 오토파일럿인데 이와 같이 자동으로 모델을 선택해주는 기술을 일반적으로 오토ML(AutoML)이라고 한다.

이번에 발표한 오토파일럿은 지난 4월 구글이 발표한 오토ML 테이블과 비교할 수 있는 기술이다. 그런데 지금까지의 오토ML이 그냥 블랙박스 같았다면, 이번 오토파일럿은 시스템이 모델을 어떻게 구성했는지에 대해 더 깊은 통찰을 줄 수 있고, 시각성과 제어를 할 수 있도록 했다는 것이 AWS CEO인 앤드류 제시의 주장이다.

세이지메이커 오토파일럿의 작동 방식 (출처: AWS) https://aws.amazon.com/ko/sagemaker/autopilot/
세이지메이커 오토파일럿의 작동 방식 (출처: AWS)

오토파일럿의 출력은 두 개의 노트북으로 나오는데 하나는 ‘후보 생성 노트북’이고 다른 하나는 ‘데이터 탐구 노트북’이다 후보 생성 노프북에는 각 제안한 전처리 단계, 제안한 알고리듬, 하이퍼파라미터 범위 등이 포함된다. 두 번째 노트북인 오토ML 잡의 분석 단계 동안 생성되는데, 데이터가 준 최적 모델을 가져올 수 있는 데이터 문제를 확인하기 위한 검사를 위해 어떤 특정 영역을 봐야 하는지를 확인해 준다. 사용자가 다룰 수 있는 문제 유형은 현재 선형 회귀분석, 바이너리 분류, 다중 클래스 분류, 자동 문제 유형 탐지 등이 있다.

모델 모니터(Model Monitor)

가끔 개발자는 일정 기간 동안 동작 하던 모델이 갑자기 잘 동작하지 않는 경우를 겪을 때가 있다. 이를 돕기 위한 기능이 모델 모니터이다. 자동으로 배포한 모델의 컨셉 드리프트가 생기는 것을 찾아내는데, 학습에 사용한 데이터의 베이스라인 통계를 바탕으로 실제 예측시 사용 데이터를 비교해 어떤 문제를 탐지할 때마다 개발자에게 경보를 보낸다.

즉, 수신하는 데이터의 통계적 본질이 점진적으로 변화하는 경우를 개발자가 일일이 찾아내는 것이 매우 어렵고 감지하기도 쉽지 않은 것이, 모델에 수신되는 데이터와 학습 세트를 여러 가지 통계적 분석을 통해서 문제를 발견해야 하기 때문이다. 그래서 이런 드리프트를 어떻게 감지할 것인가 하는 규칙을 정의하고 드리프트가 발생하면 경보도 내야 한다.

스튜디어 내에서 한 번의 클릭으로 작동할 수 있으며, 데이터를 시각화해서 보여준다. 모델 모니터는 기능별 측정치를 대시보드와 경보 설정에 사용할 수 있는 아마존 클라우드왓치로 보내며, 요약 측정치는 스튜디어에서 보고, 모든 데이터는 노트북에서 추가적으로 분석할 수 있게 한다.

모델 모니터의 작동 방식 (출처: AWS) https://docs.aws.amazon.com/sagemaker/latest/dg/model-monitor.html
모델 모니터의 작동 방식 (출처: AWS)

증강 인공지능(Augmented AI: A2I)

사실 현재 인공지능의 기술이 대부분 인간의 지능을 강화하는 목적으로 개발되어 왔기 때문에 AI를 증강 지능이라고 부르자는 학자들도 있다. 그런데 이번에 아마존이 발표한 증강 인공지능은 그런 의미가 아니라 머신 러닝 워크플로우 과정에서 머신 러닝의 예측 결과에 대한 인간 리뷰를 지원해주기 위한 기능이다.

많은 머신 러닝 애플리케이션은 결과가 올바로 나온 것을 보장하기 위해서 낮은 신뢰를 갖는 예측에 대해서 사람이 리뷰 할 때가 있다. 이는 데이터의 품질에서도 문제가 되는데, 스캔한 대출 서류가 스캔 품질이 낮거나 악필로 쓰여 있을 때 사람이 직접 확인할 필요가 있는 것이다.

그런데 이런 문제를 위해 복잡한 절차를 만들거나 자체 소프트웨어를 구축하고 많은 사람을 활용 관리하는 것은 매우 시간도 걸리고 비용도 들어가는 일이다. 아마존은 A2I를 통해 회사 자체로 인간 리뷰 시스템을 구축하거나 많은 숫자의 인간 리뷰어를 관리하는 부담에서 벗어나게 하겠다는 것이다.

이와 같이 인공지능과 인간이 업무에서 같이 투입되어 협업하도록 지원하는 시스템을 예를 들어, 아마존의 텍스트랙트(Textract)와 레코그니션(Rekognition) 서비스를 사용하는 경우 신뢰도 기준치 같은 조건을 설정해서 그런 조건에 해당하면 추론 서비스가 인간 리뷰에게 검토를 요청하는 것이다. 이를 인간 리뷰 워크플로우라고 부른다.

증강 인공지능의 업무 흐름도 (출처: AWS)
증강 인공지능의 업무 흐름도 (출처: AWS)

기타 발표 내용

아마존은 이번 리인벤트에서 많은 새로운 서비스와 기술을 발표했지만, 핵심은 역시 인공지능이다. 아마존이 공개한 700여 개의 비디오에서 12% 이상이 모두 인공지능과 연관된 내용으로 파악된다.

아마존은 버라이즌과는 5G 기반의 엣지 컴퓨팅 분야에서 협력하기로 했으며, 더 나아가 AWS 인프라를 5G 네트워크로 확장하는 이니셔티브를 ‘AWS 웨이브렝스(Wavelength)’라고 부르며 버라이즌, 유럽의 보다폰, 일본의 KDDI 그리고 한국에서는 SK 텔레콤을 파트너로 선정했다.

AWS 아웃포스트는 AWS 인프라를 온 프레미스에서 동작하는 것인데 이를 통해 하이브리드 클라우드 방식으로 활용할 수 있도록 했으며 이번에 전반적인 공개를 발표했다.

양자 컴퓨팅 분야에서도 마이크로소프트가 이그나이트에서 발표한 것처럼 브라켓(Braket)이라는 이름의 양자 컴퓨팅 서비스를 발표한 것과 함께, AWS 퀀텀 컴퓨팅 센터와 아마존 양자 솔루션 랩이라는 프로그램을 통해 고객과 양자 컴퓨팅 전문가를 연결해주겠다고 선언했다. 브라켓은 D-웨이브, 이온Q, 리게티(Rigetti)같은 양자 컴퓨터 회사를 가진 과학자, 연구자, 개발자들이 완전 관리형 AWS를 사용할 수 있도록 하겠다는 의미다.

[divide style=”2″]

[box type=”note”]

본 글은 한국정보화진흥원의 지원을 받아 작성되었으며, 클라우드스토어 씨앗 이슈리포트에 동시 게재합니다.

[/box]

관련 글