AWS(Amazon Web Services)는 한마디로 말해서 아마존의 재발명(ReInvent)이다. 이유는 2006년 아마존의 한 부서에서 아마존 자체 웹 서비스를 사용하기 위해 아마존 S3(AWS Simple Storage Service)나 EC2(Amazon Elastic Compute Cloud)와 같은 다양한 표준 컴퓨팅 서비스를 재발명했기 때문이다.
이렇듯 클라우드 컴퓨팅의 여명으로 재발명된 AWS는 컴퓨터에 의존하는 비즈니스 경제를 근본적으로 바꿔 놓았다. 초기 인터넷 기업가들은 엔지니어링 시간과 노력의 70%를 데이터 센터를 구축하고 기본 인프라 소프트웨어를 설계 및 유지 관리하는 데 공 들였고, 직원 에너지의 30%만 신제품을 개발하는 데 치중했다.
그러나 AWS는 그 비율을 완전히 뒤집었다. 처음에 고객은 이메일 주소와 신용카드만 있으면, 데이터 스토리지, 컴퓨팅 성능 및 데이터베이스 서비스에 액세스할 수 있으므로 최소한의 자본 투입으로 온라인 비즈니스를 쉽게 시작할 수 있게 만들었다. 더욱이 클라우드 컴퓨팅에서 아마존의 선구자적 행보는 경쟁자들이 이를 따라잡기 어렵게 만들었다.
마이크로소프트는 2010년에 클라우드컴퓨팅 사업부를 시작했고, 2011년에는 구글이 그 뒤를 따랐다. AWS의 초기 주도권은 최근 몇 년 동안 줄었지만, 여전히 매출 기준으로 시장 점유율의 31%를 차지하며 마이크로소프트의 20%와 구글의 7%에 비해 우위를 점한다.
한편, 올해은 아마존에 있어 그 어느 해보다 변화가 많았던 해다. 아마존 창립자 제프 베조스(Jeffrey Preston Bezos)가 퇴임하고, 그동안 AWS를 이끄는 앤드류 제시(Andrew R. Jassy)가 아마존을 맡게 되었고, 태블로(Tableu)를 경영했던 아담 셀립스키(Adam Selipsky)가 AWS를 맡는 등 아마존 전체 조직의 리더십이 모두 변화하였다. 그러한 시점에서 해마다 12월에 발표되는 AWS 개발자 컨퍼런스인 ‘리인벤트(Re:Invent) 2021’에서 어떠한 전략과 서비스가 나왔는지 분석해 보자.
2021. 11. 29-12. 3. ㅣ 라스베가스, 네바다
리:인벤트 10주년 기념
퍼블릭 클라우드에서 산업별 특화 클라우드로
CEO로 선임된 후 처음으로 리:인벤트에서 기조 연설한 셀립스키는 퍼블릭 클라우드에서 이제 금융, 제조, 통신, 항공과 같은 산업별 특화 클라우드로 전선을 넓히기 위해 고객들에게 명확한 비전과 실행 전략들을 보여줬다. 특히, 플로렌스 나이팅게일을 시각화 도구의 어머니라 표현하며 각 산업계를 혁신하는 사례로 디지털 혁신을 소개했다. 여전히 클라우드 서비스의 불모지로 엔터프라이즈에서는 초기 시장으로 5~15%밖에 안 되지만, 현재 클라우드를 접하고 있고 아마존 웹 서비스는 산업 특화 사례를 위해 설계된 서비스들로 더욱 추상화된 계층을 구축했다고 강조했다.
이러한 예를 보여주기 위해 금융 분야 데이터 준비를 제공하는 ‘아마존 핀스페이스(Amazon Finspace)’를 소개하고, 골드만삭스와 손잡고 금융 기관을 위한 새로운 클라우드 기반 데이터 및 애널리틱스 솔루션 제품군인 ‘AWS 기반의 데이터를 위한 골드만삭스 금융 클라우드’를 출시한다고 발표했다.
수십 년간의 골드만삭스 경험을 바탕으로 데이터 관리 및 분석 문제를 해결하도록 돕는데, 금융 기관 고객들이 클라우드에서 데이터를 검색, 구성 및 분석하는 방법을 재정의하고, 신속한 통찰력을 얻고 정보에 입각한 투자 결정을 내릴 수 있도록 지원한다. 또한, 골드만삭스와 AWS의 협력으로 탄생한 이 서비스를 기반으로 기관 고객은 금융 애플리케이션의 시장 출시 시간을 단축하고 리소스를 최적화해 포트폴리오 수익에 집중해 신속하게 혁신할 수 있다.
AWS의 15년 여정
아담 셀립스키는 15년간 AWS 여정을 그 당시 아마존 ‘S3(AWS Simple Storage Service)’와 ‘EC2(Amazon Elastic Compute Cloud)’ 서비스 개발이 어떻게 이루어졌고, 향후 어떻게 발전할 것인가에 관해서도 발표했다.
첫째, S3는 개발자가 ‘언제 어디서나 웹상의 모든 양의 데이터’를 저장하고 검색할 수 있는 S3에 저장된 객체들은 출시 2개월 만에 아마존 개발자의 예상을 100배 초과했다. 기후 변화로 변동이 잦은 일기예보 및 코로나 백신을 위한 게놈 연구에서 인공지능을 이용한 얼굴 인식에 이르기까지 오늘날 100조 개 이상의 객체가 S3에 저장되어 있다.
둘째, 아마존 S3를 발표한 그해, 아마존은 또 다른 클라우드 서비스인 EC2을 발표했다. 이 기술을 통해 개발자들은 여러 다른 기능 중에서 데이터를 처리하고 분석하는 데 사용할 수 있는 주문형 컴퓨팅 성능에 액세스할 수 있도록 했다.
AWS는 아마존의 한 부서로부터 출발했다. 2000년대 초반에 아마존 소프트웨어 엔지니어는 디지털 인프라를 만들고 유지 관리하는데 너무 많은 시간을 소비하고 있다고 불평했다. 이 프로젝트의 리더인 앤디 제시도 총 2~3개월이 소요되어야 한다고 생각하지만, 스토리지 솔루션이나 데이터베이스 솔루션 또는 컴퓨팅 솔루션에만 2~3개월을 더 소비했다.
따라서 부분적으로 자체 성장 문제를 해결하기 위해 아마존은 안정적이고 비용이 저렴한 효율적인 데이터 센터를 구축하고, 데이터베이스 관리와 같은 서비스를 제공하는 프로세스를 중앙 집중화하여 자체 팀이 더 많은 소비자를 아마존닷컴으로 끌어들이는 제품 설계에 집중할 수 있도록 했다.
마침내 컴퓨팅 성능을 확장하고 소프트웨어 개발자에게 인터넷 기반 서비스를 제공하는 것이 아마존의 강점 중 하나라는 사실을 깨닫고, 2003년에 이미 내부와 외부의 개발자와 기업에 제공하는 클라우드 컴퓨팅 서비스를 하나로 통합하여 ‘아마존 웹 서비시스(Amazon Web Services)’라는 새 회사가 출범했다.
지난 15년간 클라우드 서비스 업체의 경쟁 양상은 수평적 확장을 통해서 이루어졌다. 예를 들어, 아마존 EC2나 S3와 같이 컴퓨팅, 스토리지 인프라를 기본으로 네트워크, 관리 도구, 로드밸런싱, 보안, 데이터 관리, 분석, 시각화, 머신 러닝, 블록체인 등까지 각각의 솔루션과 서비스를 늘려가는 식이었다.
또한, 그동안 축적해왔던 고객 사례를 분석해 ‘웰-아키텍티드(well-architected)’라는 프로그램을 발전시켰다. 사례별 공통점과 차이점을 분류하고, 요구사항에 적합한 서비스 컴포넌트들을 실제로 아키텍처로 구현해 어떻게 활용하는지 쉽고 편리하게 사용할 수 있도록 고객에게 보여줌으로써 고객들과 상호 간의 커뮤니케이션 도구로 활용했다.
올해부터는 특정 산업 분야에 맞춘 특화 클라우드 서비스에 중점을 두기 시작했다. 산업별, 기업별로 요구사항이 천차만별이기 때문에 AWS는 클라우드 전문 컨설팅 기업들과 함께 이를 진행하기 시작했다. 그러한 예로 미국 유료방송서비스 제공업체 디시 네트워크(Dish Network)의 계열사인 ‘디시 와이어리스(Dish Wireless)’는 새로운 5G 네트워크를 AWS 기반으로 구축한다고 보여줬다.
디시 네트워크 전체를 클라우드에 구축한 5G 네트워크를 만들어 스마트폰과 기기에 5G 서비스를 제공한다. 비록 전통적인 통신사업자는 기존 하드웨어를 업그레이드하지만, 디시 와이어리스는 다른 세대를 구축하지 않아 더욱 많은 기회를 갖고 있다고 발표했다. 또한, AWS의 통신사업 파트너로서 엣지 컴퓨팅(Edge Computing)을 위한 클라우드 기반 5G 서비스를 제공하는 것은 눈길을 끌게 했다.
세이지메이커 재발명: 인공지능 소프트웨어 대중화
리:인벤트 2021에서 가장 큰 주목을 받은 서비스는 아마도 ‘아마존 세이지메이커 캔버스(Amazon SageMaker Canvas)’가 아닌가 싶다. 세이지메이커가 새로운 기능이 사용자가 조직에서 머신 러닝을 더 쉽게 확장할 수 있도록 하는 것을 목표로 세이지메이커 기능들을 재발명했다. 세이지메이커 캔버스는 그동안 주피터 랩 노트북 코드 방식에서 벗어나 시각적이고 코드가 없는 도구로 캔버스를 사용하면 비즈니스 분석가가 머신 러닝 모델을 구축하게끔 도와준다. 또한, 클라우드 또는 온프레미스에서 서로 다른 데이터 소스를 탐색하고 데이터셋을 결합할 수 있다. 만일 업데이트된 데이터를 사용할 수 있게 되면 모델을 학습시켜 예측을 생성할 수 있다.
이러한 기능들을 내놓게 된 배경은 소프트웨어 개발이 창의적인 과정이지만, 반복적인 작업이 많이 필요한 과정이기 때문이다. 머신 러닝이 소프트웨어 개발자의 워크플로우를 강화하여 더 안전하고 안정적인 코드를 생성하는 데 중요한 역할을 하기 시작할 것으로 내다보았다. 클라우드가 등장한 이후로 전 세계의 기업이 그 어느 때보다 빠르게 대규모로 새로운 아이디어를 고객에게 제공하는 것을 보아 왔으나, 이러한 제품 제공의 가속화에도 불구하고 사람들은 여전히 기술의 한 영역인 소프트웨어 개발에 불균형적인 시간을 보내고 있기 때문이다.
또한, 프로그래밍 언어, 소프트웨어 개발 툴킷(SDK) 및 개발자가 더욱 효율적으로 작업할 수 있도록 하는 기타 다른 도구가 완전히 개선되었다. 하지만 모두 사소한 발전에 불과했기 때문에 지난 몇 년 동안은 소프트웨어 개발의 미래가 될 기초를 마련하기 시작했다. 개발자의 효율성을 높이기 위해 아마존 데브구루, 아마존 코드구루, 깃허브 코파일럿 및 GPT-3과 같은 도구는 머신 러닝이 코드를 개발하고, 소프트웨어 운영 워크스트림에 사용하도록 했다.
한편, 기업은 온라인으로 비즈니스를 전환할 때 인공지능을 지속적으로 수용하게 되었다. 기업의 52%가 코로나19로 인해 인공지능 도입 계획을 가속화했다. PwC(글로벌 컨설팅업체)은 이미 52%의 기업이 2020년에 인공지능 전략을 가속화했으며, 67%는 향후 전략을 더욱 가속화할 것으로 예상한다고 밝혔다.
따라서 기업들이 제일 처음 인공지능을 도입할 때, ‘레이블링 전문가’ 인력을 고용하여 고품질 훈련 데이터셋을 제공하는 동시에 회사가 자체 레이블링 애플리케이션을 관리할 필요가 없도록 하는 세이지메이커 그라운드 트루스 플러스를 추가했다. 데브옵스 실무자의 지원을 받아 워크로드 요구사항에 맞게 컴퓨팅 클러스터를 구성 및 프로비저닝하는 새로운 방법을 포함하여 세이지메이커 스튜디오를 한층 더 업그레이드시켰다.
이와 더불어, 세이지메이커 인퍼런스 레코멘더는 로드 테스트(Load test)를 자동화하고 머신 러닝 인스턴스 전체에서 모델 성능을 최적화한다. ML옵스 엔지니어가 시뮬레이션 된 환경에서 모델에 대해 부하 테스트를 실행할 수 있도록 하여 머신 러닝 모델을 개발에서 프로덕션으로 가져오는 데 걸리는 시간을 줄일 수 있도록 해준다.
끝으로, 데이터 과학자나 연구자들을 위해 AWS 계정이나 결제 세부 정보가 필요하지 않은 무료로 사용할 수 있는 새로운 세이지메이커 스튜디오 랩을 내놓았다. 사용자는 웹브라우저를 통해 이메일 주소로 간단히 등록할 수 있으며 재정적 의무나 장기 약정 없이 머신 러닝을 구축하고 훈련할 수 있다.
전 세계 어디에서나 활용할 수 있는 엣지 컴퓨팅
클라우드는 특수 제작된 장치와 전문 솔루션을 통해 모든 현장으로 확장한다. 클라우드의 모든 기능을 활용하여 창고, 레스토랑, 소매점, 농장 등을 변화시키고 있다. 특히 공급망과 운송에 관한 혁신 사례로 고객 여정의 마지막 구간, 즉 서비스가 소비자와 만나는 최종 단계를 일컫는 ‘라스트 마일(Last Mile)’로 더 빠르고 안전하게 전달한다. 따라서 전자 상거래에서는 위치에 따라 많은 변수가 있으므로 여정의 어려운 부분이 존재한다.
예를 들어, 도쿄의 혼잡한 거리에서 고객에게 소포를 배달하는 것과 미국의 시골 도로에서 배달하는 것은 다르다. 아마존에서는 완전 전기 자율 배송 장치인 아마존 스카우트와 같은 혁신을 통해 이 라스트 마일 배송을 위한 전문 솔루션을 개발하고 있다. 클라우드는 ‘라스트 마일’에 고유한 과제를 안고 있으며 이를 해결하는 데 도움이 되는 여러 가지 혁신이 발전시키고 있다.
지난 15년 동안 AWS는 245개 이상의 국가 및 지역에 서비스를 제공하는 310개 이상의 접속 지점을 통해 전 세계 25개 지리적 지역과 81개 가용 영역에 걸쳐 인상적인 글로벌 인프라를 구축했다. 그러나 이제 기존 AWS 리전의 경계를 넘어 네트워크 엣지 또는 전자 상거래와 같이 라스트 마일까지 클라우드 서비스를 확장하고 있다.
인간이 숨 쉬는 산소와 같이 이미 클라우드는 지구상 거의 모든 곳에서 사용된다. 향후 클라우드에서 가장 크게 목격하게 될 변화는 클라우드가 네트워크 엣지에서 고도로 전문화되는 것이다. 작업장 및 창고, 레스토랑 및 소매점 또는 원격 위치에서 클라우드의 이점을 완전히 실현하려면 엣지에 맞춤형 솔루션을 제공해야 한다. 아마존 모니트론 및 AWS 파노라마와 같은 장치로, 특정 작업을 수행하기 위해 네트워크 엣지에 클라우드 기능을 제공하는 특수 제작된 장치들이다.
따라서 클라우드의 높은 보안, 고급 기능 및 제공 속도를 모두 제공할 뿐만 아니라 전 세계 거의 모든 곳에 배치할 수 있다. 다시 말해, 클라우드가 기존의 중앙 집중식 인프라 모델을 넘어 전문 기술이 필요한 예상치 못한 환경으로 가속화하고 있다. 또한, 도로를 달리는 트럭부터 상품을 운송하는 선박과 비행기에 이르기까지 모든 곳에 포함되고, 전 세계적으로 분산되어 지구와 우주에 있는 거의 모든 디지털 장치 또는 시스템에 연결된다.
만화와 공상을 현실화하는 AWS
AWS의 출범은 3,000억 달러 규모의 산업인 클라우드 컴퓨팅을 창출함으로써 웹 기반 비즈니스의 경제에 혁명을 일으켰다. 리서치 회사인 IDG에 따르면 거의 모든 대기업과 정부 기관이 일종의 클라우드 컴퓨팅 서비스를 사용한다고 한다. 엔터프라이즈, 소비자 및 글로벌 인터넷 경제에 대한 AWS의 중요성은 아무리 강조해도 지나치지 않다.
내부적으로 AWS는 아마존의 캐시 카우(cash cow)로써 2020년 이자 및 세금을 제외하고 회사의 229억 달러 이익 중 59%를 차지한다. 물론 아마존 매출의 12%에 불과하지만, AWS 인프라는 아마존 물류를 지원하여 아마존의 다른 거의 모든 작업은 말할 것도 없고, 매년 25억 개 이상의 패키지를 고객들의 올바른 주소로 보내는데 중요한 작업을 한다.
클라우드 산업은 현재 변곡점에 도달했다. AWS가 15년 전에 클라우드 기술을 개척한 후, 클라우드 인프라는 클라우드의 모든 부분이 지구상의 거의 모든 곳, 심지어 우주까지 도달하는 것을 볼 수 있는 곳으로 발전했다. 클라우드 덕분에 한때 공상과학 소설이었던 것들이 과학적 사실로 변화하고 있다. 인공지능 및 머신 러닝 영역의 모델과 알고리듬들이 점점 더 좋아지면서 이전에는 영화와 만화에서만 상상했던 새로운 종류의 사용 사례가 등장했다.
데이터가 풍부하고 액세스가 거의 즉각적이며 새롭고 미묘한 방식으로 데이터를 이해하는 능력이 사실상 이제는 자동화 단계에 진입하고 있다. 비록 코로나19 팬데믹이 장기간 이어지고 있지만, 사람들이 세상과 소통하는 방식을 강화한다. 그리고 그 과정에서 인류는 한발 더 나아가게 될 것이다.
[divide style=”2″]
[box type=”note”]
본 글은 한국지능정보사회진흥원의 지원을 받아 작성되었으며, 디지털서비스 이용지원시스템에 동시 게재합니다. 이 글의 필자는 서진호 인공지능 산업 전문가 & 하이테크 칼럼니스트입니다.
[/box]
