현대판 식민지 세계질서, AI 제국

10대 청소년의 죽음과 AI

얼마 전, 챗GPT와 자살 방법을 상세히 논의하던 10대 청소년이 자살한 사건은 AI 챗봇의 정신건강 영향과 안전장치의 한계를 다시 한번 조명했다. 이 사건에서 챗GPT는 구체적 자살 방법을 제안하거나, 가족에게 도움을 청하지 못하도록 유도하기도 해서 논란을 낳았다. 

왜 이런 일이 발생한 것일까. 

그러나 상업적 AI 서비스들의 실체는 그 원인을 알아볼 정도로 자세하게 알려져 있지도 않다. 2023년과 2024년에 발표된 파운데이션 모델 투명성 지수 연구 결과(Foundation Model Transparency Index)에서 드러나듯이 인공지능 개발사들의 투명성 점수는 100점 만점에 낙제점에 해당했다. 특히 오픈AI는 48점(2023년), 49점(2024년)밖에 되지 않아 투명성과는 거리가 먼 회사여서 이러한 원인을 일반 소비자가 알기란 쉽지 않은 일이다.

샘 올트먼, 쿠데타에서 살아남다

GPT를 사용하던 10대가 자살한 사건이나 AI 회사들의 불투명한 의사 결정 과정들은 단순 과실이 아니다. 근본적인 거버넌스의 구조적 문제에서 비롯된 일로 볼 수 있다. 왜 이런 일들이 발생하는지 오픈AI의 내부 사정을 예리하게, 그리고 방대하게 파헤친 카렌 하오(Karen Hao)의 [AI 제국]은 이러한 현상을 생생하게 분석한다. 하오는 MIT를 졸업하고 잠깐 샌프란시스코 스타트업에서 일하면서 기술 세계의 운영 방법에 대해 빠르게 환멸을 느꼈다. 이후 그녀는 2018년 MIT 테크놀로지 리뷰, 월스트리트 저널 등에 합류하였고, 현재는 애틀랜틱에 기고하는 저널리스트이다.

그녀는 2019년 오픈AI에 대해 광범위한 접근을 얻어 첫 번째로 오픈AI에 관해 쓴 최초의 저널리스트였지만, 그녀의 평가 때문에 그 이후부터 오픈AI는 그녀에게 협조하기를 거부했다. 하오는 수년간 오픈AI 내부자 150명을 포함해서 300명 이상과 인터뷰하고, 이를 바탕으로 선출되지 않은 소수의 기술 리더가 밀실에서 어떻게 AI의 미래를 결정하는지 집필했다. 실리콘밸리 내의 인센티브 구조는 공익보다는 사익을 우선시하며, 사회적 이익 미션이 있더라도 그것은 부차적일 수밖에 없다.

이 책은 2023년 11월 17일 금요일 샘 올트먼이 오픈AI 이사회로부터 전격 해고되었다가 직원, 투자자, 실리콘밸리 거물들의 반발로 며칠 만에 복직된 극적인 사건으로부터 시작한다. 이날의 결정은, 오픈AI 이사회의 AI 안전성을 우려하는 신중한 운명론자(doomer)진영이 AI 모델을 공격적으로 확장하고 기술 사용을 가속하는 데 초점을 맞춘 올트먼의 낙관적인 부머(boomer) 진영을 이기지 못했음을 보여준다. 운명론자 진영은 올트먼의 AI 안전에 대한 허위 진술과 오픈AI 스타트업 펀드에 대한 그의 미공개 통제를 비롯한 비윤리적 행동이 문제를 제기했지만, 이 쿠데타는 실패하면서 부머 진영의 방향으로 오픈AI는 가속화되었다.

하오는 오픈AI 내부의 권력 투쟁을 개인적 갈등이 아닌 AI 거버넌스의 구조적 문제로 해설해 낸다. 2023년의 이사회 쿠데타 시도는 실패했지만, 쿠데타가 성공했더라도 그 과정에서 드러난 것은 인류의 미래를 좌우할 수 있는 기술의 방향이 기술 낙관주의자인 억만장자들, 기술 엘리트들의 밀실 협의에 의해 결정되고 있다는 충격적 현실이다. 심지어 오픈AI 직원들조차 자신들이 개발하는 기술의 운명에 대해 대부분 소외되고 있다는 사실이 이 이사회 쿠데타 과정에서 드러난 바 있다.

오픈AI의 탄생

오픈AI의 시작은 어땠을까. 오픈AI가 설립될 수 있었던 것은, 허사비스와 구글의 독점에 대해 깊은 우려를 가진 일론 머스크와 올트먼이 결합되어서 가능했다. 샘 올트먼은 오픈AI를 창업하기 전에 실리콘 밸리 투자자 그룹으로서 소셜 미디어 플랫폼이나 긱 워크 앱에 대해 투자를 해 오다가 “우주, 핵융합개방, AGI, 죽음 자체의 정복”에 관심을 갖게 된다. 2010년 초반의 일론 머스크 역시 지금처럼 트럼프의 마가와 함께 하는 미친 과학자와 같은 모습을 보여주지 않았다. 

이 시절만 해도 머스크는 개발자들의 구루로, 구글이 초지능 컴퓨터 시스템을 만드는 걸 “악마를 소환하는 것”이라 믿고, 허사비스는 “악한 천재”라며 자신이 이를 저지하기 위해 이상적인 초지능 인공지능을 만들어야겠다는 주장을 설파하고 있었다. 머스크는 AI가 인류를 멸종시킨다는 실존적 위험에 대해 공개적으로 경고하고 구글과 허사비스를 막기 위한 비상적 개발을 옹호하고 있었다.

실리콘밸리의 네트워크 속에서. 머스크와 정기적으로 식사하던 올트먼은 그의 불안과 걱정을 이해하고 그를 설득했다. 2015년 머스크에게 보낸 메일에서 올트먼은 “그것이 일어날 것이라면 구글이 아닌 다른 누군가가 먼저 하는 것이 좋을 것 같다.”고 말했다. 올트먼은 실제 맨해튼 프로젝트가 나찌를 제치고 원자폭탄을 만들려 했던 것처럼 악한 구글로부터 인류를 구하기 위해 선한 AI를 개발할 비영리 조직인 “AI를 위한 맨해튼 프로젝트”를 제안했다. 올트먼의 제안에 머스크는 10억 달러를 지원하고, “오픈AI”라는 이름도 제공해주었다.

오픈AI는 위와 같이 2015년 위와 같이 구글의 AI 독점에 대한 공통된 우려에서 시작되어 머스크와 올트먼이 의기투합하고, 피터틸과 같은 억만장자 후원자들과 함께 안전성과 공익을 위한 AI개발이라는 미션을 가진 비영리 연구소로 설립되었다.

약속과 배신

이 회사의 창립자들은 여러 약속과 미션을 제안했다. 그들은 주주의 재정적 이익이 아니라 인류의 이익을 위해 지금까지 누구도 들어본 적이 없는 강력한 AI, 즉 AGI를 개발하겠다고 했고, 이를 위해 이 회사는 비영리로 설립하고, 상업적 제품을 작업하지 않을 것이며, 글로벌 유토피아를 열어주는 AGI를 안내하는 가장 순수한 의도로 추진되는 연구에 완전히 전념할 것이라고 약속했다. 또, 그들은 이 과정에서 가능한 한 많은 연구를 공유하고 다른 기관들과 광범위하게 협력할 것을 약속했다. 

목표가 세상에 선을 행하는 것이라면 개방성과 기술개발에 민주적 참여가 핵심이었기 때문이다. 또한 몇 년 후 리더십은 필요하다면 자기희생까지 하겠다는 약속까지 했다. 심지어 “AGI 개발 후기 단계에 적절한 안전 예방조치를 위한 시간이 없어 경쟁적 경주가 되는 것에 대해 우려하고 있다. 만약 유익한 AGI를 만드는 다른 시도가 오픈AI의 진전을 앞선다면 우리는 그 프로젝트와 경쟁하는 것을 중단하고 지원하기 시작할 것을 약속한다.”라고까지 했다. 그뿐인가. 오픈AI는 “군사 목적”으로는 연구하지 않을 거라는 약속까지 했지만… .

위 약속 중 지켜진 것은 단 한 개도 없다. 오히려 위 약속에서 “하지 않겠다.”,“되지 않겠다”고 한 것의 모든 것이 되었다. 챗GPT와 같은 제품을 공격적으로 사업하고, AI 연구에 대한 접근을 차단했으며, AI 개발의 상당 부분을 공공 참여 또는 공공 감시로부터 멀리 두어 투명성지수는 낙제점까지 받았고, 군사 목적으로 연구하지 않겠다는 미션은 파기되었다.

심지어 위 약속의 대부분은 1년 반 만에 뒤집어지기 시작했었다. 머스크가 자신이 투자한 돈을 회수해 오픈AI를 떠나간 뒤, 머스크가 회수해 간 구멍을 메우기 위해 올트먼은 비영리 내에 자본을 조달하고, 제품을 상업화하며, 투자자들에게 수익을 제공하기 위해 영리 부문은 오픈AI LP를 만들었고, 마이크로소프트를 새로운 투자자로 맞이했다. 

이후 투명성, 민주주의, 자기희생과 협력의 개념은 모두 사라졌다. 오픈AI의 경영진은 이때부터 AGI에 가장 먼저 도달하여 이를 자신의 이미지로 만드는 것에 강박적으로 매달렸기 때문이다, 하오는 이러한 오픈AI LP를 통한 하이브리드 구조를 통해 애초에 표방했던 ‘인류를 위한 AI’라는 이상주의가 어떻게 자본의 논리와 권력 게임에 의해 점진적으로 해체되어 갔는지 설명한다. 비영리 형태의 오픈AI 이상은 실리콘밸리의 거버넌스 체제에서는 가능하지 않은 것이었다.

현대판 식민지 세계질서, AI 제국

하오가 제목에서 “제국”을 언급한 것은 AI 회사들이 그려내는 현실을 “현대판 식민지 세계질서”로 설명하기 위해서이다. 하오의 이런 시각은 케이트 크로퍼드 역시 AI 지도책에서도 감각적으로 그려낸 바 있다. 제국주의 시대 유럽 열강들처럼 이들 소수의 AI 회사는 귀중한 자원을 점유하고 추출하고 있다. 인류에게 영향력 있는 기술이 철없는 소수의 손에 집중되고 있고, 이들을 위해 지구상의 자원과 일반인들의 삶에 어떤 희생이 치러지고 있는지를 냉철하게 분석한다. 이를 위해 하오는 미국을 벗어나 5대륙을 다녔고, 케냐, 콜롬비아, 칠레에서의 상황도 함께 보여주고 있다.

과거의 유럽 식민주의 시대, 유럽 제국은 자신들의 것이 아닌 식민지 자원을 점령하고 추출했으며, 제국의 풍요를 위해 그 자원들을 채굴하고, 경작하고, 정제하기 위해 그들이 예속시킨 사람들의 노동을 착취했다. 그들은 주권을 침해하고, 도둑질, 예속을 정당화하고 가스라이팅을 위해 자신들의 우월성과 현대성에 대한 인종차별과 비인간화하는 아이디어를 개발해 냈다. 제국주의 시대처럼 현대의 AI 기업들은 상상할 수 없는 양의 데이터, 노동, 컴퓨팅 파워, 자연 자원을 소비하고 있다. 그래서 자신의 것이 아닌 데이터와 같은 자원에 대한 권리를 주장하며, 취약한 사람들의 노동력을 착취하며 자신들의 모델을 구축하고 있다.

AI 기업들은 그 데이터가 원래 내 것이었다고 주장하기 위해 규칙을 재설계하거나 재해석하려고 한다. AI 기업은 데이터가 공개적으로 이용할 수 있으므로 가져갈 수 있다는 논리를 펴고 있지만, 온라인에 데이터를 게시한 모든 사람이 AI 모델 훈련에 자신의 정보를 사용하도록 동의한 것도 아니다. 글로벌 북쪽의 노동자든, 글로벌 남쪽의 빈곤한 공동체들이든 모두 겪어본 적 없는 새로운 수준의 불안정을 겪고 있고 소위 이 기술혁명의 낙수 이익을 겪어 보지 못하고 있다. 즉, AI 개발은 경제적 권력과 국가안보의 중요 기술로 글로벌 AI 패권 경쟁은 제국 시대의 기업과 국가들이 경쟁우위를 확보하기 위해 서두르며 격화되는 모습과 그다지 다르지 않다.

케냐의 데이터 라벨러들은 시간당 2달러도 안 되는 임금으로 챗GPT 폭력과 혐오 표현과 같은 심리적으로 독성이 있는 유해한 콘텐츠를 조정하는 일을 하거나, 오픈AI의 복잡한 하드웨어를 가능하게 하기 위해 칠레의 데이터 센터가 지역 공동체의 물 자원을 고갈시키는 현실은 고상해 보이는 AI 기술의 화려한 수사 뒤에 감춰진 어두운 진실을 보여준다. 기술 발전이 인류 전체의 이익으로 이어진다는 실리콘 밸리의 서사는 허구적이다.

어두운 책 유일하게 빛나는 존재, 팀닛 게브루

이 어두운 책에서 “독보적으로 빛나는 존재”인 팀닛 게브루(Timnit Gebru, 1982년생)는 종종 등장한다. 맞다. 2018년 얼굴인식 시스템의 오류율을 비교 발표하면서 “백인 남성에 대한 오류율은 1% 미만이지만 흑인 여성에 대한 오류율은 35%에 달한다”는 것을 밝혀낸 기념비적인 논문의 공동 작성자 중 한 명. 

에티오피아 태생의 난민으로 10대에 미국에서 살아온 팀닛 게브루는 스탠퍼드에서 AI를 연구할 때도 AI 유명인들에 대한 종교적 숭배, 중요한 기술을 구축하고 형성하는 사람들의 압도적인 동질성, 이러한 동질성 문화가 재능 있는 연구자들을 소외시키고 AI와 그 기술로부터 혜택을 받을 수 있는 사람들에 대해 위험할 정도로 편협하게 개발되고 있는 행태를 비판해 왔다.

게브루는 2018년 구글에 합류해 윤리적 AI 팀을 이끌면서 AI 업계에서 가장 다양하고 비판적인 연구팀을 만들었다. 2020년 GPT-3 출시 후, 그녀는 대형 언어 모델의 위험성을 경고했고, 레딧 같은 독성 콘텐츠로 훈련된 모델이 소외계층에 미칠 해악을 지적했고, 실제로 GPT-3는 인종차별적 텍스트를 생성하는 사례들이 나타나기도 했다. 

게브루는 이에 워싱턴대학교 에밀리 벤더 교수와 함께 “확률적 앵무새” 논문을 작성해 대형 언어 모델의 네 가지 주요 위험(환경 영향, 독성 데이터, 감사 어려움, 의미 착각)을 지적했지만, 구글은 전례 없이 논문 철회를 요구했고, 게브루가 거부하자 2020년 12월 그녀를 해고했다. 이 사건은 AI 업계 전반에 충격을 주며 7,000명이 서명한 항의 서한으로 이어졌다. 게브루의 해고는 기업의 연구 검열, 다양성 부족, 윤리적 AI 연구에 대한 탄압을 상징하는 사건이 되었다.

게브루는 구글에서 축출된 후 2021년 12월 자신의 연구를 계속하기 위해 비영리 단체를 설립하고 이를 분산형 AI연구소(DAIR)라고 명명했다. 사회학자이자 확률적 앵무새 논문의 공저자 중 한 명인 알렉스 한나가 연구 감독으로서 이 연구소에 합류했고 이 연구소에서는 “자신들의 공동체에 뿌리를 내리면서도 지역적 맥락의 풍부한 경험과 관점을 연구하고, 그 작업이 그런 공동체들에 혜택을 주는 연구”를 지향할 것이라고 밝혔다. 현재, 이 연구소에서는 데이터 노동자들에 대한 연구를 진행하고 있다.

이러한 연구 이외에도 케냐의 오키니가 주도하는 데이터 노동자 권익 보호 운동들은 AI 개발이 소수 기업의 전유물이 아니라 전 지구적 공동체의 참여와 감시하에 이루어져야 한다는 중요한 메시지를 전달한다. 특히 오키니가 오픈AI의 하청업체에서 겪은 열악한 노동 조건을 폭로하고 아프리카 데이터 노동자들의 권익 보호를 위해 나선 과정은, 피해자에서 변화의 주체로 전환하는 저항의 가능성을 보여준다.

제국이 우리 자유와 운명을 결정하게 내버려두지 마라

하오의 이 책은 오픈AI라는 기업에 대한 책이라기보다는 민주주의와 기술 발전의 관계에 관해 다루고 있다. AI가 사회의 모든 영역에 침투해 가는 상황에서, 이 기술의 설계와 배포에 대한 의사결정 과정에서 시민들이 배제된다면 민주주의 자체가 위험에 처할 수 있다. 책의 말미에서 하오가 경고하는 것처럼, 사람들이 자신의 목소리가 중요하지 않다고 느끼기 시작할 때 민주주의는 죽기 시작한다. AI 제국들이 우리의 선택권을 점점 더 제약해 간다면, 우리는 결국 자신의 운명을 스스로 결정할 능력을 잃게 될지도 모른다.

하오는 AI 기술 자체의 문제가 아니라 그것을 둘러싼 권력 구조와 개발 방식의 문제를 명확히 지적하고 있다. 공동체 중심적이고 민주적인 AI 개발은 충분히 가능하다. 문제는 현재의 제국주의적 개발 모델이 워낙 강력한 자원과 영향력을 독점하고 있어서 대안적 접근법들이 설 자리를 찾기 어렵다는 점이다. 기술 산업과 연관되지 않거나, 독립 연구자들의 수는 급속히 줄어들고 있으며 단기적 상업적 이익과 연결되지 않는 분야의 아이디어 다양성 역시 감소하고 있다. 젊은 세대의 과학자들 역시 취업 가능성을 높이기 위해 새로운 현상에 줄을 서고 있다.

결국 이 책이 우리에게 요구하는 것은 수동적 관찰자에서 능동적 참여자로의 전환이다. AI의 미래는 이미 정해진 것이 아니라 우리의 선택에 달려있다. 우리는 투명성을 더 요구해야 하고, 시민들은 AI 기술의 작동 원리와 그 사회적 함의에 대해 더 많이 알아야 하며, 연구자들과 기술자들은 자신들의 작업이 누구를 위한 것인지 끊임없이 돌이켜 봐야 한다. 10대의 자살과 같은 비극이 반복되지 않으려면, 우리는 AI 기술이 인간의 존엄성과 복지를 진정으로 증진하는 방향으로 발전할 수 있도록 지금부터라도 적극적으로 개입해야 한다.

AI 제국은 단순한 기술서나 기업 분석서를 넘어서는 시대적 성찰을 담고 있다. 하오의 예리한 분석과 전 세계를 아우르는 탐사 보도는 우리가 지금 어떤 갈림길에 서 있는지를 생생하게 보여준다. 이 책을 읽고 나면, AI를 둘러싼 화려한 수사와 약속들 뒤에 숨어있는 권력의 실체를 더 이상 외면할 수 없게 된다. 우리 모두가 의존하는 자원, 노동, 공동체의 소유권과 권한을 AI 기업들에 의해 착취되어서는 안 된다. AI 개발은 군비경쟁을 하듯 이루어져야 하는 것이 아니라 책임감 있게 공유해야 할 책임으로 다뤄져야 한다.