세계 최고 인공지능 회사 CEO가 잘렸다, 이게 무슨 의미일까.

[슬로우리포트] 오픈AI CEO 샘 올트먼 해고 파문.

오픈AI CEO 샘 올트먼이 해고됐다. “이사회와의 커뮤니케이션에서 일관되게 솔직하지 못했다는 이유로 해고됐다”는 공지가 떴다. 구체적인 이유는 공개하지 않았다.

이게 왜 중요한가.

• 뭔가 심각한 일이 벌어지고 있을 가능성이 크다. 인류의 미래와 관련된 문제일 수도 있다.
• 오픈AI는 그냥 스타트업 기업이 아니다. 무려 900억 달러의 가치를 인정 받는 기업이다.
• 샘 올트먼 없는 오픈AI는 상상하기가 쉽지 않다.

몇 가지 확인된 사실.

• 샘 올트먼은 X(트위터)에서 “오픈AI에서 보낸 시간은 정말 좋았다”면서 “세상을 조금이나마 변화시키는 계기가 됐다”고 짧게 밝혔다. 의외로 밝고 아무렇지도 않다는 느낌이다.
• 공동 창업자 그렉 브록맨도 그만뒀다. 역시 X에서 “우리 모두가 함께 일궈낸 성과가 매우 자랑스럽다”면서 “오늘 소식을 듣고 그만두기로 했다”고 밝혔다.
• 임시 CEO는 CTO인 미라 무라티가 맡는다.
• 이사회의 워딩을 보면 샘 올트먼이 말하지 않은 뭔가가 있었고 그게 들통났다는 걸로 해석할 수 있지만 알려진 건 거의 없다. 뉴욕타임즈 기자 케빈 루즈는 수요일 오후에 샘 올트먼을 인터뷰했는데 “자신이 해고될 거라는 걸 전혀 알지 못하는 것 같았다”고 말했다.
• 오픈AI의 최대 주주인 마이크로소프트도 샘 올트먼의 해고 소식을 발표 몇 분 전에 들었다고 했다.
• 이사회는 후속 공지에서 “부정행위나 재무, 비즈니스, 안전 또는 보안, 개인정보 보호와 관련된 사안은 아니라고 분명히 말할 수 있다”고 덧붙였다. 이사회 멤버 가운데 일부가 알트먼의 복귀를 타진하고 있다는 후속 보도도 나왔다.

이유가 뭘까.

• 디인포메이션의 단독 보도에 그나마 최근 상황을 이해할 수 있는 단서가 있다.
• 안전 문제를 두고 논란이 있었고 미라 무라티가 세 가지를 강조했는데 두 번째가 AI 얼라인먼트(alignment, 조정), AI의 능력과 위험을 예측해야 한다는 것이다.
• 첫번째는 기술 연구를 진전시키는 것이고, 두번째가 AI 얼라인먼트고 세 번째가 모두에게 유익한 방식으로 기술을 공유해야 한다는 것이다. AI 얼라인먼트를 두고 갈등이 촉발됐을 가능성이 있다는 이야기다.
• 디인포메이션에 따르면 오픈AI 이사회는 올트먼이 밀어붙이고 있는 영리적 비즈니스가 오픈AI의 가이드라인을 넘어 사회의 안전을 희생시킬 가능성을 우려했다고 한다.

큰 그림.

• 오픈AI는 애초에 인공지능 개발이 아니라 인공지능의 폭주로부터 인류를 보호하기 위한 연구를 하는 비영리 조직으로 출발했다.
• 오픈AI가 공개한 거버넌스 구조를 보면 오픈AI 이사회의 가장 중요한 역할 가운데 하나는 오픈AI가 개발하는 인공지능이 일반 인공지능(artificial general intelligence)에 도달했는지 여부를 결정하는 것이다. 오픈AI는 비영리 모회사가 영리 자회사를 지배하는 구조인데 만약 AGI에 도달하게 되면 영리 목적의 사업을 중단해야 한다. 마이크로소프트와 맺은 라이선스 계약도 중단된다.

더 깊게 읽기.

• 지난 7월 일리야 수츠케버가 오픈AI 블로그에 쓴 글이 있다. 슈퍼 인공지능의 막강한 힘이 매우 위험할 수 있고 인류를 위협하거나 멸종에 이르게 할 수도 있다는 내용이다. 수츠케버는 “거버넌스를 관리할 기관이 필요하고 슈퍼 인공지능의 얼라인먼트 문제를 해결해야 한다”고 강조했다.
• 만약 AI가 사람의 능력을 넘어선다면 AI를 누가 콘트롤할 것인가의 문제다. AI의 능력을 콘트롤하는 게 얼라인먼트인데 얼라인먼트를 사람이 감독한다면 AI가 얼라인먼트를 우회하거나 속일 가능성도 있기 때문이다.
• 오픈AI는 앞으로 4년 동안 확보된 컴퓨팅 능력의 20%를 얼라인먼트 문제 해결에 투입할 계획이라고 밝혔다. 일반 인공지능의 시대에 대비해 인공지능이 어디까지 할 수 있고 어디부터는 해서는 안 되는지 원칙을 정하고 그 원칙을 벗어나지 않도록 관리하는 게 과제다.
• 일리야 수츠케버는 초지능(artificial superintelligence)에 맞서는 개념으로 초정렬(superalignment)팀을 운영하고 있다. MIT테크노롤지리뷰와 인터뷰에서는 “인간의 통제를 넘어서는 인공지능이 등장하면 많은 사람들이 인공지능의 일부가 되는 걸 선택할 수도 있을 것”이라고 암울한 전망을 내놓기도 했다. 그런 상황에 이르지 않도록 위험관리(얼라인먼트)를 강화해야 한다는 이야기다.
• 샘 올트먼과 일리야 수츠케버가 얼라인먼트 문제로 의견 충돌을 빚었을 가능성도 있다. 인공지능의 위험을 보는 견해는 올트먼보다 수츠케버가 훨씬 더 강성이라고 할 수 있다.
• 수츠케버는 인공지능의 아버지라고 불리는 제프리 힌튼의 제자다. 힌튼은 올해 5월 구글을 떠나면서 인공지능의 위험을 경고했다. “일생을 후회한다”면서 “내가 하지 않았다면 다른 누군가가 했을 일이라고 생각하며 스스로를 위로할 뿐”이라고 말하기도 했다.
• 디인포메이션이 안전 문제였다고 지적한 것과도 연결된다. 수츠케버를 비롯해 다른 이사들이 속도 조절을 요구했는데 받아들여지지 않았거나 더 심각한 이슈가 발생했을 가능성도 있다.

오픈AI의 지배구조.

• 오픈AI는 델라웨어에 등록된 비영리 단체고 자회사 오픈AI글로벌(OpenAI Global LLC)은 영리적 목적으로 설립된 주식회사다. 오픈AI글로벌은 수익 창출과 분배가 허용되지만 철저하게 모회사의 사명에 따르도록 돼 있다.
• 오픈AI글로벌의 지주회사와 관리회사가 따로 있고 주주들은 지주회사에 투자할 수 있지만 경영에 개입할 수는 없다.
• 이사회의 과반이 사외 이사고 사외 이사들은 지분을 보유하지 않는다. 샘 올트먼도 지분이 전혀 없다.
• 직원들과 마이크로소프트를 비롯해 투자자들이 가져갈 수 있는 이익의 상한이 정해져 있다. 한도를 넘어 이익이 발생하면 비영리 단체에 귀속된다.
• 오픈AI는 “오픈AI의 수혜자는 투자자가 아닌 인류(The Nonprofit’s principal beneficiary is humanity, not OpenAI investors)”라고 밝히고 있다.

뒷 이야기.

• 샘 올트먼이 해고된 직후 오픈AI의 직원들이 일리야 수츠케버에게 이게 쿠데타인지 물었다. 일리야 수츠케버는 “동의하지는 않지만 그렇게 불러도 된다”면서 “이사회는 인류에게 혜택을 주는 일반 인공지능을 구축하기 위해 해야 할 일을 했을 뿐(which is to make sure that OpenAI builds AGI that benefits all of humanity)”이라고 말했다.
• 디인포메이션에 따르면 올트먼이 잠재적인 안전 문제를 희생하면서 비즈니스를 키우려 했고 그 속도가 너무 빨랐다고 생각하느냐는 질문으로 이해한 직원들도 있었다고 한다.

‘효과적인 이타주의자들’.

• 오픈AI의 이사회는 모두 여섯 명인데 일리야 수츠케버와 큐오라의 CEO인 아담 단젤로, 로봇공학자 타샤 맥컬리, 조지타운의 전략 담당 이사 헬렌 토너 등이 남았다. 기즈모도는 이들이 모두 ‘효과적인 이타주의자들(Effective Altruists)’ 운동과 관련돼 있다고 분석했다.
• ‘효과적인 이타주의자들’은 선한 의도를 가진 사람들이 엄청난 부자가 되어 그 돈을 좋은 일에 기부하는 것이 인류의 문제에 대한 해결책이라고 주장하는 사람들의 모임이다. 이 모임을 주도했던 사람 가운데 하나가 FTX의 샘 뱅크먼프리드였다. (샘 뱅크먼프리드는 FTX 파산 이후 사기 혐의 등으로 구속돼 재판을 받고 있는데 징역 110년형을 받을 거란 관측도 나온다.)
• FTX 사태 이후 이 모임은 해체되다시피 했다. 오픈AI 대변인은 벤처비트와 인터뷰에서 “우리 이사회 구성원 가운데 ‘효과적인 이타주의자들’ 멤버는 없다”고 밝혔다. 그렇다고 딱히 탈퇴를 했다거나 생각이 바뀌었다고 볼 이유도 없다는 게 벤처비트의 분석이다.
• 샘 올트먼은 올해 3월 뉴욕타임즈 인터뷰에서 “오픈AI가 세계의 부의 대부분을 확보한 다음 사람들에게 재분배하는 게 목표”라고 밝힌 바 있다. 100조 달러까지 숫자를 거론했다고 한다.
• ‘효과적인 이타주의자들’의 노선과 전략을 두고 이사들과 갈등이 있었을 가능성도 있다.

우리 시대 오펜하이머.

• 트리니티 실험이 성공했을 때 오펜하이머는 이렇게 말했다. “나는 이제 죽음이요, 세상의 파괴자가 됐다(Now I am become Death, the destroyer of worlds).”
• 샘 올트먼은 스스로를 오펜하이머에 여러 차례 비유했다. 오펜하이머와 생일이 같다는 이야기도 했다. 원자력을 감시하는 IAEA와 같은 국제 기구가 필요하다는 제안을 하기도 했다.
• 뉴욕매거진은 ‘우리 시대 오펜하이머(Oppenheimer of Our Age)’라는 제목의 인터뷰 기사에서 “샘 올트먼의 목표는 나쁜 사람들이 나쁜 인공지능을 만들기 전에 좋은 인공지능을 만들고 그 분야를 지배하는 것이었다”면서 “오픈AI는 ‘효과적인 이타주의자들’의 철학에 따라 연구 결과를 오픈 소스로 공개하기로 약속했고 누군가가 그들과 ‘가치가 일치하고(value aligned)’ ‘안전을 의식하는(safety conscious)’ 사람들이 일반 인공지능을 구현할 준비가 돼 있다면 그들과 경쟁하는 대신 그 프로젝트를 도울 것이라고 선언했다”는 설명이다.
• 국무부 장관을 지낸 헨리 키신저는 구글 CEO 출신의 에릭 슈미트와 함께 쓴 ‘AI 이후의 세계’에서 “핵무기는 국제 사회에서 인정받는 금지 조약이 있고 억지의 개념이 명확하게 정의돼 있지만 AI와 관련해서는 넘지 말아야 할 선을 누구도 합의한 바 없다”고 지적한 바 있다. “지금처럼 복잡한 전략적 기술적 문제에 봉착했는데 문제의 본질과 심지어 그 문제를 논의하는 데 필요한 어휘에 대해서도 이렇게 합의가 결여된 시대는 없었다”는 이야기다. 샘 올트먼의 최근 발언을 보면 2021년에 출간된 이 책에서 아이디어를 얻었을 가능성이 크다.

샘 올트먼이 말하는 일반 인공지능.

• 오픈AI의 회사 소개 페이지에 샘 올트먼이 직접 “AGI 및 그 이후를 위한 계획”이란 글을 게재했다. 세 가지 원칙은 다음과 같다.

1. 우리는 AGI가 인류의 번영에 힘을 실어주기를 바란다. 좋은 점은 극대화하고 나쁜 점은 최소화하여 AGI가 인류의 증폭기가 되기를 바란다.
2. 우리는 AGI의 혜택과 접근성, 거버넌스가 광범위하고 공정하게 공유되기를 바란다.
3. 우리는 거대한 위험을 성공적으로 헤쳐나가려고 한다. 이러한 위험에 직면하면서 이론적으로는 옳아 보이는 일이 실제로는 예상보다 더 이상하게 전개되는 경우가 많다는 것을 인정한다. 따라서 ‘한 번의 실패’를 최소화하기 위해 덜 강력한 버전의 기술을 배포하여 지속적으로 학습하고 적응해야 한다고 믿는다.

• 뉴욕매거진은 샘 올트먼이 일반론에 집착하고 있다고 지적했다. AI가 세상을 멸망시킬 수도 있다고 말하려면 구체적으로 무엇이 위험이고 어떻게 대처해야 하는지 설명해야 한다는 지적이다.
• 테크 라이터 조나단 사도프스키는 “샘 올트먼은 ‘규제해 달라’고 말하면서 ‘이것은 정말 복잡하고 전문적인 주제이므로 복잡하고 전문적인 기관이 필요하다’고 주장하지만, 그런 기관이 만들어지지 않을 것이라는 것을 잘 알고 있다”고 지적했다.
• “그는 자신을 니체가 말한 초인적인 존재로 보고 있다. 그는 우리를 파괴하는 것을 창조할 것이고, 우리를 그것으로부터 구원할 것이라고 믿는 것 같다.”
• 안전 엔지니어 하이디 클라프는 “시스템이 흑인을 차별하는 것조차 막을 수 없다면 인류를 파괴하는 걸 어떻게 막을 수 있겠느냐”고 반문했다. 못하는 게 아니라 안 하는 것이고 결국 선택의 문제라는 이야기다.
• 지난주 오픈AI의 개발자 대회는 이런 비판이 무색하게 장밋빛 전망과 기술 폭주를 과시하는 자리였다. 전성기의 스티브 잡스를 연상케 했고 ‘아이폰 모멘트’라는 말이 나올 정도였다.
• 블룸버그에 따르면 샘 올트먼이 AI 칩을 개발하는 스타트업을 만든다며 중동의 국부 펀드와 자금 조달을 논의하면서 이사회와 협의를 거치지 않은 사실이 논란이 됐다는 관측도 있다. 디인포메이션은 올트먼이 새로운 회사 설립을 준비하고 있다고 보도했다. 어차피 올트먼과 브록맨이 인재 자석이었고 금방 팀을 다시 꾸릴 수 있을 거라고 본다는 이야기다. 만약 새로운 기업을 만든다면 오픈AI와는 다른 지배구조가 될 가능성이 크다.

어떻게 될까.

• 진실을 알고 있는 사람이 너무 적고 다들 입을 다물고 있는 상태다.
• 기술의 발전 속도 못지 않게 그 위험과 통제가 중요한 쟁점으로 떠올랐다. 오픈AI의 갈등도 이 지점에서 촉발됐을 가능성이 크다. 얼라인먼트의 방향과 철학을 두고 대립했을 가능성도 있고 인공지능의 특이점이 임박했거나 이미 지났을 가능성도 배제할 수 없다.
• 뉴욕타임스 칼럼니스트 카라 스위셔는 “일리야 수츠케버가 사건의 중심에 있었다고 한다”면서 “역할과 영향력을 놓고 샘 알트먼과 갈등하던 수츠케버가 이사회를 자신의 편으로 끌어들였다”고 분석했다. (카라 스위셔의 트윗은 114만 뷰를 넘겼다.)
• 더버지 부편집장 알렉스 히스는 “인공지능의 위험을 꾸준히 경고해 왔던 수츠케버가 승리한 것 같다”면서 “오픈AI가 완전히 다른 덜 상업적인 시대로 접어들 것임을 시사한다”고 전망했다. 수츠케버는 “원자로가 녹아내리지 않도록 해야 한다”고 맞섰다고 한다. 샘 올트먼이 다른 사업에 관심이 있었다는 이야기도 돌았다.
• 샘 올트먼은 오픈AI의 지분을 전혀 보유하고 있지 않다. 이 때문에 일부 투자자들이 투자를 꺼렸다는 이야기도 돌았다. 샘 올트먼은 다른 CEO들이 흔히 하는 것과 달리 경영권을 보호하기 위한 아무런 장치도 두지 않았다. 갑작스러운 해고 통보에 별다른 반발 없이 쿨하게 떠난 건 자신감이 있기 때문일 수도 있고 애초에 지배구조가 그렇게 돼 있기 때문에 반발해 봐야 의미가 없다고 생각했을 수도 있다.
• 세마포는 “올트먼은 다른 더 추악한 이유가 없는 한 새로운 회사를 설립할 가능성이 크다”고 전망했다. 막대한 자본을 조달하는 것도 어렵지 않을 거라는 이야기다.
• 세마포 기자 리드 알베르고티는 “AI의 선두 주자가 큰 타격을 입었고 이제 누가 왕좌를 차지할지 모르는 상황”이라고 분석했다. 구글과 아마존이 가장 기뻐할 거라는 이야기다.
• 마이크로소프트가 오픈AI를 필요로 하는 것보다 오픈AI가 마이크로소프트를 더 필요로 할 것이라는 분석도 흥미롭다. 오픈AI는 뛰어난 기술 기업이지만 마이크로소프트의 과감한 투자가 아니었으면 이 정도로 빠르게 성장하지 못했을 것이다. 하지만 오픈AI가 대체 불가능한 압도적인 기술 우위를 확보했다고 보기는 어려운 상황이다.
• 알베르고티는 “마이크로소프트는 지금이라도 오픈AI를 대체할 방법을 찾는 게 현명할 것”이라고 조언했다. 샘 올트먼 없는 오픈AI에 시간을 낭비할 가치가 없다는 이야기다.

석 줄 요약.

• 오픈AI는 원래 인공지능을 잘 만들어서 팔아 보자고 만든 회사가 아니라 인공지능의 폭주를 막는 방법을 연구하는 비영리 조직이었다.
• 실제로 초지능에 맞서는 초조정이 중요한 화두였고 조직 역량의 20%를 인공지능을 통제하는 연구에 투자하기로 했는데 샘 올트먼은 속도에 취해서 계속 확장 전략을 밀어붙였고 다른 이사들과 충돌을 빚었을 가능성이 크다.
• 오픈AI 이사회 멤버들은 모두 ‘효과적인 이타주의자들’ 소속이었다. 샘 올트먼은 돈을 빨리 왕창 벌어서 세상을 바꾸자는 쪽이었고 다른 멤버들은 그게 인류의 미래를 위협하는 방식이어서는 안 된다고 판단했을 가능성이 있다.

후속 상황 업데이트.

더버지 등의 후속 보도에 따르면 이사회에서 알트먼 복귀를 추진하는움직임이 있다고 합니다. 그렇다면 수츠케버가 쫓겨날까요? 여전히 올트먼은 지분이 전혀 없고 이사회가 전권을 쥐고 있습니다. 올트먼 없이 회사가 존속 가능하지 않다는 판단을 했을 수도 있겠지만 올트먼이 복귀하는 걸 전제로 뭔가 서로 양보를 했을 가능성도 있습니다. 하지만 갈등의 양상은 달라지지 않았을 수도 있고 갈등의 원인이 안전과 조정을 둘러싼 노선 차이라면 위험은 그대로일 수도 있습니다. 거대 기업의 거버넌스가 폐쇄적인 이사회 시스템에 종속된다는 게 이런 문제가 있군요. 나름 주주 자본주의의 압박에서 벗어나려는 시도였겠지만요. (11월19일 오전 10시 업데이트.)