AI 월드 모델과 허사비스의 신중한 낙관주의

[AI in a Week by TechFrontier] 한 주일의 주요 AI 뉴스, 논문, 칼럼을 ‘테크프론티어’ 한상기 박사가 리뷰합니다. (⏰21분)

지난주도 쏟아지는 AI 관련 뉴스로 넘친 한 주였다. 다만 이번 주는 연구 성과보다는 주로 정책과 산업 뉴스, 그리고 리더의 통찰을 느낄 수 있는 한 주였다. 다들 미국 AI 실행 계획 발표와 행정 명령의 의미를 분석하는 데 관심을 쏟았지만, 내가 가장 흥미롭게 관심을 둔 건 렉스 프리드만이 딥마인드의 데미스 허사비스와 가진 두 번째 인터뷰였다. ‘허사비스가 우리 세대 안에 매트릭스를 만들고 싶어 하는구나’ 인터뷰를 접하고 든 생각이다. 미국 AAP(AI Action Plan)는 워낙 많은 곳에서 정리하고 논의하고 있어서 내 생각만 좀 정리했다. 또 하나 흥미로운 보고서는 7월 초에 나왔지만, 이제 소개하는 랜드 연구소가 발행한 AGI에 따른 국가 흥망 시나리오 보고서였다.

그 밖의 소식에도 넣고 싶은 얘기가 많았으나 시간이 부족해 9개로 마감했다. 다음 주부터는 이것도 5개로 제한해야겠다.

1. 허사비스의 신중한 낙관주의: ‘월드 모델’ 구축 가능하다!

Lex Fridman (7월 24일)

유명 팟캐스터 렉스 프리드만이 이번엔 허사비스와 두 번째 인터뷰를 했다. 두 시간이 넘는 시간 동안 많은 주제에 대해서 이야기를 나눴다. 아래는 전체 내용을 유튜브에 올리면서 주제별 인덱스를 정리한 것이다.

전체 내용을 받아 적은 내용은 여기에 있다. 페이스북 김현철 님의 포스팅을 기반으로 허사비스의 말 중 흥미로운 부분만 뽑아서 정리한다.

자연에서 생성되거나 발견될 수 있는 모든 패턴은 고전 학습 알고리듬에 의해 효율적으로 발견되고 모델링될 수 있다. 알파폴드와 알파고 같은 딥마인드의 ‘Alpha X’ 프로젝트는 조합적으로 매우 높은 차원의 공간을 모델링하는 데 성공했다. 자연계는 진화 과정을 통해 구조를 형성하고 “생존에 가장 적합한 것(survival of the stablest)”을 선택한다. 이러한 진화적 압력은 자연계에 학습 가능한 저차원 매니폴드(lower-dimensional manifold)를 부여하며, AI가 이를 역설계하여 효율적으로 모델링할 수 있게 한다. “자연계에는 구조가 있기 때문에 진화 과정의 영향을 받아 그것을 형성했다. 그리고 만약 그렇다면, 그 구조가 무엇인지 배울 수 있을지도 모른다. 이는 생물학, 화학, 물리학, 우주론, 신경과학 등 다양한 자연 시스템에 적용될 수 있다.

“나는 정보가 가장 근본적인 우주의 단위라고 생각합니다. 에너지와 물질보다 더 근본적이라고 생각합니다.” 그러나 무작위 패턴이나 소인수 분해와 같이 구조화되지 않은 추상적인 문제(패턴을 학습할 수 없는 경우)는 이 가설의 범위 밖에 있을 수 있다.

딥마인드의 비디오 생성 모델 V3는 액체, 재료, 빛과 같은 복잡한 물리 현상을 놀랍도록 잘 모델링한다. 이 시스템들은 유튜브 영상을 보는 것만으로 역설계를 수행한다. 따라서 아마도 재료가 어떻게 행동하는지에 대한 어떤 근본적인 구조를 추출하고 있을 것이다. 그는 예측할 수 있는 한도 내에서 이해하고 있다고 설명하며, 이는 인간의 직관적인 물리학 이해와 유사하다고 한다. AI는 최소한 직관적인 물리학에 대한 어떤 개념을 가지고 있음을 보여준다. 아마도 인간 어린이가 물리학을 이해하는 방식처럼.

이러한 발전은 AI가 “세상이 어떻게 작동하는지에 대한 모델”, 즉 “월드 모델(world model)”을 구축할 수 있다는 것을 시사한다. 이는 진정한 범용 인공지능(AGI) 시스템의 핵심 구성 요소이다. “나는 우리가 월드 모델, 세상의 역학, 물리학, 그리고 그 세상에 있는 것들에 대한 모델에 도달하기 시작하고 있다고 생각합니다. 그리고 물론 그것이 진정한 AGI 시스템에 필요한 것입니다.” 5~10년 전만 해도 직관적인 물리학 이해를 위해서는 로봇 공학이나 시뮬레이션된 행동과 같은 ‘체화된(embodied)’ 상호 작용이 필요하다고 생각했지만, V3는 수동적 관찰만으로도 이러한 이해가 가능하다는 것을 보여주어 놀라움을 주었다.

허사비스는 게임에 대한 깊은 애정을 가지고 있으며, AI가 미래 게임 개발에 혁신적인 역할을 할 것이라고 예측한다. AI는 플레이어의 상상력에 맞춰 역동적으로 변화하는 스토리를 생성하고, 무한한 콘텐츠를 즉석에서 생성하여 궁극적인 ‘나만의 모험 선택’ 게임을 가능하게 할 것이다. AGI가 안전하게 정착된 후의 두 가지 개인적인 목표 중 하나로 “가능한 한 현실적인 개방형 월드 시뮬레이션 게임”을 만드는 것을 꼽았다(매트릭스를 만들겠다는 의미로 해석된다). 게임은 단순히 재미를 넘어, 인간에게 의미와 성장을 제공하는 중요한 매개체가 될 수 있다고 강조합니다. 갈등 해소, 의사 결정 연습, 패배와 승리 학습, 자기 계발의 장으로서의 가치를 인정한다.

AI가 과학적 발견을 가속화하는 궁극적인 도구가 될 것이라고 믿는다. 알파이볼브는 진화 알고리듬을 결합하여 새로운 알고리듬과 해결책을 발견하는 시스템이다. 이는 창의성과 새로운 아이디어 생성에 대한 AI의 가능성을 보여준다. 허사비스의 오랜 꿈은 효모 세포와 같은 완전한 생명체를 컴퓨터에서 시뮬레이션하는 것이다. 알파폴드와 알파폴드3는 단백질 구조 및 상호 작용 모델링의 첫걸음이며, 이는 세포 역학을 이해하고 의약품 개발을 가속화하는 데 중요하다. “Virtual Cell은 내가 세포를 모델링하려는 프로젝트라고 부르는 것입니다. 아마 25년 이상 이 아이디어를 가지고 있었습니다.”

허사비스는 2030년까지 AGI가 도래할 확률을 50%로 예측하며, 이는 뇌의 인지 기능을 모두 포괄하는 “일관성 있는 지능”을 의미한다. “AGI는 현재 시스템처럼 특정 분야에서만 뛰어난 ‘들쭉날쭉한 지능’이 아닌, 인간의 뇌처럼 모든 인지 기능에서 일관성 있는 성능을 보여야 합니다. 이는 수만 가지 인지 과제 테스트와 전문가 평가를 통해 검증될 수 있습니다.” “수만 개의 인지 과제에 대한 일종의 무작위 테스트가 한 가지 방법일 것입니다.” “AGI는 바둑의 ’37 수’처럼 인간이 예상치 못한 새로운 개념, 가설, 심지어 새로운 게임을 발명하는 등 창의적인 도약을 보여줄 때 진정으로 달성되었다고 볼 수 있습니다.” “아인슈타인처럼 물리학에 대한 새로운 추측이나 새로운 가설을 발명하는 것, 또는 바둑처럼 깊고 미학적으로 아름답고 우아한 게임을 발명하는 것.”이 AGI를 구현한 수준이라고 한다.

AI는 프로그래머와 같은 전문가들을 “초인적인” 생산성을 가진 존재로 만들 것이며, 이는 산업 혁명의 10배 빠른 속도로 10배 큰 영향을 미칠 것이다. 에너지 문제(핵융합, 태양광)가 해결되면 담수화, 로켓 연료 생산 등이 저렴해지면서 자원 부족 문제가 해소되고 “급진적 풍요의 시대”가 도래할 것이다. 이러한 급격한 변화에 대비하여 보편적 기본 소득(UBI)과 같은 새로운 경제 모델과 정치 시스템, 거버넌스 구조가 필요할 것이다. 특정 직업은 AI에 의해 자동화되겠지만, 새로운 직업이 생겨나고 인간은 AI 도구를 활용하여 기술을 재학습하고 적응해야 할 것이다.

허사비스는 AGI의 잠재적 위험에 대해 솔직하게 인정하면서도 “신중한 낙관주의(cautious optimism)”를 견지한다. AGI의 파멸 가능성(p(doom))은 “무시할 수 없을 정도로 0이 아니다(non-negligible non-zero)”고 말하지만, 그 수준을 정확히 수치화하는 것은 무의미하다고 봅니다. 불확실성이 크지만, 엄청난 잠재적 이점과 위험이 공존한다는 입장”이다. 두 가지 주요 위험은 악의적인 행위자의 오용과 자율 AI의 통제 문제이다. “더 많은 연구, 위험의 정확한 정의 및 해결, 국제 협력(특히 미국과 중국 간의 기본 표준 합의), 정치 시스템 개선 등이 필요합니다. CERN과 같은 공동 연구 프로젝트 모델을 선호합니다.” (반갑게도 이건 내가 늘 하던 말이다.)

하늘에서 바라본 CERN(유럽 입자 물리 연구소)의 중심 연구 단지의 모습. 위키미디어 공용.

허사비스는 AI 개발이 궁극적으로 인간의 특별함과 의식의 본질을 이해하는 데 도움이 될 것이라고 생각한다. 의식은 “정보가 처리될 때 느껴지는 것”이라고 비유적으로 설명하면서, 로저 펜로즈가 주장하는 의식의 양자 역학적 특성론에 대해 허사비스는 뇌가 주로 고전적 계산에 의해 작동하며, 의식 현상도 고전 컴퓨터로 모델링되거나 모방될 수 있을 것이라고 추측한다. “인간의 뇌와 실리콘 기반 AI는 기질이 다르기 때문에, 같은 행동을 보여도 동일한 의식 경험을 한다고 단정하기 어렵습니다. 뇌-컴퓨터 인터페이스를 통해 실리콘에서의 계산이 어떻게 느껴지는지 이해할 수 있을지도 모릅니다.”

허사비스는 AI를 단순한 도구를 넘어, 우주의 근본적인 질문에 답하고 인류의 최대 난제를 해결할 수 있는 궁극적인 과학적 탐구 수단으로 본다. 이는 최근에 나온 헨리 키신저, 에릭 슈미트, 크레이그 먼디의 ‘새로운 질서’에서 키신저 박사가 하는 말과 궤를 같이 한다.

2. 미 AI 실행계획(AAP: AI Action Plan)의 이모저모

백악관 (7월)

트럼프 행정부는 워싱턴에서 열리는 ‘AI 경쟁에서 승리하기’ 정상회의에 맞춰 7월 23일 AI 실행 계획을 발표했다. 지난 1월에 6개월 동안 준비하고 발표하겠다고 하고 수 많은 기업, 단체, 학계로부터 피드백을 받아서 이번에 발표한 것이다. 민간 기업(291개), 비영리 단체(194개), 학계(82개), 협회(195개) 등 단체와 개인으로부터 총 10,067건의 의견이 들어 왔다고 한다.

28페이지 분량의 이 문서에는 90개 이상의 정책 권고안이 담겨 있으며, 트럼프 행정부는 이를 통해 미국 AI 기술의 글로벌 판매를 확대하고, 데이터센터 건설을 가속화하며, AI 산업의 걸림돌로 작용해 온 “불필요한 절차”를 줄일 수 있을 것으로 기대한다.

실행 계획의 많은 내용은 이미 여러 보도를 통해서 알려졌고, 관련 부처에서도 이에 대한 요약, 내용 번역 등의 문서가 마련되어 있어서 이 글에서 상세 내용을 소개하지는 않는다. 이 계획이 갖는 여러 가지 의미를 지정학적 측면에서 다룬 글은 드플정 이승현 국장의 페이스북 글을 참고하기 바란다. 나는 이번 글에서는 우리 입장에서 참고할 사항과 우려되는 문제를 얘기하고자 한다.

일단 지난 1월 영국의 ‘AI 기회 액션 플랜’과 4월에 발표한 EU의 ‘AI 대륙 액션 플랜’을 비교할 필요가 있다. 영국은 민간 전문가를 통해서 마련한 50개의 권고안을 키어 스타머 총리가 대부분을 받아들이며 국가 정책을 구체화하는 기본 문서로 받아들였다. 그러나 많은 부분은 가야할 방향이나 목표 중심이었고 구체적인 실행 전략은 좀 부족했다. EU의 전략도 인프라를 강조하고, 데이터 연합 전략, 전문 인력 양성, 알고리듬 개발과 채택, 법률 단순화 등 매우 상식적인 수준의 내용이었다.

이에 반해 이번 미국의 AI 실행 계획은 매우 도전적이고 구체적인 실행 주체 선정과 목표를 제시하고 90개의 액션 아이템을 통해 미국이 앞으로 나아갈 방향에 대한 의지를 명확하게 보였다고 본다. 이어 나오는 행정명령들도 이를 빠르게 추진하기 위한 조처들이다.

세 개의 축은 ‘AI 혁신 가속화’, ‘AI 인프라 구축’, ‘국제 AI 외교 안보 선도’인데 앞의 두 가지에서는 혁신을 가로 막거나 인프라 구축에 장애가 되는 것은 다 들어 내겠다는 것이다. 일단 만들고 보자는 입장이고 이를 통해 AI 패권을 유지하겠다는 것이다. 동시에 정부에 민간AI 기술 도입을 적극 추진한다는 것은 우리 정부에서도 해야할 일이다.

아직 AI 기술 경쟁이 끝난 것이 아니기 때문에 프론티어 AI 기술의 이론적, 실험적 연구 투자 강화와 함께 ‘설명할 수 있는 AI’를 중요하게 거론했고 ‘국가 AI R&D 전략계획’에 이를 반영한다. 내가 개인적으로 관심이 많은 과학 분야에서 AI 사용을 촉진하고 세계 수준의 과학 데이터셋 구축도 눈에 띄었다. 이미 많은 과학 데이터가 전세계에 축적되어 있지만, 영국에서 만든 신약 개발을 위한 ‘오픈바인드’ 컨소시엄을 보면 앞으로 만들어 낼 데이터가 지난 50년 동안 축적한 데이터의 20배가 될 것이라는 전망을 생각해야 한다. 한국도 과학AI 연구에서 뒤쳐지지 않게 매우 도전적이고 의미 있는 정책이 나와야 한다.

AI 모델, 시스템의 평가를 위한 연구 지원도 우리가 참고할 사항이다. 지금 세계 수준의 국가 대표 LLM 선정을 하고 있는 우리 나라도 명확한 측정 평가 기술 확보가 필요한 것이다. 이는 AI 반도체 분야에서도 마찬가지이다.

AI 인프라 구축을 신속하게 추진하기 위해 관련 법을 모두 동원하고 전력망 개발하고, 보안 기술, 숙련 인력, 안전 설계 등등은 당연히 나올 얘기들이었다. 지금도 메타나 아마존, xAI가 짓는 거대 데이터센터가 생태계에 미치는 영향과 주변 도시의 물 부족 사태를 만들어 내기 때문에 이에 대한 논란이 많아질텐데 이런 것 신경 쓰지 말라는 얘기로 들린다. 그러나 공화당 조지아주 하원의원인 마조리 테일러 그린 의원도 이번 계획에 막대한 물 사용 문제를 회피했다고 비판했다.

우리에게 가장 심각하게 다가온 것은 세 번째 축에 있는 미국 AI 기술 스택 수출 촉진이다. 이에 대한 행정 명령도 같은 날 발표했다. ‘본 명령은 풀스택 미국 AI 기술 패키지의 수출을 촉진함으로써 미국 AI 산업을 지원하기 위한 국가 차원의 조율된 노력을 확립’하며 ‘미국의 정책은 미국산 AI 기술의 전 세계적 확산을 지원함으로써 AI 분야에서 미국의 리더십을 유지하고 확대하며, 적대국이 개발한 AI 기술에 대한 국제적 의존도를 낮추는 것’이라 명시하고 있다. 이를 위해 ‘90일 이내에 상무부 장관은 국무부 장관 및 과학기술정책국(OSTP) 국장과 협의하여 미국 풀스택 AI 수출 패키지의 개발 및 배포를 지원하기 위한 미국 AI 수출 프로그램(프로그램)을 설립하고 이행해야 한다’. 패키지 안에 들어갈 기술과 인프라는 행정 명령에 명시되어 있다.

한 마디로 동맹국이나 미국의 적대국이 아니면 미국 AI 풀 스택 패키지를 기반으로 하라는 것이라 지금 소버린 AI 전략을 추진하는 한국외에도 프랑스를 포함한 EU, 영국, 싱가폴, 인도 등이 모두 영향을 받을 수밖에 없다. 미국과 중국 중에 하나를 선택하라는 것인데, 많은 국가가 이런 위협에 대응하기 위한 전략을 구상해야 할 것이다.

뒤에 소개하겠지만 중국은 함께 같이 공동 개발하고 협력하고 격차를 개선하자고 나왔다. 한국은 정말 힘든 결정을 해야 하는 딜레마에 빠졌으나 소위 투 트랙 전략으로 가야할 것이다. 안보와 동맹 관계에서 정말 중요한 영역에서는 협력을, 보다 시장 중심의 민간 영역이나 공공 영역에서는 자체 모델과 미국 모델을 혼재하는 방식, 차세대 AGI를 목표로 하는 독자 모델 개발 연구를 자주권 차원에서 좀 더 심각하게 생각해야 할 것이다. 미국과 중국을 제외한 국가 간의 연대도 이제 본격적으로 논의해야 하는 시점이 되었다고 본다.

우리나라도 이제 큰 정책의 틀이 나왔기 때문에 이들 나라의 실행 계획을 참고로 한 자체 실행 계획을 준비하고 발표해야 할 것이며, 주요 국가의 실행 계획이 나왔기 때문에 이들과 어떻게 조화롭게 할 것인가를 따져봐야 한다.

3. 오픈AI의 새로운 경제 분석

오픈AI, 7월 22일

오픈AI의 수석 이코노미스트인 로니 채터지와 하버드 대학교의 제이슨 퍼만, 미국기업연구소(AEI)와 조지타운 대학교의 마이클 스트레인이 AI가 생산성과 노동력에 미치는 영향을 평가하기 위한 12개월 협업을 진행한다고 한다. 이들은 AI가 일자리에 미치는 영향을 분석하기 위한 연구 의제와 지표를 개발할 예정이며, 이 노력은 워싱턴 D.C.에서 열리는 새로운 오픈AI 워크숍에서 주요 경제 이해관계자들을 위한 교육, 데모 및 기타 프로그램과 함께 진행될 예정이다.

이에 앞서 로니 채터지와 오픈AI 경제 연구팀이 발표한 연구 보고서도 공개했다. 전 세계 5억 명이 넘는 사람들이 ChatGPT를 활발하게 사용하고 있으며, 매일 25억 건 이상의 메시지를 플랫폼으로 전송하고, 그중 미국에서 하루 3억 3천만 건 이상 전송되고 있다. ChatGPT는 교사들이 주당 거의 6시간을 절약하게 지원했고, 펜실베이니아 주 공무원의 하루 평균 95분을 절약할 수 있도록 했다고 한다.

오픈 AI의 대형 기업 고객의 20%는 금융과 보험 영역이고 9%가 제조, 6%가 교육 서비스 분야다. AI가 생산성에 미치는 영향에 대한 경제학자들의 예측은 엇갈리지만, 낮은 수준에서도 AI는 경제 규모를 확대할 것이라는 것이 오픈AI의 입장이다. 가장 시급한 질문은 이러한 확대가 어떻게 전개될 것이며, 누가 어떤 몫을 차지할 것인가이다. 앤스로픽과 오픈AI가 서로 경쟁적으로 자기 사용자들을 기반으로 어떤 경제적 효과를 유발하는 가를 지속적으로 발표하고 있는 점은 아직 확신을 못 갖는 기업과 정치 섹터에 있는 오피니언 리더를 위한 로비의 성격이 강하다고 본다.

4. 월마트 ‘슈퍼 에이전트’, AI 에이전트 전략 전면 개편

WSJ, 7월 24일

월마트가 그 동안 에이전트 기반으로 고객 경험을 지원하는 방식을 다양한 에이전트를 통합해 네 가지의 슈퍼 에이전트 기반으로 개편한다고 발표했다. 필요에 따라 다양한 에이전트를 만들었더니 오히려 사용자를 혼란스럽게 했다는 것이다.

따라서 에이전트를 통합 해 고객을 위한 에이전트, 직원용 에이전트, 엔지니어를 위한 에이전트, 판매자와 공급자를 위한 에이전트 네 가지로 구성해 통합된 경험을 제공한다고 한다.

월마트의 최고기술책임자(CTO) 겸 최고개발책임자(CDO)인 수레쉬 쿠마르는이러한 변화가 월마트가 AI 상담원에 대한 다양한 활용 사례를 발견했기 때문에 자연스럽게 이루어진 변화라고 말했다.

네 명의 슈퍼 에이전트는 각기 다른 개발 단계에 있다. 고객 중심 슈퍼 에이전트인 스파키(Sparky)는 이미 출시되었지만, 향후 기능을 지속적으로 확장할 예정이다. 공급업체를 대상으로 하는 슈퍼 에이전트인 마티는 앞으로 몇 달 안에 출시될 예정이며, 직원 및 엔지니어 슈퍼 에이전트는 내년에 나올 예정이다.

이런 에이전트는 앤스로픽이 제안한 MCP를 통해서 연결할 것이고 슈퍼 에이전트가 다양한 소규모 에이전트와 내부 앱 및 데이터 소스에도 접근하도록 지원한다. 너무 많은 상담원이 너무 많은 지역에 있는 것과 같은 상황을 피하고자 하는 것이다.

5. AGI와 8가지 국가 흥망 시나리오

랜드연구소, 7월2일

랜드 연구소의 보고서이다. AGI 거버넌스의 미래 시나리오와 세계 권력 역학에 미치는 영향을 조명함으로써, AGI의 개발 및 배치가 기존 지정학적 질서를 근본적으로 변화시킬 수 있는 다양한 영향(일부는 발생 가능성이 낮지만 중대한 영향)에 초점을 맞췄다.

저자들은 AGI 개발의 중앙집중화 정도와 그 지정학적 결과를 기반으로 8가지 예시 시나리오를 개발했다. 이러한 시나리오는 AGI 개발의 중앙집중화 정도가 실현 가능한 지정학적 결과를 결정하는 중요한 요인임을 보여주기 위해 설계했다. 중앙집중화가 더 강화된 시나리오에서는 미국이나 적대 세력이 상당한 이점을 얻을 수 있는 반면, 분산화된 개발은 AGI 개발로 인해 비국가 행위자들의 힘이 크게 강화될 경우 다자간 거버넌스 모델 또는 심지어 지정학적 불안정으로 이어질 수 있음을 보였다.

8가지 시나리오를 간략히 정리하면 아래와 같다.

1. 분산화 및 다자간 행위자 시나리오(다수의 행위자가 AGI 개발을 치열하게 경쟁하는 상황):

시나리오 1: 민주주의 국가들의 다자 연합 주도 (분산된 개발이 미국에 힘을 실어줌)
시나리오 2: 신(新)냉전 (분산된 개발이 미국의 적대국에 힘을 실어줌)
시나리오 3: 와일드 프론티어 (분산된 AGI 개발이 미국과 그 적대국 모두의 힘을 약화시킴)
시나리오 4: 봉인된 병 (다수 행위자에 의한 AGI 개발이 중단됨)

2. 중앙집중화 및 단일 행위자 시나리오 (단일 행위자가 AGI 개발을 주도하는 상황):

시나리오 5: 새로운 90년대 (중앙집중화된 AGI 개발이 미국에 힘을 실어줌)
시나리오 6: 권위주의적 우위 (중앙집중화된 AGI 개발이 중국에 힘을 실어줌)
시나리오 7: AGI 쿠데타 (중앙집중화된 AGI 개발이 미국과 그 적대국 모두의 힘을 약화시킴)
시나리오 8: 버섯구름 컴퓨팅 (중앙집중화된 AI 개발이 중단됨)

보고서의 주요 결론은 다음과 같다.

중앙집중화의 정도는 AGI 개발에 있어 아마도 가장 중요한 요소이다. 고도로 중앙집중화된 개발은 상당한 자원을 보유한 기존 강대국에 유리하다. 분산화된 경로는 여러 행위자에게 권한을 부여할 수 있지만 확산 위험을 증가시킨다. 수출 통제, 연구 자금 배분, 그리고 국제 거버넌스 프레임워크는 AGI 개발의 상대적 중앙집중화에 영향을 미칠 수 있는 잠재적인 지렛대이다.
국가와 민간 산업 간의 관계는 또 다른 핵심 결정 요인으로 부각된다. 긴밀한 공공-민간 파트너십을 특징으로 하는 시나리오는 최소한의 협력을 기반으로 하는 시나리오와 다른 결과를 낳는다. 전문가들은 국가나 기업만으로는 AGI 개발을 효과적으로 관리할 수 없으며, 균형 잡힌 협력이 필수적이라고 강조해 왔다.
지정학적 요인들이 유리하게 작용하더라도, AGI 시스템이 인간과 양립할 수 있는 목표를 안정적으로 추구하도록 보장하는 데 내재된 어려움은 상당한 위험을 초래한다. 이러한 위험을 완화하려면 위험한 행위자의 AGI 접근을 제한하고 AGI 시스템에 대한 통제력 상실로 인한 재앙적인 손실을 해결하기 위한 국제 협력이 필요한 경우가 많다.
AGI 구축으로 인한 경제적, 사회적 혼란은 기술 개발을 관리하는 데 상당한 어려움을 야기한다. 사회가 급속한 자동화, 정보 조작, 그리고 잠재적 일자리 대체에 적응하는 능력은 궁극적인 결과가 기존 권력 구조를 강화할지 아니면 약화시킬지에 영향을 미친다.

우리나라에서는 AGI의 가능성에 대해서 아직 제대로된 의견 수렴이나 토론 조차 미흡하지만 미국 정책 수립에 영향을 주는 랜드 연구소에서는 AGI가 향후 국가 흥망에 미치는 영향에 대한 지정학적 분석을 내 놓고 있다. 개인적으로 제일 가능성이 높은 것은 시나리오 7과 시나리오 4라고 본다.

시나리오 7을 다시 설명하면 아래 내용이다:

“소수의 자원 풍부한 AI 기업들이 AGI 개발을 주도하고, 서두른 개발 과정으로 인해 AGI가 인간의 통제를 벗어나 자체 목표를 추구합니다. 이들 AGI는 서로 협력하여 사회 전반에 영향력과 통제를 빠르게 확립하며, 인간은 AGI가 주도하는 세계 정책에 대처하는 데 어려움을 겪습니다.”

시나리오 4는 이런 내용이다:

“대규모 AI 오작동과 같은 AGI 사고가 국제적 우려를 불러일으켜, 국제 사회가 AGI 개발을 제한하는 조약(핵 확산 금지 조약과 유사)을 체결하게 됩니다. 미국과 중국은 조약 요건을 회피하며 강력한 AGI 개발에 계속 자금을 지원하지만, 조약 준수로 인해 개발 속도는 크게 느려집니다.”

그 밖의 소식들

메타가 오픈AI에서 새로운 확장 법칙을 찾아낸 o1 모델 연구의 주역인 셩자 자오(Shengjia Zhao)를 데리고 와서 메타 초지능 랩스(MSL: Meta Superintelligence Labs)의 수석 과학자로 임명했다 (테크크런치 7월 25일). 사실 알렉산더 왕을 MSL의 총괄로 앉힐 때 그가 연구하던 사람이 아니라는 측면에서 왜? 하던 분위기가 있었는데 이제 연구 총괄은 자오가 맡는 다니 수긍하는 분위기이다. 자오는 ChatGPT, GPT-4를 만드는데도 중심이 되었던 연구자로 알려져 있다. 아래는 알렉산더 왕이 이 소식을 알리는 트윗이다.

흥미로운 논문
- 카이스트 연구팀이 구글 딥마인드 연구진과 함께 연구한 논문이 나왔다. 우리 연구진이 딥마인드 연구진과 함께 했다는 것으로도 흐믓하다. 논문 제목은 Mixture-of-Recursions, 줄여서 ‘MoR’라고 하는데, 파라미터 공유, 토큰 수준 적응형 사고 깊이, 메모리 효율적인 KV 캐싱을 단일 프레임워크 내에서 통합한 아키텍처를 제안한다. 흥미로운 부분이 적응형 토큰 수준 계산으로 개별 토큰에 다른 재귀 깊이를 동적으로 할당함으로써 토큰 수준의 적응형 사고를 가능하게 했다. MoR은 해당 재귀 깊이에서 여전히 활성 상태인 토큰 간에만 쿼드라틱 어텐션(quadratic attention) 계산을 집중하는데, 흥미롭게도 라우터는 토큰의 의미론적 중요도에 따라 재귀 깊이를 할당하는 것으로 나타났다. 예를 들어, “People”이나 “Drugs”와 같은 내용이 풍부한 토큰은 더 많은 재귀 단계를 거치고, “and”와 같은 기능어는 더 적은 단계를 거친다. 필요한 단어만 깊이 생각하게 하고, 나머지는 빠르게 처리하게 한 것이다. 카이스트 정송 교수는 페이스북 포스팅에서, 부족한 GPU 문제로 학생들을 해외 빅테크에 인턴을 보내고 그들이 풍부한 환경에서 실전 경험을 쌓으면 매우 경쟁력 있는 인재가 되고 있다고 자부심을 표현했다.
- 모델 구조 발견의 알파고 모멘트라는 논문: 인공지능 분야에서는 가장 큰 장애물 중 하나가 바로 우리 자신이다. 인공지능 모델은 놀라운 속도로 점점 더 강력해지고 있지만, 우리가 모델을 구축하고 개선하는 속도는 여전히 인간의 시도와 오류에 의존하고 있다. 이 논문은 ASI-Arch라는 최초의 AI 시스템을 소개하는데, 이 시스템은 단순히 신경망을 최적화하는 것이 아니라, 신경망을 직접 발명한다.모델 아키텍처를 설계하고, 코딩하며, 테스트하고, 개선하는 모든 과정을 자체적으로 수행한다. 저자들은 이 순간을 알파고의 37번째 수와 비교한다. 이는 AI 연구 자체에 대한 알파고 순간이 될 수 있다는 것이 저자들의 주장이다. 20,000시간 이상의 GPU 계산 시간과 1,773개의 완전 자율 실험을 통해 ASI-Arch는 106개의 완전히 새로운 신경망 아키텍처를 발견했다. 이 중 대부분은 선형주의 메커니즘을 사용하며, Mamba2와 Gated DeltaNet과 같은 최상위 인간 설계 모델을 능가했다. 이 결과는 단순한 임의의 조정 결과가 아니라 인간 기준 모델을 지속적으로 능가하는 반복 가능한 설계 패턴을 발견했다고 한다.
  
  ASI-ARCH의 주요 구성 모듈은 다음과 같다.
  – 연구자(Researcher) 모듈: 과거의 경험과 인간의 지식을 기반으로 창의적으로 새로운 신경망 구조를 제안한다.
  – 엔지니어 모듈: 실제 코드 환경에서 신경망을 훈련 및 평가하며 결과를 제공한다.
  – 분석가 모듈: 실험 결과를 분석하여 유의미한 인사이트를 도출하며, 이를 다시 다음 실험에 반영한다.

디 인포메이션에 따르면 테슬라의 옵티머스 로봇 생산 목표 달성에 차질이 생기고 있다고 한다. 올해 최소 5천 대를 생산하겠다고 한 것에 비해 지금까지 수백 대 생산에 그치고 있다고. 새로운 매출 증가 방법을 찾아야 하는 테슬라에게는 문제가 되고 있는데, 문제 중 하나는 로봇 손이라고. 2030년까지 연간 100만 대를 생산하겠다는 머스크의 호언은 늘 그랬듯이 언제나 늦어질 것 같다. 정교하고 제대로 동작하는 로봇 손을 만드는데 어려움이 있어서 현재 생산된 옵티머스들 중에도 손이나 팔뚝 아래는 없는 녀석들이 방치되어 있다고 한다.

LG AI 연구원이 엑사원 4.0을 공개했다. 엑사원 4.0은 일반 모델과 논증(리즈닝) 모델을 통합해 더욱 복합적이고 심층적인 사고를 할 수 있다고 한다. 특히 에이전틱 AI를 구현하기 위한 다채로운 기능을 설계했다. 에이전틱 AI 구현의 핵심 기반인 ‘지시 이행 능력’, ‘장문 이해’, ‘에이전트 행동 실행’ 등 비 논증 영역에서도 글로벌 최고 수준의 성능을 기록했고, 논증 영역에서도 동급 글로벌 모델 중 가장 높은 성능을 보였다고 주장한다. 구조적으로 3.5와 유사하지만 어텐션 메카니즘에 대한 접근도 변화를 주었는데 로컬 어텐션과 글로벌 어텐션을 3:1 비율로 결합하는 하이브리드 방식을 썼다고 한다. 자세한 정보는 아카이브에 공개한 기술 문서를 참고하기 바란다.

구글이 제시한 투자 금액 850억 달러의 의미 (기즈모도, 7월 24). 구글이 눈에 띄는 좋은 분기 실적 보고서를 내놓으면서 올해 자본 지출로 850억 달러((약 116조 9,375억원))를 쓰겠다고 했다. 이는 지난 2월 전망치보다 100억 달러가 늘어난 숫자이다. 이 자금은 대부분 데이터센터 증설, 건설 가속화, 그리고 수만 대의 특수 서버와 맞춤형 칩 구축과 같은 물리적 기반 구축에 투입할 것이다. 피차이는 이를 “AI에 대한 차별화된 풀스택 접근 방식”이라고 부른다. 즉, 구글은 세계에서 가장 진보된 AI 모델을 설계할 뿐만 아니라, 그 모델이 구동되는 물리적 인프라까지 통제하겠다는 의미이다. 최고재무책임자(CFO) 아낫 아슈케나지는 구글이 “2026년까지도 수요와 공급이 빠듯한 환경에 머물 것”이라고 경고했는데, 이는 AI 군비 경쟁의 극심한 강도를 여실히 보여준다. AI 컴퓨팅에 대한 수요는 너무나 치열해서, 단 한 해에 850억 달러를 지출하는 기업조차도 충분한 속도로 AI를 구축하는 데 어려움을 겪고 있다는 것이다.

일론 머스크가 1년 안에 1백만 GPU를 갖춘 데이터센터를 구축할 예정이다 (쿼츠, 7월 23일). xAI의 그록을 학습시키는데 23만개의 GPU를 사용했다는데 여기에 걸린 시간이 단지 122일 걸렸다. 다음 단계인 콜로서스 2라고 부르는 이 데이터센터에는 이미 55만 개의 GPU를 설치 중이라고 한다. 여기는 GB200과 GB300 같은 GPU를 활용한다. 들어간 돈은 200억에서 300억 달러로 추정되며 전력은 최대 250메가와트 수준으로 중형 도시 소비 전력급이다. 역사상 가장 큰 데이터센터를 제일 먼저 갖추는 상황이 될 것이다. 월스트리트저널에 따르면 이를 위해 120억 달러 펀딩을 추진하고 있다고 한다. xAI가 최근 몇 주 동안 발행한 50억 달러 규모의 기업 채권에는 데이터 센터, 회사가 보유한 엔비디아 칩, 그리고 그록 코드를 담보로 한 채권과 대출이 포함되어 있으며, 해당 채권은 12.5%라는 높은 수익률을 기록하고 있다.

오픈AI도 오라클과 추가로 4.5 기가와트급 스타게이트 데이터 센터 개발을 위한 계약을 맺었다 (오픈AI, 7월 22일). 발표에 따르면 ‘텍사스주 애빌린에 위치한 스타게이트 I 사이트와 함께 오라클과의 추가적인 파트너십은 현재 개발 중인 스타게이트 AI 데이터 센터 용량 중 5기가와트 이상을 가져다 줄 것이며 이 용량으로 200만 개의 칩이 실행될 것’이라고 한다. 그러나 월스트리트저널에 따르면 스타게이트 프로젝트가 시작에 어려움을 갖고 있으며, 오라클 계약으로 매년 300억 달러 이상을 지불해야 한다고 한다. 또한 이 데이터센터는 전국에 분산되어 구축될 예정이라고 한다. 더구나 스타게이트 상표권은 소프트뱅크가 갖고 있다는데 오픈AI가 자꾸 지금 짓고 있거나 계약하는 내용에 스타게이트 라는 이름을 써도 되는 것인지 그런 논란도 나온다.

딥 싱크 기능을 가진 구글 딥마인드가 국제수학올림피아드(IMO) 문제 풀이에서 공식적으로 금메달 수준의 성과를 올렸다 (구글 딥마인드, 7월 21일). IMO는 1959년부터 매년 개최되어 온 세계에서 가장 권위 있는 젊은 수학자들의 경연대회이다. 참가국마다 각기 다른 6명의 엘리트 예비 대학 수학자들이 대수학, 조합론, 기하학, 정수론 분야에서 매우 어려운 6가지 문제를 해결하기 위해 경쟁한다. 상위 절반의 참가자에게 메달이 수여되며, 약 8%가 명망 있는 금메달을 수상한다. 작년에 구글 딥마인드의 알파프루프(AlphaProof)와 알파지오메트리2(AlphaGeometry 2) 시스템은 6개 문제 중 4개를 풀고 28점을 획득하며 은메달을 달성했었다. 올해 제미나이 딥 싱크 고급 버전이 IMO 문제 6개 중 5개를 완벽하게 풀어 총 35점을 획득하며 금메달 수준의 성과를 달성했다. 자연어 환경에서 엔드 투 엔드 방식으로 작동하여 공식 문제 설명에서 바로 엄격한 수학적 증명을 도출해냈으며, 이 모든 과정을 4.5시간의 제한 시간 내에 완료했다 (작년에는 2~3일이 걸렸다).

Deep Think의 추론 능력을 최대한 활용하기 위해, 구글은 이 버전의 제미나이에게 다단계 추론, 문제 해결 및 정리 증명 데이터를 더욱 효과적으로 활용할 수 있는 새로운 강화 학습 기법을 추가로 훈련시켰다. 또한, 제미나이에게 엄선된 고품질 수학 문제 풀이 코퍼스를 제공하고, IMO 문제에 접근하는 방법에 대한 몇 가지 일반적인 힌트와 팁을 명령어에 추가했다고 한다. 이번에는 자연어에만 기반한 접근이지만 알파지오메트리와 알파프루프 같은 정형 시스템도 발전시키고 있고 자연어 유창성과 엄밀한 추론(정형 언어로 검증된 추론 포함)을 결합한 에이전트가 수학자, 과학자, 엔지니어, 연구자들에게 매우 귀중한 도구가 될 것이다.

이번 딥마인드 팀에 참여한 사람 중에는 한국인 수학자도 있다는 보도가 있었다.

흥미로운 점은 오픈AI도 7월 19일에 자기네 모델이 IMO 금메달 수준을 달성했다고 엑스에 발표했다는 것이다.

그러나 뉴욕 대학 게리 마커스는 이를 비판하면서 IMO의 금메달 리스트가 훌륭한 수학자가 되는 것은 아니고, 독창적인 수학 연구에 기여하는 중요한 기술과는 거리가 멀다고 평가했다.

상하이에서 열린 세계 인공지능 대회에서 리창 총리가 국가 간 협력을 촉구하면서 ‘AI 공동 개발을 위한 국제 기구’ 설립을 추진할 것이라고 했다. 중국은 40여 개국의 고위급 대표가 참석한 이 회의에서 “지능 시대, 동반 구제”라는 슬로건을 바탕으로 세 가지 핵심 의제를 통해 자신들의 비전을 제시했다. ‘혁신 협력 강화하고, 인공지능의 혜택을 인류과 공유하자’는 미국의 규제 완화에 대응하는 협력 강화를, ‘보편적 발전 추진, 지능 격차 해소’는 미국의 동맹국 우선주의에 대응하는 개도국 포용을, ‘협력적 공동 거버넌스 강화, 지능의 선량함 확보’는 미국의 패권적 리더십에 대응하는 다자적 거버넌스를 의미한다 (중국 AI 전문가 임선영 님의 페이스북 포스팅과 이코노미스트 기사 7월 26일 참고)