임박한 AGI 타임라인을 준비하라

2025년 AI in a week를 시작합니다. 크리스마스와 연말에 한 회 쉬었기 때문에 이번 주 소식은 주로 작년 말에 발표된 내용을 중심으로 작성했습니다.

1. 임박한 AGI 타임라인을 준비하라

프론티어 모델의 위험성을 검증하는 회사인 아폴로 리서치 CEO인 마리우스 호반의 글이다. 그는 이제 AGI(인공 일반 지능; 모든 인지적인 행동에서 인간만큼 좋은 성능을 보이는 인공지능)를 좀 더 심각하게 생각해야 하며, AGI 기업과 전 세계가 훨씬 더 많은 준비를 해야 한다고 주장한다. 이제 명확한 계획 없이 행동하는 것은 무책임할 정도로 모델이 충분한 능력을 갖춘 영역에 접어들었다고 평가한다.

따라서 특히, 정부, 학계, 시민사회가 비판하고 개선할 수 있도록 AGI 업체들이 세부 계획을 공개(비밀 정보 제외)해야 하고, 앤스로픽의 RSP 같은 정책이 좀 더 상세하게 만들어져야 한다고 지적한다.

그가 예측하는 타임라인은 다음과 같다.

• 2024년: AI는 사람이 30분 정도 걸리는 ML 엔지니어링 작업을 상당히 안정적으로 수행할 수 있으며, 강력한 추론을 통해 2~4시간이 걸리는 작업도 안정적으로 수행할 수 있다.
• 2026년: AI가 8시간의 ML 엔지니어링 작업을 안정적으로 수행하고, 때로는 강력한 유도 기능을 갖춘 고품질의 새로운 연구(예: 최고 수준의 ML 컨퍼런스에서 인정받을 수 있는 자율 연구)를 수행할 수 있다.
• 2027년: 능력 손실 없이 AI 랩의 최고 연구원을 대체할 수 있는 AI를 보유하게 된다.
• 2028년: AI 기업의 자동화된 AI 연구원 수가 1만~1백만 명에 달한다. 소프트웨어 개선이 비약적으로 발전하고, 알고리즘 개선에는 한계가 없으며 기하급수적으로 증가한다. 거의 모든 지식 기반 작업을 자동화할 수 있다. 이게 다리오 아모데이가 쓴 ‘사랑과 은총의 기계’ 에세이에 나오는 ‘데이터센터 안의 천재들’에 해당한다.
• 2029년: 새로운 연구로 로봇 공학이 훨씬 더 발전한다. 물리적 세계는 더 이상 AI에 의미 있는 제한이 되지 않는다. 2024년 기준으로도 경제적으로 가치 있는 업무의 95% 이상이 기능 손실 없이 완전히 자동화될 수 있다.
• 2030년: 초인적인 일반 능력을 갖춘 수십억 개의 AI가 정치, 군사, 사회 등 사회 모든 분야에 통합된다.

이 타임라인은 중간값 기준이고 더 빠르게 전개될 수 있다. 2025년 말에서 2026년에는 AGI 연구소에서 최고 수준의 연구자를 대체할 수 있는 AI가 등장할 것이다. 이렇게 전망하는 근거와 이유는 다음과 같다.

1. 지난 십 년 간의 기술 발전을 살펴본 바,
2. AGI 회사들이 시간대를 얘기하기 시작했고,
3. AGI를 막는 장애물이 더 이상 존재하지 않기 때문이다.

짧은 기간(2~3년 안)에 AGI가 등장한다고 할 경우, 해석 가능성(interpretability), 확장할 수 있는 감독 기능, 슈퍼 얼라인먼트 같은 분야에서 근본적·혁신적 돌파구가 나올 여유가 없을 가능성이 높기에, 현존 기술(또는 조금 개선된 수준)로 ‘최소 안전장치’를 갖추는 것이 현실적으로 가능한 대안이라고 본다.

가장 긴급하게 요구하는 두 가지 원칙은 첫째 모델 가중치와 지적 재산을 안전하게 보호해서 오용되지 않게 막아야 하고, 두 번째로는 최초의 강력한 AI 시스템을 강력히 통제해 이들이 음모(스키밍)를 꾸미지 못하게 막고 이를 기반으로 더 강력한 AI에 대한 얼라인먼트 계획을 수립해야 한다는 얘기다.

저자는 긴 글을 통해서 최소한 우리가 해야 할 일을 두 개의 레이어로 나누어서 구분하고 레이어1은 자신이 보기에 반드시 해야 할 일이며 레이어2도 중요하고 향후 리스크를 크게 낮출 것이지만 레이어1에 비해 중요도는 좀 떨어지는 이슈들이다.

레이어1의 주요 계획은 다음과 같다.

• 충실하고 사람이 읽을 수 있는 CoT로 패러다임 유지
• 대폭 개선된 (CoT, 액션 및 화이트박스) 모니터링
• 제어(사람이 읽을 수 있는 CoT를 가정하지 않음)
• 스키밍에 대한 훨씬 더 깊은 이해
• 평가(모델 능력·성향 평가) 대폭 강화
• 보안(사이버·물리) 강화

2순위로 제시하는 레이어2 권장 사항은 다음과 같다.

• 기존 얼라인먼트 기법(RLHF, RLAIF 등) 정밀 개선
• 해석 가능성·확장 가능 감독 기능 등 근본 연구 지속
• 조직(회사)의 안전 전략·논리를 더 투명하게 공개
• 안전 우선(Safety-first) 문화

꽤 긴 글이지만 가장 첨단 모델의 안전성을 평가하던 기관의 책임자가 지금까지 경험을 기반으로 우리가 되도록 빨리 갖추어야 할 역량과 정책 방향을 거론한 것이기 때문에 좀 더 깊이 있게 읽어 보기를 바란다.

2. 딥시크, 단 558만 달러로 4o 수준 모델 개발

중국 헤지 펀드인 하이 플라이어(High-Flyer)가 지원하는 중국의 스타트업 딥시크(DeepSeek)가 단지 엔비디아 칩 H800 2,048개를 갖고 두 달 동안 558만 달러의 비용을 사용해 프런티어 모델인 오픈AI의 GPT-40와 앤스로픽의 클로드 3.5 소넷과 대등한 수준의 모델 V3를 오픈 웨이트 모델로 공개한다는 소식이 연말 AI 업계를 흔들었다. 딥시크는 11월에 o1과 경쟁할 수 있는 추론 모델 딥시크-R1의 프리뷰를 발표한 적이 있다. 참고로 메타의 라마 3.1은 5억 달러 정도의 비용이 들었다.

H800은 H100의 단순화한 칩으로 미국이 중국에 판매를 허용한 칩이다. 딥시크는 모델 학습과 시스템 알고리듬에서 덜 정확한 계산을 하도록 했고, 칩 간의 데이터 공유를 쉽게하기 위해 소프트웨어와 하드웨어를 같이 작동하게 했다고 한다. 또한 멀티 토큰 예측으로 v2에 비해 3배 더 빠르게 응답을 생성할 수 있다고 한다.

6,710억 개의 파라미터를 갖는 이 모델의 성능 비교는 주요 벤치마크를 대상으로 다음과 같이 발표했다. 학습 데이터는 14조 8천억 개의 고급 토큰을 사용했다고 한다. 각 토큰은 370억 개의 파라미터를 활성화한다.

그러나 이 모델은 멀티 모달이 아니기 때문에 미국 개발자들의 관심을 크게 끌지는 않으리라는 것이 디 인포메이션의 전망이다. 더군다나 사회주의의 핵심 가치를 지키기 위한 중국 기준의 검열을 받기 때문에 결과에도 제약이 많다. 그럼에도 중국의 AI 개발 기술이 적은 비용과 저성능 칩을 기반으로 빠르게 발전하고 있다는 것을 보여준 것이고 미국의 입장에서는 경계를 늦출 수 없다는 입장이다.

3. 2024년 생성형 AI 투자, 아직 버블은 터지지 않았다

테크크런치가 투자를 추적하는 피치북의 도움으로 생성형 AI에 대한 투자를 분석한 결과 2024년에 생성형 AI에 투자된 금액은 885건의 투자를 통해 560억 달러에 달했다. 이는 2023년에 비해 192% 증가한 수치이다.

이는 특히 데이터브릭스, 앤스로픽, x.AI, 오픈AI에 대한 대규모 투자가 완료된 4분기에는 311억 달러에 달하는 거래 가치가 이루어졌기 때문에 투자 규모 증가가 크게 나타난다. 그 반면 인수 합병은 9억 5,100만 달러에 그쳤는데, 그 이유는 큰 규모의 인수 합병이 ‘인수-고용’이라는 새로운 방식으로 추진되었기 때문이다.

미국 기업에 대한 투자가 주를 이루었지만, 그 외 지역에서도 의미 있는 규모의 투자가 진행되었는데, 베이징의 문샷AI는 2월에 10억 달러, 프랑스의 미스트랄이 6월에 약 6,400만 달러, 독일의 딥엘이 5월에 3억 달러, 샹하이의 미니믹스가 3월에 6억 달러, 도쿄에 있는 사카나AI는 9월에 2억1,400만 달러 규모의 투자를 받았다.

2025년에 대해 피치북의 알리 자바헤리는 생성형 AI 분야가 유사한 스타트업으로 과포화될 수 있다고 보며, 기술 과제와 방대한 컴퓨팅 비용이 새로운 도전이 될 것이고 높은 평가는 인프라 계층에서 나올 것으로 전망한다. 데이터센터 스타트업과 데이터센터 자체에 대한 투자가 급속히 늘어날 것으로 본다. KKR은 데이터센터에 연간 2,500억 달러가 투입될 것으로 전망했다.

4. 에이전트로는 충분하지 않다

미국 워싱턴 대학의 치락 샤와 마이크로소프트 연구소의 라이엔 화이트의 논문이다. 에이전트에 대한 관심이 높아지고 있는 이때 두 저자는 에이전트의 개념은 새로운 것이 아니고 그동안 연구 개발을 돌아보면 과거의 많은 시도가 실패했는데 그 이유를 파악하는 것이 미래를 설계하는 데 중요하다는 주장이다.

저자들은 생성형 AI만으로는 차세대 에이전트의 성공을 보장할 수 없다고 주장하면서 대신 에이전트를 넘어서는 더욱 포괄적인 접근 방식을 제안하고 있다. 이들은 세 가지로 구성된 생태계를 소개한다.

• 에이전트: 작업을 자동화하고 중개자 역할을 한다.
• 심(Sim): 사용자 선호도와 행동을 시뮬레이션하여 개별 요구 사항에 부합하도록 하는 개인화된 모델
• 어시스턴트: 사용자와 직접 상호작용을 하여 작업을 조정하고 에이전트의 지원으로 원활한 실행을 보장하는 AI 동반자

이러한 요소를 결합하여 기능뿐만 아니라 더 직관적이고 사용자 중심적인 AI 시스템을 만드는 길을 제시하고자 한다. 이 에코시스템은 AI 에이전트가 현실의 문제를 해결하는데 있어 더 안정적이고 효과적이며 영향력 있게 만들 수 있는 잠재력을 가지고 있다는 것이 저자들의 주장이다.

이 가운데 내가 관심을 두는 부분은 심인데, 사용자에 대한 표현이지만 페르소나나 프로필과는 달리 사용자의 선호도, 개인정보 보호 및 사용자가 활동하는 컨텍스트를 인식하고, 행동, 즉 사용자를 대신하여 에이전트와 상호작용을 하여 작업을 수행할 수 있는데, 이는 사용자 어시스턴트에 의해 조정된다.

5. AI 환각이 과학 혁신을 꿈꾸게 할 수 있다

그동안 환각은 생성형 AI의 큰 문제이고 이를 제대로 해결해야 한다는 입장이었다. 그러나 과학계는 AI 환각이 놀라울 정도로 유용할 수 있다는 것을 발견하고 있다는 기사이다. 과학자에게 새로운 아이디어를 제공하고 생각하지도 못했을 아이디어를 탐색할 기회가 생긴다는 이야기이다.

MIT의 제임스 콜린스 교수는 새로운 항생제 개발을 위해 AI에 완전히 새로운 분자 구조를 내놓으라고 요청하고 있다고 한다. 모델의 상상력을 이용해 매우 창의적인 디자인이 가능할 수 있음에 주목하고 있다고 한다.

노벨상 수상자인 데이비드 베이커 교수는 이를 이용해 자연계에서는 찾을 수 없는 새로운 단백질을 빠르게 생성할 수 있었고 자신의 연구소가 100여 개의 특허를 받을 수 있었다고 한다.

연구자들은 AI가 보이는 이 기능을 환각이라고 하지 말고 과학적 방법의 초기 단계에서 이루어진 추측과 달리 실현 가능성이 있는 상상이기 때문에 환각이라는 용어를 사용하지 말자는 얘기도 한다.

전문가들은 인터뷰를 통해 과학 AI의 상상력은 챗봇 환각에 비해 큰 장점을 가지고 있다고 말하는데, 근본적으로는 인간 언어의 모호함, 편견과 거짓으로 가득한 인터넷보다는 자연과 과학의 확실한 사실에 뿌리를 두고 있기 때문에 창의력이 폭발한다고 생각한다.

이를 위해 엔비디아에서는 AI에 물리학을 가르치고 있으며, 딥마인드에서는 박테리아 감염을 크게 줄이는 카테터 디자인을 위해 AI 환각을 사용하고 있다. 사실 2016년 이세돌과 알파고의 제2국 37수는 처음에 실수였다고 평가했다가 나중에 신의 한 수로 받아들여진 것이 바로 AI의 상상력이라고 하는 입장이다.

딤마인드의 푸시미트 콜리 박사는 AI가 생명의 가장 깊은 비밀을 풀고 질병을 치료하고 건강을 개선하며 수명을 연장하는 강력한 새 기반을 구축할 것으로 보고 있으며 우리가 생명의 언어를 해독하고 진정으로 이해한다면 그것은 마법 같은 일이 될 것이라고 기대에 찬 얘기를 하고 있다.

그 밖의 소식들

• 앤드리슨 호로위츠(a16z)의 파트너인 스리람 크리슈너가 백악관 과학기술정책실(OSTP)의 AI 정책 수석 고문이 되었다. 도널드 트럼프는 크리슈난이 “데이비드 색스와 긴밀히 협력하여 정부 전반의 AI 정책을 형성하고 조정하는 데 도움을 줄 것”이라고 말했다. 데이비드 색스는 백악관의 가상화폐와 AI 차르라는 새로운 직책을 맡고 AI 정책 전반을 다룰 것이고 대통령 과학기술자문위원회(PCAST)도 이끌 예정이다. 크리슈너 역시 PCAST에도 참여한다. 크리슈너는 그동안 AI 규제에 대해 적극적으로 반대해 온 입장이기 때문에 트럼프 정부가 당분간은 AI 규제에 소극적일 것이라는 전망을 하게 된다. (엑스에서 크리슈너가 밝힘, 12월 23일)

• CIO 매거진에서 전문가들이 지목하는 2025년 AI 방향에 대한 기사(CIO, 1월 2일). 2024년은 AI가 파일럿에서 생산 단계로 이동한 해였다면 2025년에는 전사적 규모로 확대되는 양상이 나타날 전망이라고.

• 2025년은 AI 오케스트레이션의 해가 될 것이라는 벤처비트의 기사(12월 30일). 오케스트레이션은 여러 AI 에이전트와 애플리케이션을 관리할 수 있는 인프라를 의미한다. 랭체인, 라마인덱스, 마이크로소프트의 마젠틱 같은 것을 말한다.

• MIT 박사과정 에이단 토너-로저스가 수행한 연구에 따르면 AI 도구는 과학적 발견과 혁신을 많이 증가시켜 생산성과 경제 성장을 잠재적으로 향상할 수 있으며 동시에 AI가 소득 불평등을 심화시킬 수도 있다고 시사하는데, 뛰어난 과학자들이 다른 과학자들보다 해당 기술로부터 더 많은 혜택을 받기 때문이라고. 노벨상 수상자인 다런 아제몰루(대런 애스모글루)와 동료인 데이비드 오토 모두의 얘기를 수용하는 연구로 재료 과학 연구실의 과학자 1,018명에게 AI 도구를 무작위로 도입하는 것으로 조사했다. 이 도구를 도입한 후 연구자들은 44% 더 많은 재료를 발견했고, 특허 출원은 39% 증가했으며, 신제품 프로토타입은 17% 증가했다. 또 다른 측면으로 토너-로저스가 연구실의 AI 도구에 대해 알아낸 마지막 사실은 과학자들이 도구를 그다지 좋아하지 않았다는 것이다. 82%가 작업에 대한 만족도가 떨어졌다고 보고했다. (월스트리트저널, 12월 29일).