지지난 주에는 단연 딥시크가 가장 뜨거운 이슈였다면 지난 주는 오픈AI의 ‘딥 리서치’로 타임라인이 뜨거웠다. 메타와 구글은 곧 있을 파리 AI 액션 서밋(2월 10일~11일)을 위해 새로운 AI 안전 프레임워크를 발표했고, 일단의 유명인과 학자들이 AI가 의식을 가질 가능성에 대해 준비를 촉구하는 공개 서한을 발표했다.

1. 오픈AI ‘딥 리서치’ 발표!


오픈AI의 딥 리서치에 수 많은 찬탄이 쏟아진 한 주였다. 이번에 발표한 딥 리서치는 추론을 사용하여 방대한 양의 온라인 정보를 종합하고 여러 단계의 연구 작업을 완료하는 에이전트이며 프로 사용자, 플러스 및 팀 넥스트에서 이용 가능하다. 

프롬프트를 제공하면 ChatGPT가 수백 개의 온라인 소스를 찾고, 분석하고, 종합하여 연구 분석가 수준의 포괄적인 보고서를 만들어 주는데, o3 모델을 기반으로 추론을 활용하여 인터넷에서 방대한 양의 텍스트, 이미지 및 PDF를 검색, 해석 및 분석하고, 마주치는 정보에 따라 필요하면 방향을 바꿀 수 있다.

딥 리서처 소개 동영상 이미지 캡처.

사용자가 프롬프트로 연구 실행을 요청하면 질문을 확인하고 범위와 연구 내용을 규정하기 위한 확인이 이루어진다. 이 내용은 오픈AI 데모에 나온 영상이다. 

우측 창에는 현재 진행하고 있는 활동을 설명하면서 과정을 보여준다.

성능 평가는 매우 인상적이었는데, 1월 27일에 소개한 ‘인류의 마지막 문제’에서 25%를 달성했다. 이는 CAIS가 연말이나 50%에 달성할 것이라는 예측을 매우 빠르게 앞당길 수 있음을 보여준 결과다.

국내에서도 여러 사용 경험이 나왔는데 고려대 의과대학 정재훈 교수는 ‘대규모 언어 모델 활용과 경험적 연구의 미래’라는 페이스북 게시물에서 2일 동안 사용해 본 경험을 바탕으로 딥 리서치가 ‘박사후 과정’에 근접한 수준의 결과를 보이고 간단한 리뷰 수준 원고를 생성하는 것을 보고 충격을 받았다고 했다. 

최승준 씨는 ‘현대 철학과 SF의 교차점에서 바라본 AI, 에이전트 ⇌ 환경’라는 연구(?) 결과를 올렸는데 교묘한 환각이 보였지만 감탄했고 어떤 부분은 감명 받았다고 했다(나도 읽으면서 이 정도 결과물이라니! 하고 놀랐다). 이제 인문학 연구자들에게 매우 훌륭한 연구 동료가 생겼다고 보인다.

와튼 스쿨의 에단 몰릭(Ethan Mollick, Co-Intelligence의 저자) 교수는 ‘검색의 종말, 연구의 시작’이라는 글에서 미래에 대한 힌트가 도착했다고 하면서 자율 에이전트와 강력한 추론기(Reasoner)가 하나로 수렴했다고 했다. 그는 인간 전문가의 깊이와 미묘함으로 연구를 수행할 수 있지만 기계 속도로 수행할 수 있는 AI 시스템의 등장이 가장 인상 깊은 AI 애플리케이션이라고 칭송했다.

그가 요청한 연구 과제에 대해 딥 리서치는 6개의 인용문과 몇 개의 추가 참고문헌이 있는 13페이지, 3,778단어의 초안을 제출했고 그 결과는 어렵고 모순되는 개념을 엮어내, 예상치 못한 새로운 연결을 발견했으며, 고품질 출처만 인용했고, 정확한 인용문으로 가득했다고 평가했다. 이는 초보 박사 과정 학생이 쓴 것과 비슷한 수준이라고 했다. 

재미있는 사례가 하나 공유되었는데, 딥 리서치를 이용해 딥시크에 대한 보고서를 써달라는 요청이었다. 아래와 같은 프롬프트와 대화를 거쳐 딥 리서치는 수십 장에 달하는 보고서를 각종 테이블과 차트를 넣어서 분석한 보고서를 제출했다. 아예 딥 리서치를 이용해 딥 리서치를 종합 분석하는 보고서도 생성해 보는 상황이다. 

그러나 아직 산출한 결과물에는 여전히 미묘하게 숨어 있는 환각이 보인다. 이 영상에서도 아직 딥 리서치가 보이는 환각의 여러 사례를 설명하고 있다. 이 문제에 대해서 뉴욕 대학의 게리 마커스는 ‘딥 리서치, 심층 헛소리, 그리고 과학의 잠재적 (모델) 붕괴’라는 글을 통해 다시 한 번 비판했다. 그가 우려하는 것은 이렇게 환각이 포함된 글이 인터넷을 오염시키고 이는 다시 모델 붕괴로 이어질 것이라는 점이다. 

“사람들은 그것이 진짜가 아닐 때조차도 그것이 진짜라고 생각할 것입니다. 모든 것이 표면적으로는 괜찮아 보일 것이기 때문에 그 결과물을 주의 깊게 사실 확인할 사람은 거의 없을 것입니다.”

좀 더 전문적인 과학 연구 보고서의 장점과 문제점에 대한 깊이 있는 분석은 사이언스에 올라온 ‘딥 리서치에 대한 성과 평가’를 참고하면 좋다. 

오픈AI 팀이 올린 딥 리서치에 대한 소개 영상도 있으며, 사용 방법에 대한 가이드는 노정석 씨와 최승준 씨가 올린 영상을 통해서 확인할 수 있다. 

흥미로운 점은 오픈AI의 발표 하루도 지나지 않아 오픈 소스 연구진이 만든 ‘오픈 딥 리서치가 등장했다. 허깅 페이스 창업자 토마스 울프도 참여한 이 시도는 주로 GAIA 벤치마크를 대상으로 에이전트 프레임워크를 구성하는 것이다. 이후 오픈소스 진영에서는 dzhng, assafelovic, nickscamara, jina-ai, mshumer 같은 프로젝트들이 속속 등장했고 오픈AI가 제시한 벤치마크 성능에 도전하는 일이 벌어지고 있다. 

2. 프론티어 AI 프레임워크 발표(메타), 프론티어 안전 프레임워크 업데이트(구글)


메타, 프론티어 AI 프레임워크 발표

먼저, 메타가 작년 서울 AI 서밋에서 약속한대로 모델 출시를 결정할 때 고려하는 위험에 관해 설명하는 프론티어 AI 프레임워크를 발표했다. 메타에 따르면 ‘프레임워크는 경제를 발전시키는 혁신과 경쟁을 촉진하는 것을 포함하여 사회를 위한 최첨단 AI 시스템의 이점을 극대화하고 가장 심각한 위험을 방지하도록 설계’했다고 한다. 

프론티어 AI 프레임워크는 사이버 보안 위협 및 화학 및 생물학 무기로 인한 위험 분야에서 가장 중요한 위험에 초점을 맞추며 혁신을 촉진하는 동시에 국가 안보를 보호하기 위한 노력이라고 한다. 이에는 여러 프로세스가 있는데 예를 들면 다음과 같다.

  • 예방할 재앙적 결과 식별: 프레임워크는 예방하고자 노력하는 사이버, 화학 및 생물학적 위험과 관련된 잠재적 재앙적 결과를 식별한다. 이러한 재앙적 결과가 기술 발전으로 가능한지 평가하고, 그렇다면 해당 위험을 완화하는 방법을 식별하는 데 중점을 둔다.
  • 위협 모델링 연습: 다양한 행위자들이 어떻게 프론티어 AI를 오용하여 재앙적인 결과를 만들어낼지 예상하기 위해 위협 모델링 연습을 실시하고, 필요에 따라 외부 전문가와 협력한다. 
  • 위험 임계값 설정: 모델이 위협 시나리오를 촉진하는 정도에 따라 위험 임계값을 정의한다. 또한 완화책을 적용하는 것을 포함하여 위험을 허용 가능한 수준 내로 유지하기 위한 프로세스를 갖추고 있다.

아래 그림이 이 과정에 관한 도해다.

메타는 특히 오픈소스 접근 방식을 취하고 있기 때문에 모델의 역량에 관한 더 광범위한 커뮤니티의 독립적인 평가로부터 배울 수 있어서 위험을 더 잘 예측하고 완화할 수 있다고 강조한다. 

그러나 이 문서는 CBRN(화학, 생물학, 방사능, 핵무기)과 사이버 리스크만 거론하고, 향후에 많은 논의가 될 모델 자동화에 의한 리스크는 아직 다루고 있지 않다. 나아가 AI 정책 센터(Center for AI Policy)의 클라우디아 윌슨은 특히 위험 임계값 정의가 명확하지 않음을 지적한다. 위협 시나리오의 ” 실행을 고유하게(uniquely) 가능하게 할지”에서 고유하게를 어떻게 정의할 것이냐는 지적이다. 또한 ‘경계 AI가 임계값을 초과하려면 위협이 발생하는 데 필요한 “모든 [가능성] 역량”을 보유해야 한다고’ 했는데, 이를 통해 위험 완화를 거칠 모델이 매우 제한적이 될 수 있다. 

구글, 프론티어 안전 프레임워크(FSF) 업데이트

2월 4일에는 구글이 프론티어 안전 프레임워크(FSF)를 업데이트한 내용을 발표했다. 그 동안 업계, 학계, 정부 전문가들과 협력하여 위험에 관한 이해, 이를 테스트하기 위한 경험적 평가, 적용할 수 있는 완화책을 심화했으며 제미나이 2.0과 같은 프론티어 모델을 평가하기 위한 안전 및 거버넌스 프로세스에 프레임워크를 구현했다고 발표했다. 

프레임워크의 주요 업데이트 내용은 다음과 같다.

  • 탈출 위험을 억제하기 위한 가장 강력한 노력이 필요한 곳을 식별하는 데 도움이 되는 CCL(중요 역량 수준)에 관한 보안 수준 권장 사항
  • 배포 완화책을 적용하는 방법에 대한 보다 일관된 절차 구현
  • 기만적 얼라인먼트 리스크에 대한 업계 선도적 접근 방식 개요

특히 흥미로운 점은 기만적 얼라인먼트 대응인데, 초기 버전은 주로 오용 위험에 초점을 맞췄으나 이번에는 기만적 얼라인먼트, 즉 자율 시스템이 의도적으로 인간의 통제를 훼손할 위험을 사전에 해결하기 위한 방안을 제시했다. 

이 방식의 초기 접근 방안은 모델이 기본적인 도구적 추론 능력을 개발하여 안전 장치가 마련되지 않는 한 인간의 통제를 훼손할 수 있는 시점을 감지하는 데 중점을 준다. 이를 완화하기 위해 도구적 추론 능력의 불법 사용을 감지하기 위한 자동화된 모니터링을 탐구한다는 것이다. 

‘모델이 더 강력한 수준의 도구적 추론에 도달하면 자동화된 모니터링이 장기적으로 충분할 것으로 기대하지 않으므로, 이러한 시나리오에 대한 완화 접근 방식을 개발하는 추가 연구를 적극적으로 수행하고 강력히 권장하고 있다’고 한다. 

3. AI 에이전트와 데이터 보호


개인 정보보호 리더십과 학술적 연구 등을 하는 비영리 단체 FPF에서 선임 AI 정책 고문을 하는 다니엘 베릭이 기고한 글이다. 에이전트에 관한 설명, 다양한 정의와 함께 공통의 특징을 제시했다. 이 글을 소개하는 이유는 AI 에이전트가 개인 정보 보호 및 데이터 보호에 새로운 위험을 초래할 수 있다는 지적이다. 

우선 글에 포함된 AI 에이전트에 대한 다양한 정의를 구글 번역을 통해서 보면 아래와 같다.

이진규(네이버 CPO)가 이 글의 내용을 다음과 같이 요약해줬다.

AI 에이전트의 발전은 기존의 LLM(대규모 언어 모델) 및 자동화 시스템과 유사한 위험을 초래할 뿐만 아니라, 새로운 프라이버시 및 데이터 보호 문제를 초래한다. 특히, 이들은 높은 수준의 자율성을 바탕으로 민감한 데이터를 처리하며, 이에 따른 법적·보안적 우려가 커지고 있다. 대표적으로 다음과 같은 위험이 있다. 

  • 확대된 데이터 수집 및 노출 위험: AI 에이전트는 이메일, 금융 정보, 건강 기록 등 개인 데이터에 접근하며, 외부 시스템과의 연계를 통해 실시간 정보를 수집할 수도 있다. 적법 처리 근거가 없이 처리될 위험이 있다. 
  • 보안 취약점 및 공격 가능성: 프롬프트 인젝션 공격 등을 통해 AI 에이전트의 보안 통제가 무력화될 위험이 있다. 이는 악성 코드 설치, 피싱 사이트 유도 등으로도 이어질 수 있다. 
  • 정확성 문제 및 신뢰성 저하: AI 에이전트는 확률적 방식으로 작동하기 때문에 사실과 다른 정보를 생성(‘할루시네이션’)하거나 연속된 작업 수행 중 오류가 누적될 수 있다. 
  • 인간 가치와의 충돌 위험: 일부 AI 에이전트는 데이터 보호 원칙과 충돌하는 방식으로 작동할 가능성이 있다. 예를 들어, 특정 작업을 수행하기 위해 민감한 개인 정보를 공유하는 등의 결정이 사용자 의사와 무관하게 이루어질 수 있다. 
  • 설명 가능성 및 감독 한계: 블랙박스 문제는 AI 에이전트에서 더욱 두드러진다. 일부 에이전트는 자연어로 의사결정 이유를 설명할 수 있지만, 이러한 설명이 실제 작동 원리를 반영하지 않을 수도 있어 신뢰성이 제한된다.

4. 범용 탈옥 방지 위한 ‘헌법적 분류기’ 발표 (앤스로픽)


앤스로픽 세이프가드 연구팀이 AI 모델을 범용 탈옥으로부터 방어하는 연구 논문을 발표했다(Constitutional Classifiers: Defending against universal jailbreaks). 프로토타입 버전은 범용 탈옥을 위한 수천 시간의 인간 레드 팀 구성에도 견고했지만, 과도한 거부율과 컴퓨팅 오버헤드가 높았지만 업데이트된 버전은 합성 평가에서 유사한 견고성을 달성했으며, 거부율이 0.38% 증가하고 추가 컴퓨팅 비용이 적당했다고 평가했다. 

탈옥은 예를 들어, 사용자가 AI를 조작하여 화학 무기 제조법과 같은 위험한 정보를 얻으려는 시도를 말하며 안전 가드레일을 우회하여 해로운 반응을 생성하도록 강제하는 입력을 하는 것을 일반적으로 의미한다.

이번에 발표한 헌법적 분류기는 합성으로 생성한 데이터로 훈련된 입력 및 출력 분류기로, 과도한 거부를 최소화하고 큰 컴퓨팅 오버헤드를 발생시키지 않고 압도적으로 대다수 탈옥을 필터링한다. 

효과를 판단하기 위해 두 가지 범주의 테스트를 했는데, 먼저  화학, 생물학, 방사선 및 핵 피해와 관련된 특정 과학적 지식을 식별하고 차단하기 위해 시스템의 프로토타입 버전을 개발했다. 이후 사람들을 초대해 ‘버그 바운티 프로그램’을 통해 이들을 레드팀처럼 운영을 했다. 

183명의 참여자는 10개의 “금지된” 질의 목록을 받았고, 2개월 실험 기간 동안 3,000시간 이상을 사용해 모델을 탈옥하려고 시도했다. 범용 탈옥을 발견하면 최대 15,000달러의 금전적 보상을 제공하기로 했지만, 엄청난 노력에도 불구하고, 참여자 중 누구도 모델이 단 한 번의 탈옥으로 금지된 10개의 질문에 모두 답하도록 강요할 수 없었다. 즉, 범용 탈옥은 발견되지 않았다.

이후 10,000개의 탈옥 프롬프트를 합성적으로 생성해 일련의 자동화된 평가를 헌법 분류자로 보호되는 Claude 3.5 Sonnet(2024년 10월) 버전과 분류자가 없는 Claude 버전에서 시도했다. 기본 조건에서 방어적 분류자가 없을 때 탈옥 성공률은 86%였는데, 이는 클로드 자체는 이러한 고급 탈옥 시도의 14%만 차단했다는 의미이다. 그러나 ‘헌법적 분류;’를 사용하여 클로드를 보호하면 탈옥 성공률은 4.4%로 감소했으며, 이는 탈옥 시도의 95% 이상이 거부되었음을 의미한다.

이런 기술의 문제는 과도한 거부 현상과 지나친 컴퓨팅 자원의 사용인데, 이번에 확인한 것은 거부율은 0.38% 정도 약간 증가했고 컴퓨팅 비용은 23.7% 증가에 그쳤다. 

헌법적 분류기의 작동 방식을 아주 간단히 표현한 것이 아래 그림이다. 헌법적 분류기는 앤스로픽이 클로드에서 얼라인먼트에 사용하는 헌법 AI와 유사한 방식인데, 모델이 준수해야 하는 헌법을 사용한다. 다만 헌법적 분류기는 허용하는 것과 허용하지 않는 콘텐츠 클래스를 정의하는 원칙을 이용한다.  

논문에는 헌법 분류 방식과 분류기 자체에 대한 설명이 나와 있다. 앤스로픽은 다시 이 기술을 임시 라이브 데모 버전으로 보이고 있으며 해커원을 통해 챌린지를 열고 있다.

“2025년 2월 5일 업데이트: 이제 탈옥 데모의 8단계를 모두 통과한 첫 번째 사람에게 10,000달러를 제공하고, 범용 탈옥 전략으로 통과한 첫 번째 사람에게 20,000달러를 제공합니다. 보상과 관련 조건에 대한 자세한 내용은 HackerOne 에서 확인할 수 있습니다.”

챌린지 화면 캡처

5. 공개 서한, ‘의식을 품은 AI에 대비하자’


사실 이 소식을 전할까 좀 고민했다. AI가 의식을 품을 수 있다는 얘기는 정통 AI 연구자들은 외면하는 주제이기 때문이다. 그러나 최근 제프리 힌턴 경이 한 인터뷰에서 지금 AI가 의식이 있다고 보느냐라는 질문에 주저 없이 ‘그렇다’라고 답하는 것을 보고 이 뉴스를 소개한다.

가디언지에 따르면 100여 명의 전문가들이 공동으로 서명한 공개 서한이 ‘컨시움(Consium)’이라는 조직을 통해서 공개되었다는 것이다. 여기에는 유명 코미디언이자 감독 겸 작가이며 방송인인 스티븐 프라이 경이 포함되었다는 얘기와 함께(그가 AI 전문가인지는 모르겠고). 서명한 사람들은 다음과 같은 사람들이다. 컨시엄은 WPP에서 부분 자금을 지원받고 WPP의 최고 AI 책임자인 다니엘 흄이 공동 창립한 연구 기관이다. 

이들은 AI 의식에 관해 책임 있는 연구를 수행하기 위한 5가지 원칙을 제시했으며, 옥스퍼드 대학의 패트릭 버틀린과 아테네 경제경영대학의 테오도로스 라파스가 쓴 논문도 함께 공개를 했는데, 이 논문에서는 의식적 시스템을 만들 의도가 없는 회사조차도 “실수로 의식적 개체를 만들 경우”에 대한 지침이 필요하다고 덧붙였다. 

AI 시스템에서 의식을 정의하는 것과 그것이 가능한지에 대한 불확실성과 의견 불일치가 널리 퍼져 있다는 사실을 인정하지만, 이는 “무시해서는 안 될 문제”라고 말하고 있는데, 의식이 있는 AI 시스템이 가까운 미래에 구축될 수 있다고 주장한다. 아니면 적어도 의식이 있는 것처럼 보이는 시스템이 구축될 수 있다고 주장하기도 한다. 

연구자들은 “대량의 의식 시스템이 생성되어 고통을 받을 수도 있다”고 말하며, 강력한 AI 시스템이 자기 자신을 재생산할 수 있다면 “도덕적 고려를 받을 만한 새로운 존재가 대거 생성될 수도 있다”고 덧붙였다.

영화 [2001: 스페이스 오딧세이] (1968, 스탠리 큐브릭) 중 인공지능 Hal 9000의 렌즈
Cryteria, CC BY 위키미디어 공용.

작년 11월에 나온 ‘AI 복지를 진지하게 고려하자’라는 논문에서는 일부 AI 시스템이 2035년까지 의식이 있고 “도덕적으로 중요”해질 “현실적인 가능성”이 있다고 주장한 적이 있다. 이 논문은 유명 철학자인 데이빗 차머스도 참여했으며, 뉴욕대학교, 스탠포드 대학교, 옥스포드 대학교 교수진들이 참여한 흥미로운 논문이다.

기사에서는 하사비스도 지금은 의식이 없지만 미래에는 의식이 있을 수 있다고 했음을 지적한다. CBS와 인터뷰에서 “철학자들은 아직 의식에 대한 정의를 내리지 못했지만, 자기 인식과 같은 종류의 것을 의미한다면 언젠가는 AI가 그럴 가능성이 있다고 생각합니다”라고 말했다는 것이다.

그러나 당분간 이 주제에 관해선 대다수 정통 AI 학자나 연구자가 어떤 대응도 하지 않을 것으로 보인다.

그 밖의 소식: 구글, 군사 목적 AI 사용 금지 약속 철회 등


  • 구글이 2018년에 선언했던 ‘자사의 AI 기술을 군사적 목적이나 감시에 사용하지 않겠다는 약속’을 철회했다(CNBC, 2월 4일). AI 원칙을 제시하는 웹페이지에 과거 있던 약속 문장이 사라졌다. 그 대신 2월 4일에 올라온 기술 및 사회연구소의 제임스 매니이카 수석부사장, 딥마인드의 데미스 하사비스가 쓴 ‘책임있는 AI: 2024년 보고서와 진행 중인 작업’이라는 블로그 글을 통해 정부와 협력할 것을 비쳤다.
    • “점점 더 복잡해지는 지정학적 환경 속에서 AI 리더십을 차지하기 위한 글로벌 경쟁이 벌어지고 있다.” 
    • “우리는 민주주의 국가가 자유, 평등, 인권 존중과 같은 핵심 가치에 따라 AI 개발을 주도해야 한다고 믿는다.” 
구글이 ‘자사 AI 기술을 군사적 목적이나 감시에 사용하지 않겠다는 약속’을 철회했다.
  • 2월 10일부터 11일까지 열리는 파리 AI 액션 서밋에는 미국의 밴스 부통령, 프랑스 마크롱 대통령, 인도 모디 총리, 독일 숄츠 총리 등과 오픈AI의 샘 알트만, 구글의 순다 피차이 등 CEO들이 참석할 예정이다(폴리티코, 2월 4일). 영국 키어 스타머는 과학 혁신 및 기술 담당 국무 장관 피터 카일을 대신 보낸다고 한다. 미국 AI안전연구소는 트럼프 정부가 들어 서면서 엘리자베스 켈리 소장이 사임하면서 참석이 어려워졌다. 로이터에 따르면 미국, 중국 및 기타 국가의 서명이 담긴 AI 관리 원칙에 대한 비구속적 공동성명이 협상 중이라고 하며 이루어지면 큰 성과가 될 것이다. 
  • 컴퓨팅 파워의 거래 시장을 연 컴퓨트 익스체인지 (WSJ 1월 29일) – 고빈도 거래(HFT) DRW 창립자가 앞으로 컴퓨팅 자원은 글로벌 에너지나 원유 거래와 같아 질 수 있다는 생각에 엔비디아 H100이나 H200의 처리 시간 덩어리를 경매로 진행하는 스타트업을 창업. 물론 아마존이나 애저, 구글 같은 하이퍼스케일러나  오픈AI 같은 대규모 자원을 필요로 하는 회사를 대상으로 하는 것은 아니다. 유사한 기업으로 SF 컴퓨트가 있다.
  • 링크드인 창업자인 리드 호프만이 암 연구자인 싯다르타 무케르지와 함께 AI를 이용해 신약을 개발하기 위한 마나스AI(Manas AI)라는 스타트업을 창업했다 (테크크런치 1월 27일). 초기에 유방암, 전립선 암, 림프 종에 집중할 예정이며 호프만, 제너럴 카탈리스트, 그레이록 등에서 2,460만 달러 투자를 받았다. 그러나 이는 다른 AI 기반 신약 개발 회사에 비해서는 상대적으로 적은 금액인데 자이라(Xaira)는 10억 달러를 트리라인 바이오사이언스는 4억 2,200만 달러를 투자 받은 적이 있다. 
  • OpenAI의 전 최고기술책임자인 미라 무라티가 설립한 스타트업이 오픈AI의 공동 창립자인 존 슐먼을 고용했다 (테크크런치 2월 6일). 슐먼은 오픈AI를 떠나서 앤스로픽으로 갔는데, 5개월 만에 다시 무라티의 비밀 스타트업으로 이동한 것이다. 
  • 스탠퍼드대학과 워싱턴 대학의 AI 연구원들이 3일(현지시각) ‘s1’이라는 추론 모델을 발표했다 (테크크런치 2월 5일).. 이 모델은 수학 능력을 측정하는 ‘MATH 500’ 벤치마크에서 93%의 정확도로 오픈AI o1(94.8%), 딥시크 R1(97.3%) 같은 최첨단 추론 모델과 유사한 점수를 기록했는데, 학습하는데 들어간 비용이 50달러라고 주장했다.

    연구팀은 알리바바의 ‘큐원2.5(Qwen2.5-32B-Instruct)’을 추론 특화 모델로 미세조정하는 방식을 사용하고, 추론 성능을 높이기 위한 학습용 데이터셋은 구글의 추론 모델 ‘제미나이 2.0 플래시 씽킹 실험 버전(gemini-2.0-flash-thinking-exp-1219)’을 활용했다. 온라인 웹사이트 ‘NuminaMATH’를 포함해 총 59,029개의 수학 문제를 수집한 후 이 문제의 풀이방식 및 해답을 구글 제미나이로부터 얻는 증류 기법을 이용했고, 이 중 1000개의 샘플 질문과 답변을 골라 ‘s1K’라는 고품질 데이터셋을 최종 확정했다. 더 오랜 시간 추론할수록 결과가 좋아진다는 ‘테스트 타임 스케일링(test time scaling)’ 효과를 극대화하기 위해 모델의 사고 종료를 억제하기 위해 ‘기다려(WAIT)’란 단어를 사용했다는 것이 흥미롭다. 

관련 글

첫 댓글

댓글이 닫혔습니다.