자율주행차 한 대에 '원격 안전 기술자' 1.5명

[AI in a Week by TechFrontier] 한 주일의 주요 AI 뉴스, 논문, 칼럼을 ‘테크프론티어’ 한상기 박사가 리뷰합니다.

1. 옥스퍼드대학, 인간 중심 AI 연구실을 설립하다

스탠퍼드에 인간 중심 AI 연구소가 있듯이 영국 옥스퍼드 대학에 인간 중심 AI 연구실(HAL Lab; Human-Centered AI Lab)이 생겼다. 이 연구실은 코스모스 연구소 후원으로 발족하는데 코스모스 연구소는 AI와 철학의 문제를 깊이 있게 다루는 비영리 단체이다. AI 인덱스를 발행하는 스탠퍼드 HAI가 AI 연구, 교육, 정책같이 좀 더 포괄적인 연구를 한다면 옥스퍼드 HAL은 철학과 AI를 중심으로 하겠다는 뜻으로 읽힌다.

옥스퍼드 HAL(영화 ‘2001 스페이스 오디세이’에 나온 AI 컴퓨터 HAL 9000와 이름이 같다) 연구실은 기술자와 철학자가 함께 철학적 개념을 오픈 소스 소프트웨어와 AI 시스템에 어떻게 내포하게 할 것인가를 다루고 이성, 탈중앙화, 인간 자율성 같은 개념을 AI 시스템에 반영하려는 목표를 세웠다. 이를 통해 새로운 부류의 철학자-기술자를 육성하겠다는 것이다. 초대 ‘철학 및 AI’ 교수는 필립 코랄루스(Philipp Koralus) 교수이며 코랄루스 교수는 프린스턴 대학에서 철학과 신경과학으로 박사 학위를 받았으며, AI와 추론, 의사 결정, 도덕적 판단 등을 연구해 온 교수이다.

이 연구실을 후원하는 코스모스 연구소는 AI 창업으로 4억 달러를 번 브렌드 맥코드가 경제학자 타일러 코웬, 앤스로픽 창업자 중 한 명인 잭 클락크 등과 같이 설립했다. 코스모스 연구소의 입장은 ‘실존적 비관론 대 가속주의: 기술에 합리적이고 인본주의적인 “제3의 길”이 필요한 이유’라는 브렌든의 글을 보면 잘 알 수 있다.

HAL 랩은 철학부 소속이며 2025년 가을에 개관할 예정인 스티븐 A. 슈와르츠만 인문학 센터 안에 자리 잡을 계획이다. 슈와르츠만 인문학 센터는 헤지 펀드로 유명한 블랙스톤의 창업자인 스티븐 슈와르츠만이 2019년 옥스퍼드 대학에 새로운 인문학 연구를 위해 1억5천만 파운드를 기부해서 만들어지고 있는 센터이며 옥스퍼드 AI 윤리 연구소도 이 안에 있으며, 코랄루스 교수도 이 연구소 소속이다. 당시 옥스퍼드 홈페이지에는 르네상스 이후 가장 큰 규모의 기부금이 들어왔다고 환영하는 기사가 실렸었다. 2017년에는 MIT에 3억5천만 달러를 기부해서 AI를 중심으로 하는 새로운 컴퓨팅 학부를 설립하도록 했다.

2. 헬스케어에서 생성형 AI에 대한 규율을 정하는 법

하버드 비즈니스 리뷰, 9월4일

하버드 비즈니스 리뷰에 이 글이 올라오고 나서 의료 AI 분야 종사자의 반응이 뜨겁다. 이 분야를 꾸준히 연구하고 추적하는 ETRI 전종홍 책임이 이에 대한 설명과 해석한 글을 소개한다. LLM을 기존 기기 중심의 접근이 아닌 새로운 지능으로 간주하고 인간 의료진을 규제하는 방식으로 새로운 체계를 만들자는 의견이다. (참고로 ‘Regulation’을 전종홍 책임은 ‘규제’로 표현했다. 물론 그 단어가 쓰인 맥락을 고려해야겠지만, 나는 ‘규율’로 번역하는 걸 선호한다.)

전종홍(ETRI 책임)의 해석

FDA의 디지털 헬스를 이끌었던 주요 멤버이자 지금은 구글의 글로벌 디지털 건강 전략과 규제 부문 수석 이사인 바쿨 파텔(Bakul Patel)과 오바마 정부 시절 코디네이터였던 데이비드 블루멘탈(David Blumenthal)의 논쟁적인 글이 올라왔네요. 저도 두 저자의 의견과 비슷한 생각을 계속해 왔었는데 저명한 멤버가 쓴 HBR 기사로 올라오니 그 파급력이 다르네요.

저자들은 생성형 AI(특히 대규모 언어 모델, LLM)의 의료 분야 적용에 있어 기존 FDA의 규제 방식은 적합하지 않으며, LLM을 새로운 형태의 지능으로 간주하고, 의사나 간호사와 같은 인간 의료진을 규제하는 방식을 모델로 삼아 새로운 규제 체계를 만들어야 한다는 의견이죠.

저도 현재 같은 좁은 의미의 의료 기기(Medical Device) 관점에서는 높은 자율성과 고지능을 갖는 새로운 유형의 기기들을 포함하기 어려운 근본적 한계가 있다고 생각하고 있었습니다. 이를 해결하기 위해서는 고자율성과 고지능성을 갖는 능동형 의료 기기 모델∙개념∙역할을새롭게 정의하거나, 아니면 이런 것들을 포괄할 수 있는 새로운 용어나 개념을 만들 필요도 있다고 생각하고 있었죠.

현재의 “의료기기”는 사람이나 동물에게 단독 또는 조합하여 사용되는 기구∙기계∙장치∙재료∙소프트웨어 또는 이와 유사한 제품이라고 정의하고 있어 고자율성과 고지능성에 대한 제한은 없지만, 기본 전제가 명시적으로 선언된 기능을 중심으로 한 제조허가∙제조인증∙제조신고 체계라 사실상 제한이 될 수밖에 없죠.

여기서 관점 차이는 세 가지 정도가 될 것 같습니다.

1) LLM, 파운데이션 모델 등을 기반으로 고자율성∙고지능성을 갖는 대상을 무엇으로 정의할 것이냐 ?
2) 기존 의료기기 범위에 포함할 것이냐 ? 아니면 완전 새로운 범주를 만들 것이냐 ?
3) 어떤 방식으로 이를 평가∙검증하고 허가∙관리할 것이냐 ?

저는 기기를 좀 더 확장된 개념으로 보면서 기존 의료기기 허가관리 체계를 확장하는 방향으로 가는 게 맞지 않겠느냔 생각인데, 저자들은 단순히 기술적인 문제가 아니라 법률, 윤리, 의료 실무 등 다양한 분야에 걸친 복잡한 논의와 합의가 필요한 ‘AI를 어떻게 볼 것인가?’에 관한 논쟁을 촉발하는 것 같습니다.

사실 저는 ‘인공지능 의료기기를 계속 인간을 보조하며 수동적이고 제한된 동작만 하는 것으로만 제한할 것인가?’라는 질문을 계속 던지면서, 능동형 AI를 포함할 수 있는 형태로 의료기기의 개념을 바꿔야 한다고 주장하고 다녔었는데 말이죠.

어쨌든 앞으로의 고자율∙고지능화되는 의료기기들을 세 가지 포인트에서 어떻게 정의하고 관리할 것이냐는 계속 미뤄야 할 먼 미래 이슈가 아니라, 이제부터라도 빠르게 합의를 이끌어가야 할 당면 문제일 것 같습니다.

3. 자율주행차가 수백km 떨어진 곳에서 인간의 도움을 받는 방법

뉴욕타임스, 9월 3일

자율주행차를 떠올리면 우선 체크하는 게 있다.

우선 레벨을 따지고,
얼마나 정확히 자율적으로 판단하는지
그리고 무엇보다 얼마나 안전하게 운행할 수 있을지를 생각한다.

뉴욕타임스 기사는 자율주행차가 주행 중에 어려움을 겪으면 멀리 떨어진 커맨드 센터에 있는 사람의 도움을 받는 받는 방법을 보도했다.

아마존이 인수한 죽스(Zoox)는 사실 나도 매우 관심이 많이 가는 회사다. 샌프란시스코에서 가장 많이 보이는 자율주행차는 알파벳의 웨이모이지만 라스베이거스 같은 곳에서는 죽스 서비스도 많이 보인다.

죽스는 아무리 자율주행차라고 해도 완전 자율은 아니고 위험을 피하기 위해 사람이 지원하는 걸 당연하게 생각한다고 한다. 예를 들어, 예전에 보지 못한 공사 구역을 발견하거나 갑자기 등장한 소방차 등에 대응하고자 할 때 자율주행차가 원격 기술자에게 도움을 요청하는 경고를 보낸다. 인간 제어자는 차를 움직이는 것이 아니라 경로 지침을 알려주는데 차량에 있는 여러 카메라를 통해 상황 판단을 한 후 안전하게 이동할 수 있는 ‘웨이포인트’라고 부르는 점으로 이어지는 경로를 제시하면 이후 자율주행차가 그 경로를 통해 이동하는 방식이다.

자율주행차가 여러 사고를 일으키면서 주요 회사는 무인 자동차를 지원하는 원격 센터를 운영하고 있다. 작년에 샌프란시스코에서 크루즈에 의해 사고가 생긴 다음 샌프란시스코가 크루즈 로봇 택시 운행을 중지시켰고 회사는 950대의 로봇 택시를 리콜한 것에 영향을 받아 죽스는 차 한 대당 1.5명의 인력이 지원하고 있다고 한다.

이런 측면이 로봇 택시를 많은 도시에서 빠르게 확산하지 못하는 이유다. 웨이모도 역시 고급 인력이 차량을 지원하고 있으며 차량 유지 보수에도 일반 차량보다 더 많은 돈이 들어가기 때문에 당분간 인간 택시에 비해 절대로 수익성이 좋을 수가 없다.

그러나 만일 운행 허가가 더 쉬워지고 기술이 발전한 더 많은 로봇 택시가 운행된다면 이런 사고를 앞으로 보험으로 처리하고자 하는 기업이 등장할 것이다. 지금은 행정 당국이 자율주행차 사고에 예민하고 시민도 이에 대해 심리적 안정감을 느끼지 못하고 있기 때문에 안전한 운행을 위해 원격 지원 센터를 운영할 수밖에 없을 것이다(참고: 월스트리스저널).

4. 리고 바이오사이언스, 알파폴드3의 오픈 소스 구현 공개

깃허브, 9월 5일

딥마인드 알파폴드3은 단백질 구조 예측 분야에서 혁신적인 기술로, 신약 개발 및 생명 과학 연구에 큰 영향을 미칠 것으로 예상한다. 그러나 딥마인드가 코드를 공개하지 않아서 과학계의 재현 가능성과 협업 정신에 어긋난다는 비판을 받았는데, 리고 바이오사이언스라는 스타트업이 알파폴드3의 오픈 소스 버전을 깃허브에 공개했다. 이 소식은 긱뉴스(GeekNews)를 통해 접했다.

알파폴드3은 생체 분자 구조 예측 모델로 단백질 구조 예측, 약물-단백질 상호작용 구조 예측, 핵산-단백질 복합체 구조 예측 등의 기능을 갖고 있으며 이를 이용한 신약 개발 혁신을 위해 여러 제약 회사와 계약을 해왔다.

일단 이번 공개에는 학습 코드를 포함해서 단일 사슬 단백질로 학습한 전체 모델을 공개하고 리간드, 멀티머, 핵산 예측 기능 등 추가 기능은 차후에 공개하기로 했다. 특히 아파치 2.0 라이센스로 진정한 오픈 소스를 선언했다.

이에 공헌한 팀과 프로젝트로는 핵심 알고리듬을 공개한 딥마인드의 알파폴드3 팀, 오픈 소스 단백질 구조 예측의 토대를 만들어 준 오픈폴드 프로젝트, 단백질 데이터 작업을 위한 깔끔하고 잘 문서화된 데이터 파이프라인을 제공한 프로틴플로(ProteinFlow) 라이브러리가 있다.

이 프로젝트는 아직 초기 단계이고 테스트와 피드백을 제공할 소수의 베타 테스터를 모집하고 있기 때문에 베타 테스트를 원하는 사람은 여기를 통해 지원할 수 있다. 공개한 데모 비디오는 8개의 A100 GPU에서 10시간 동안 4,000개 스텝을 훈련한 모델 샘플이며 모델 학습 속도가 매우 빠르다는 것을 보여주고 있다. 또한 알파폴드3 논문에서 모호한 부분과 개선 방안, 새로운 방식을 통해 다르게 구현할 수 있음을 보여주고 있어 이 분야 연구자와 개발자에게 도움이 될 것으로 보인다.

폐쇄형 모델과 오픈형 모델의 경쟁이 LLM 분야에서만 이루어지는 것이 아니라 구글 딥마인드 같은 많은 자원이 있는 연구 내용을 역으로 구현해서 오픈 소스화 하는 여러 프로젝트를 통해 AI 연구가 더 풍성해지는 것을 알 수 있다.

관련 뉴스로는 구글 딥마인드에서 생물학과 건강 연구를 위한 새로운 단백질 생성을 위한 알파프로테오(AlphaProteo)를 9월 5일 발표했다. 알파폴드가 단백질 구조 예측을 하지만 상호작용을 직접 조작하는 새로운 단백질을 생성할 수가 없었기 때문에 새로운 고강도 단백질 결합체를 설계하는 알파프로테오를 만든 것이다. 이 기술은 생물학적 과정에 대한 이해를 가속화하고 신약 발견, 바이오센서 개발 등에 도움을 줄 수 있는 잠재력이 있다고 주장한다. 알파프로테오는 암 및 당뇨병 합병증과 관련된 VEGF-A를 포함한 다양한 표적 단백질에 대한 새로운 단백질 결합체를 생성할 수 있었다고 한다. AI 시스템을 이용해 VEGF-A에 대한 단백질 결합체를 성공적으로 설계한 것은 이번이 처음이라고 한다.

단백질 데이터 은행(PDB)의 대량의 단백질 데이터와 알파폴드의 1억 개 이상의 예측 구조로 학습한 알파프로테오는 분자가 서로 결합하는 무수한 방법을 학습했다. 표적 분자의 구조와 해당 분자의 선호 결합 위치 세트가 주어지면 해당 위치에서 표적에 결합하는 후보 단백질을 생성한다. 자세한 내용은 이번에 발표한 백서를 참고하기 바란다.

5. 일리야 수츠케버의 새로운 스타트업, 시작부터 10억 달러 투자 유치

로이터, 9월 4일

구글이나 오픈AI, 딥마인드 출신이 창업하면 기본 1억 달러부터 시작하는 것이 최근 AI 스타트업 상황인데, 얼마 전에 오픈AI에서 뛰쳐나온 일리야 수츠케버 팀에는 이 숫자에 0이 하나 더 붙었다.

오픈AI를 그만두고 새로 창업한다는 간단한 트윗 하나만 남겼던 수츠케버의 세이프 슈퍼인텔리전스(SSI)가 50억 달러 가치 평가를 받으면서 안드레센 호로위츠, 세콰이어 캐피탈, DST 글로벌, SV 엔젤, NFDG 등이 10억 달러를 투자했다.

SSI는 팔로 알토와 이스라엘 텔아비브에 연구자와 개발팀을 구축한다고 한다. 수츠케버는 러시아 출신이지만 5살에 이스라엘로 갔고 15살까지 머물다 캐나다로 이민 후 토론토 대학에서 수학과 컴퓨터 사이언스를 전공한 사람이며 제프리 힌턴 제자로 유명하다. 사실 2012년 알렉스넷을 개발한 것으로 AI 분야에서는 더 유명하고 힌턴과 함께 DNN리서치를 설립했다가 구글에 매각하기도 했다. 2015년 오픈AI 창업을 함께하고 GPT 개발의 주역이었지만 (또 다른 주역들은 일찍 나가서 앤스로픽을 창업했었다.) 2023년 샘 올트먼과 알력으로 대중에게 알려지고 결국 올해 회사를 떠난 이야기는 많은 언론이 보도했다.

2023년 6월 텔 아비브 대학에 방문한 샘 올트먼(왼쪽)과 일리야 수츠케버(당시 오픈AI 수석 사이언티스트). 수츠케버는 이 자리에서 “통제할 수 없는 AI를 구축하는 건 큰 실수”라고 말했다.

수츠케버와 함께 창업한 사람은 애플에서 AI 이니셔티브를 이끌었던 다니엘 그로스, 오픈AI 출신의 다니엘 레비이다. 다니엘 그로스는 예루살렘 출신으로 ‘큐(Cue)’의 창업자였고 Y 컴비네이터의 파트너로 우버, 인스타카트, 피그마, 깃허브, 에어테이블, 코어위브, 캐릭터.ai, 퍼플렉시티 등에 투자한 유명 투자자이다. 다니엘 레비는 오픈AI의 최적화 팀을 이끌었던 사람이다.

다니엘 레비는 널리 알려지지 않았지만 마이크로소프트, 페이스북, 구글에서 인턴십을 거쳐 2022년부터 오픈AI에서 근무했으며 프랑스 에콜 폴리테크닉에서 응용 수학을 스탠퍼드 컴퓨터 사이언스에서 석박사를 받았다. 이름에서 느낄 수 있듯이 유대계다.

결국 유대계 3인의 리더가 힘을 합치고 이에 호의적인 투자자들이 적극 지원하는 기본 방정식이 다시 작동한 것으로 볼 수밖에 없다. 내가 이들 공동창업자가 ‘유대계’라는 걸 굳이 언급한 이유는 부정적인 혹은 그 반대의 편견을 지적하려는 게 아니라 이런 배경을 최대 활용하는 것이 실리콘 밸리에서 비즈니스가 움직이는 방식이고 우리 기업들이 이런 눈에 안 보이는 생태계를 만들거나 이를 적극 활용해야 한다는 의미다.

SSI는 안전한 초지능(ASI*)을 만드는 것이 목적이라고 한다. 수츠케버는 초지능 구현이 몇 년 안 남았다고 주장했던 사람이라 그에게 이런 자금이 주어진다는 것은 투자자들이 이에 대해 동의하고 있다는 것이며 이들이 지금 벌어지고 있는 첨단 AI에 대한 다양한 정부 규율 프레임워크 안에 들어올 것인가가 개인적으로 궁금한 포인트이다.

‘ASI’란?

‘ASI’(Artificial Super Intelligence)는 인공 슈퍼지능이라고 할 수도 있고 초지능 AI라고 부르기도 한다. 이는 일단 AGI가 개발된 이후 인간 두뇌의 화학적, 생물학적 한계로 제한을 받고 있는 인간의 인지 능력을 뛰어 넘는 것을 말한다. 닉 보스트롬이 말하는 슈퍼인텔리전스는 ASI와 유사한 개념이다. AGI(Artificial General Intelligence; 인공일반지능)가 인간 지능의 10배가 넘는다면 ASI는 100배, 1,000배 넘는 수준의 지능을 의미한다.