AI 진화가 생물학적 지옥문을 열 수도 있다: 4가지 역량, 5가지 예방책

1. AI는 기술 부채를 해결하는 데 아주 효과적인 도구다

개인적으로 AI에 대한 가장 많은 소식과 의견을 듣는 공간은 아직 과거 트위터였던 X.com이다. 8월 22일에 아마존의 사장인 앤디 재시가 올린 트윗을 보았다. 그는 아마존의 Q라는 소프트웨어 개발 어시스턴트를 이용해 아마존이 기술 부채를 어떻게 효과적으로 해결할 수 있었는지 알렸다.

기업에서 개발자들도 별로 좋아하지 않는 일이 기초 소프트웨어로 이루어진 부분을 업그레이드하는 일이다. 새로운 기능을 추가하는 일도 아니고 경험을 늘리는 일도 아니기 때문이다.

그래서 아마존 Q를 이용해 애플리케이션을 자바 17로 업그레이드를 하도록 한 결과 보통 개발자가 50일 걸리던 일이 단 몇 시간으로 줄었다고 한다. 이를 통해 4,500명의 개발자가 일 년 동안 할 정도의 시간을 절감했는데 그 자신도 터무니없어 보이는 수치이지만 맞는 얘기라고.

6개월 동안 프로덕션 자바 시스템의 50% 이상을 훨씬 적은 시간과 노력으로 현대적인 자바 버전으로 업그레이드했고, 추가 변경 없이 자동 생성한 코드 리뷰 79%를 배포할 수 있었다. 이번 업그레이드 과정을 돈으로 환산해 보니 보안이 강화되고 인프라 비용도 절감해 총 3억 6천만 달러의 효율을 얻었다고 한다.

물론 자사의 AI 코드 변환 도구에 대한 자랑이지만 자기네에서도 이런 코드 변환 기능을 더 많이 사용할 예정이고 많은 대기업이 갖고 있는 기술 부채를 해결하는 데 좋은 방식이 될 것이라고 주장한다.

AI 코딩 어시스턴트를 새로운 코드 작성에만 사용하는 것이 아니라 이렇게 오래된 코드를 전환하고 현재 버전으로 업그레이드하는데 매우 효과적일 수 있다는 사례라고 생각한다.

2. AI를 규제하기 위한 방식이 NIST의 정치적 중립성을 해치면 안된다

여러 국가가 경쟁적으로 AI 안전 연구소를 세우고 있는 현 상황에서 미국에서 국가표준기술연구소(NIST) 안에 AI 안전 연구소를 세우고 소장을 임명하는 과정에서 NIST가 가져야 할 정치적 중립성을 훼손할 우려가 생겼다는 비판이 나왔다. 이는 앞으로 AI 관련 입법 과정에서도 고려해야 하는 이슈로 생각하는데, 이 이야기는 아주대 이원태 교수가 페이스북에 공유했다. 그래서 이원태 교수에게 이야기의 요약과 그 의미를 해석해달라고 부탁했다.

3. AI와 생물학적 국가 안보 위험의 진화에 대한 보고서

새로운 미국 안보 센터(CNAS)는 강력하고 실용적이며 원칙적인 국가 안보 및 국방 정책을 개발하는 독립적이고 초당파적인 비영리 단체라고 주장한다. 혁신적인 사실 기반 연구, 아이디어, 분석을 통해 정책 입안자, 전문가, 대중을 참여시켜 국가 안보 논의를 형성하고 수준을 높이며, 핵심 미션은 현재와 미래의 국가 안보 리더들에게 정보를 제공하고 준비하는 것이라고 한다.

CNAS는 8월에 발간한 보고서를 통해 AI의 급속한 발전이 생물 테러, 전례 없는 슈퍼바이러스, 새로운 표적 생물무기의 세계를 열 수 있다고 하는 전문가들의 경고에 대해 이런 우려의 타당성, 대처 방안을 평가하기 위한 요소들을 정리했다.

생물학적 위험은 첨단 AI가 가져올 위협 중 가장 예민한 위험 요인으로 카멀라 해리스 부통령까지 이 문제를 심각하게 보고 있다는 보도가 나온 적이 있다.

보고서에서는 미국 바이오 보안의 역사와 현재 상태, AI가 기존 바이오 보안 위험을 변화시킬 수 있는 다양한 방법, 이런 위험에 영향을 미칠 수 있는 새로운 AI 기술 역량, 현재 개입이 필요한 분야를 정리하고 있다. 보고서는 이러한 요소를 고려하여 정책 입안자들에게 진화하는 AI와 생명공학의 교차점에 대한 폭넓은 이해와 함께 생물학적 위협으로 인한 국가 안보에 대한 최악의 위험을 억제하기 위한 실행 가능한 권장 사항을 제공하고자 한다.

생명공학과 AI의 교차점에서 발생할 수 있는 재앙적 위험을 가져올 수 있는 네 가지 역량으로는 다음과 같은 것이 있다.

1. 첨단 생물학적 응용을 위한 실험 지침을 효과적으로 제공할 수 있는 파운데이션 모델의 능력
2. 생명공학 분야에서 클라우드 실험실 및 실험실 자동화의 발전으로 인해 실험 전문지식이 감소하는 것
3. 감염성 질환에 관한 숙주의 유전적 감수성 연구에서 이중 사용이 진전되는 것
4. 바이러스 병원체 정밀 엔지니어링의 이중 사용 가능성

이런 새로운 위험을 억제하기 위해 CNAS가 제안하는 조치는 다음과 같다.

1. 클라우드 실험실 및 기타 유전자 합성 제공업체에 대한 선별 메커니즘을 더욱 강화한다.
2. 전체 생물무기 수명 주기에 걸쳐 파운데이션 모델의 생물학적 능력에 대한 정기적이고 엄격한 평가에 참여한다.
3. 파운데이션 모델의 위협을 억제할 수 있는 기술적 안전 메커니즘, 특히 클라우드 기반 AI 도구 액세스에 대한 강화된 가드레일, ‘학습 취소’ 기능, 모델 훈련의 ‘정보 위험’에 대한 새로운 접근 방식에 투자한다.
4. 생물 방어 시스템의 민첩성과 유연성을 더욱 우선시하도록 정부 투자를 업데이트한다.
5. 장기적으로, 잠재적 치명성을 갖는 기능을 가진 생물학적 설계 도구가 현실화하기 시작할 경우, 이에 대한 라이선스 체제를 고려한다.

보고서에 관심 있는 분은 소개 페이지에 나오는 보고서 다운로드 링크를 통해 전체 보고서를 참고하시기 바란다.

4. 중국의 알리바바와 텐센트가 AI 스타트업을 위한 광범위한 그물을 던지다

2023년 이후 중국 내에서 알리바바 딜의 40%, 텐센트 딜의 30%가 AI 스타트업을 겨냥했다고 한다. 중국 내에서 오픈AI와 경쟁하고자 하는 LLM 모델을 개발 중인 6개 스타트업이 10억 달러 가치를 넘었다. 이 유니콘 대부분이 알리바바와 텐센트의 투자를 받았다고.

예를 들면, 2024년 2월에 문샷AI는 시리즈 B 투자에서 알리바바와 홍샨이 10억 달러 이상을 투자해 기업 가치가 25억 달러에 달했다. 홍샨은 세콰이어 캐피탈의 중국 파트너이다. 문샷AI는 천억 개가 넘는 파라미터를 가진 LLM을 만들고 키미(Kimi)라는 챗봇 서비스를 하고 있다.

중국의 거대 기업이 한동안 규제 강화, 코비드19, 경기 침체 여파로 수익 강화에 나섰지만 생성형 AI에 대한 자세는 매우 적극적인 모습인데, 특히 알리바바와 텐센트는 클라우드 서비스를 기반으로 모델과 컴퓨팅 파워를 판매하고자 한다.

중국 내 AI 모델이 190개를 넘어 혼잡한 상태에서 유니콘을 발굴해 투자함으로써 인사이트도 얻고 우위를 확고히 하려고 하는 전략을 추진한다는 분석인데 이는 마이크로소프트나 아마존이 보이는 모습과 유사하다.

중국 유니콘들의 문제 중 하나는 엔비디아 칩 수급이다. 미국이 견제하고 첨단 GPU 중국 판매를 금지하는 가운데 이들은 클라우드 기업의 컴퓨팅 인프라를 이용하거나 해외 투자자를 활용해 우회로 H100 같은 첨단 GPU 시스템을 확보하고 있다고 한다. 예를 들어 베이징의 한 회사는 싱가포르 투자자의 계열사를 통해 수백 개의 H100 칩을 확보했다고 한다.

앞에서 얘기한 문샷AI에 8억 달러를 투자해 36%의 지분을 확보한 알리바바는 3억 달러 이상 가치가 되는 알리바바의 클라우드 컴퓨팅 인프라 사용이 가능한 크레딧을 제공했다고 한다. 이건 마이크로소프트가 오픈AI에 투자할 때 방식과 매우 유사하다. 중국 AI 스타트업에는 자금보다 때로는 컴퓨팅 인프라나 엔비디아 칩 확보가 더 중요하기 때문이다.

5. 프랑스 AI 스타트업 H, 창업한 지 몇 달 만에 창업자 3인 퇴사

지난 5월 혜성처럼 등장해 시드 라운드에 2억2천만 달러 투자를 받았던 프랑스 AI 스타트업 H(전에는 홀리스틱 AI라고 했었던)이 투자받은 지 몇 달 안 되어서 창업자 5명 중 3명이 떠났다는 보도가 나왔다.

남은 창업자 찰스 칸토는 스탠퍼드 대학의 수학과 출신이며 벤처 레지던트였고 로랑 시프르 CTO는 딥마인드 출신으로 알파고, 알파폴드, 알파스타 등 연구에 참여한 뛰어난 연구자이고 최근에는 제미나이와 젬마 모델에도 참여했다. 두 사람을 두고 나간 칼 틸스도 딥마인드에서 게임 이론과 다중 에이전트 연구 담당 리서치 디렉터, 수석 과학자 다안 위어스트라는 딥마인드 창업 멤버였고 줄리앙 페롤랏은 칼과 마찬가지로 게임 이론과 다중 에이전트 연구를 담당했다. 자연스럽게 H는 자동화 AI 에이전트를 개발할 예정이었고 이를 프런티어 액션 모델이라고 부른다.

이 회사가 널리 알려진 이유 중에는 투자자들이 대부분 억만장자이고 미국의 액셀, 비피아이프랑스의 거대 벤처 펀드 등 VC와 삼성, 아마존 등이 참여했기 때문이다. 투자한 주요 억만장자는 에릭 슈미트, 프랑스의 인터넷 사업과 모바일 사업을 끌어낸 자비에 니엘(르 몽드의 공동소유자이기도 하다), DST 글로벌의 유리 밀너, LVMH CEO 베르나르 아르노 등이 있다. 이런 스타 AI 기업에는 늘 엄청난 거부들이 초기에 참여하고 이들의 자산을 다시 VC 등이 키워준다.

틸스는 인포메이션 기자에게 사실을 확인해 줬고 그 이유가 ‘운영 및 사업상의 불일치’라고 했다. 이건 마치 얼마 전 아마존이 데리고 간 어뎁트(Adept)를 창업한 후 바로 회사를 떠난 아시시 바스와니와 니키 파마가 어뎁트 창업한 후 일 년도 안 되어서 회사를 나가 에센셜 AI를 또 만든 상황을 떠올리게 한다.

투자받은 지 4개월 만에 5명의 공동 창업자 중 3명이 뛰쳐나간다면 그 회사에 참여한 핵심 인재를 믿고 투자했던 투자자들에게 매우 짜증나는 일이 될 것은 분명하고, 만일 이번에 나간 세 명이 또 다른 회사를 창업한다면, AI 창업 씬은 오픈AI에서 보던 대로 누가 누구랑 일하게 되는 지 예측할 수 없는 상황이 계속 벌어질 것이다. 이들을 나중에 어떻게 평가하게 될지 궁금하다.

6. 그 밖의 기타 논문과 보고서 (아주대 이원태 교수 페북에서 입수)

AI 규제 체계상의 한계와 허점 비판하고 AI 개발자와 사용자 책임 강조 (샌드라 워처)

영국 옥스포드 인터넷연구소(OII)의 샌드라 워처(Sandra Wachter) 교수는 Yale Journal of Law & Technology에 발표한 논문을 통해 EU의 AI 규제 프레임워크인 AI Act(AIA), 제조물책임법(PLD), AI 책임법(AILD) 등 AI 규제 체계상의 한계와 허점을 지적하면서 EU의 AI 규제가 개인과 사회를 더 효과적으로 보호하고 AI 개발자와 사용자의 책임을 강화하기 위한 방안을 제시했다.

워처 교수는 AIA, PLD, AILD을 포함한 유럽의 AI 규제가 차별과 편견, 설명 가능성, 환각, 허위 정보, 저작권, 데이터 보호, 환경 영향 등 AI 개발에 대한 주요 우려 사항을 충분히 다루지 않고 있다고 주장한다. 위처 교수는 이렇게 말한다:

“우리는 피해에 대해 다르게 생각해야 합니다. 우리는 부상이나 재산 파괴와 같은 유형의, 물질적이고 눈에 보이는 피해에 대해 더 많이 생각하는 경향이 있지만, 비물질적이고 눈에 보이지 않는 피해에 대해서는 덜 생각합니다. 하지만 볼 수 없는 것도 여전히 해를 끼칠 수 있습니다. 예를 들어 AI가 편향되거나, 프라이버시를 침해하거나, 조작된 사실을 내뱉을 때의 경우입니다.”

옥스포드 인터넷연구소(OII) 샌드라 워처(Sandra Wachter).

아프리카 연합의 인공지능 국가 전략

Continental Artificial Intelligence Strategy | African Union (au.int)
아프리카 고유의 AI 역량을 개발하고 데이터 주권을 확보하기 위한 “아프리카 연합의 인공지능 국가 전략(Continental Artificial Intelligence Strategy)”을 아프리카 유니온이 발표했다.