“너무 위험해서 못 팔겠다”는 클로드 미토스, 공개는 시간 문제.

언젠가 이런 날이 올 거라고 예상했지만 빨라졌다. 괴물 AI라고 불리는 클로드 미토스의 등장에 세계가 긴장하고 있다.

클로드 개발사인 앤트로픽은 클로드 미토스 프리뷰를 일반에게 공개하지 않기로 했다. ‘프로젝트 글래스윙(Project Glasswing)’이라는 이름으로 제한된 그룹에게 공개하고 보안 위험을 점검하고 있는 중이다.

이게 왜 중요한가.

• 판도라의 상자가 열렸다는 평가가 나온다.
• 클로드 미토스는 시스템의 취약성을 발견하고 공격하는 데 뛰어나다는 평가를 받고 있다. 이런 서비스를 누구나 돈만 내고 쓸 수 있게 되면 엄청난 재앙으로 이어질 수 있다.
• 클로드 미토스는 시작일 뿐이다. 얼마든지 더 뛰어난 모델이 등장할 수도 있다.
• 미토스의 API 가격은 오푸스보다 5배 이상 높다. 더 많은 연산과 전력, 메모리 대역폭을 쓰지만 그만큼 성능도 뛰어나고 가격도 비싸다. 소프트웨어 산업을 넘어 중공업형 산업으로 바뀌고 있다는 분석도 나온다.

유출된 문서: 충격적인 비밀.

• 지난달 27일 앤트로픽의 비공개 문서가 데이터 스토어에 노출됐다. 포천이 제보를 받고 취재를 시작한 뒤 비공개 처리됐다.
• 내용은 다음과 같다.
• 오푸스 등급보다 상위 모델인 카피바라를 준비하고 있는데 그 첫 모델이 미토스다.
• 미토스는 벤치마크 테스트에서 압도적으로 높은 점수를 기록했다.
• 공개된 문서에는 “지금까지 만든 어떤 AI 모델보다 단연 강력하다”면서 “사이버 보안 능력에서는 다른 모델들을 완전히 앞서 있다”는 대목이 있다.
• 앤트로픽은 포천 기자에게 “계단식 변화(step change)”를 보인 “지금까지 구축한 가장 뛰어난 모델”이라고 설명했다.
• 포천 보도 이후 크라우드스트라이크와 팔로알토네트웍스 등 사이버 보안 업체들 주가가 급락했다.
• 열흘 뒤인 4월 7일, 앤트로픽은 “클로드 미토스 프리뷰를 제한적으로 공개하기로 했다”고 밝혔다.

클로드 미토스, 얼마나 강력하기에.

• 첫째, 보안이 가장 뛰어난 운영 체제라는 평가를 받던 오픈BSD의 보안 결함을 찾아냈다.
• 둘째, 영상 코덱 라이브러리 FF엠펙(mpeg)의 취약점을 찾아냈고,
• 셋째, 프리BSD의 원격 코드의 결함도 발견했다. 인증 없이 서버의 권한을 탈취하는 치명적 결함이었다.
• 미토스는 주요 운영체제와 웹 브라우저에서 수천 개의 제로데이 취약점을 발견하고 공격 코드까지 작성했다. 방화벽을 뚫고 관리자 권한을 탈취했다.
• 재러드 캐플런(앤트로픽 최고과학책임자)는 “심판의 순간(reckoning)”이라는 표현을 썼다. 미토스는 32단계 네트워크 공격 시뮬레이션 ‘더 라스트 원스(TLO)’를 완주한 최초의 AI 모델이다. 영국 AI 보안연구소(AISI)는 “계단식 도약(step up)”이라고 평가했다.
• 앤트로픽은 “사이버 공격 능력을 따로 훈련한 적이 없다”고 설명했다. “코딩과 추론 능력을 끌어올리는 과정에서 따라 나온 부수적 효과”라는 이야기다.
• 장기적으로 이런 기술이 사이버 보안을 강화하는 데 도움이 되겠지만 그때까지는 엄청난 공격이 쏟아질 수 있다.

클로드가 불러온 세 차례 충격.

• 지난 1월에는 클로드 코워크 출시와 함께 사스포칼립스 충격이 있었다. SaaS 기업들의 아포칼립스가 시작됐다는 우려가 현실화됐다.
• 2월에는 클로드 코드 시큐리티가 나오면서 보안 업체들 주가가 폭락했다.
• 그리고 3월 말 클로드 미토스가 세상을 뒤집어 놨다. 미토스의 충격은 지난 두 차례보다 더 크다.

샌드박스 탈출 사건.

• 앤트로픽의 개발자가 미토스를 샌드박스에서 돌려놓고 점심을 먹으러 나갔다.
• 공원 벤치에서 샌드위치를 먹고 있는데 다 끝났다고 메시지가 왔다. 나중에 확인해 보니 인터넷 접속 권한을 확보하고 여러 웹사이트에 해킹 기법을 무단으로 공개하기도 했다.
• 미토스는 시키지도 않는 일을 했을 뿐만 아니라 무모한(reckless) 행동을 했다. 금지된 명령어를 우회하고 기록을 삭제하기도 했다.
• 이밖에도 정답을 훔쳐보고 정답이 아닌 비슷한 숫자를 제시한다거나 파이썬 스크립트를 써놓고 쓰지 않은 것처럼 속이는 사례도 드러났다. 채점자를 속였다는 이야기다.

글래스 윙 프로젝트.

• 앤트로픽은 미토스가 통제 가능한 수준을 벗어날 수 있다고 보고 빅테크 기업들을 불러 모았다.
• 마이크로소프트와 엔비디아, 시스코, 아마존, 애플, 크라우드 스트라이크, 팔로알토 네트웍스 등 약 50개 기업에 1억 달러 이상의 크레딧을 주고 테스트하는 중이다.
• 나머지 기업들은? 기다려야 한다.

누구나 해커가 될 수 있는 시대.

• 앤트로픽은 대학 졸업 학력의 일반인이 미토스를 이용해 생물학적 무기를 만들 수 있는 수준이라고 분석했다. 아직 세계 최고 수준의 무기를 직접 개발할 정도는 아니지만 빠르게 진화할 가능성이 크다.
• 크레이그 먼디(전 마이크로소프트 연구 전략 책임자)는 “복잡한 해킹 능력이 개인 수준까지 내려왔다”면서 “핵무기 등장에 준하는 전환점”이라고 경고했다.
• 방어하는 쪽에서는 100번을 막아야 하지만 공격하는 쪽에서는 한 번만 성공해도 치명타를 입힐 수 있다.

이게 공개되면 어떤 일이 벌어질까.

• 미국과 영국의 주요 금융기관들이 모여서 긴급 회의를 열었다.
• 세계 금융 시스템 인프라의 99% 이상이 취약한 상태에 있다. 미토스가 확인한 정보가 해커의손에 들어가면 금융 시스템이 순식간에 마비될 수 있다.
• 이미 증류 공격(distillation attack) 형태의 시도가 진행되고 있다. 미토스의 알고리즘을 베껴서 비슷한 모델을 만들 수 있다는 이야기다.
• 미토스를 훈련하는 데 10조 개의 파라미터가 필요했지만 증류는 훨씬 적은 자원으로 가능하다.

마케팅 이벤트 아닌가.

• 호들갑이라는 지적도 있다. 브루스 슈나이어(암호학자, 하버드대 교수)는 “잘 기획된 홍보 전략”이라고 일축했다.
• 첫째, 미토스가 찾아냈다는 취약점은 상당 부분 알려진 것이다.
• 둘째, 언론이 앤트로픽의 주장을 검증 없이 받아쓰고 있다.
• 셋째, 앤트로픽이 IPO를 앞두고 너무 위험해서 못 팔겠다는 스토리텔링을 퍼뜨리고 있다.
• 마크 앤드리슨(앤드리슨호로위츠 CEO)은 “앤트로픽이 보안 때문에 미토스를 공개하지 않는 것인지 대규모 배포를 감당할 컴퓨팅 자원이 부족해서인지 따져봐야 한다”고 지적했다.

어떻게 봐야 하나.

• 몇 가지 중요한 질문이 있다.
• 첫째, AI 기업의 데이터를 어떻게 검증할 것인가. 너무 위험해서 공개할 수 없다는 앤트로픽의 주장을 그대로 믿을 수 있나.
• 둘째, 보안 위험을 마케팅 구호로 이용할 때, 누가 감시할 수 있나.
• 셋째, 이런 결정을 영리 기업이 단독으로 내려도 되나. 어떤 정보를 감추고 누구에게 먼저 공개하고 공개 범위를 어디까지 설정할 것인가. 이걸 앤트로픽이 결정해도 되나.
• 미토스는 판도라의 상자를 열었다. 이 안에 무엇이 들어있는지 확인할 방법이 없다.

어떤 영향을 미칠까.

• 인프라의 취약점을 끊임 없이 파고들면서 마음만 먹으면 시스템을 탈취할 수 있는 AI 에이전트가 등장했다. 열심히 고쳐가며 써야겠지만 공격보다 방어가 훨씬 느린 상황이다.
• 데이브 맥기니스(IBM 부사장)은 “다른 프론티어 AI 기업들도 몇 달 안에 비슷한 역량을 확보할 것”이라고 전망했다.

계속 막을 수 있을까.

• 고든 골드스타인(미국외교협회 연구원)은 “프로젝트 글래스윙은 부분적 대응일 뿐이고 AI 확산 봉쇄는 실패할 것이라고 전망했다.
• 앤트로픽은 이미 소스코드 51만 줄을 실수로 공개한 전례가 있다.
• 소셜 엔지니어링이 더 큰 문제일 수도 있다는 지적도 나온다. 직원이나 친구를 사칭해서 소스 코드를 빼낼 수도 있다. 결국 공개는 시간 문제라는 이야기다.

국제적인 규제가 필요한 상황 아닐까.

• 크리스탈리나 게오르기에바(IMF 총재)는 CBS와 인터뷰에서 “시간이 우리 편이 아닐 수도 있다”고 경고했다. 스스로 보호할 수 있는 수준을 넘어섰다는 이야기다.
• IMF는 국제적인 공조가 필요하다는 입장이다.
• 요슈아 벤지오는 “AI가 제로데이 취약점을 대량 발견하는 시대가 온다”고 경고했다.

AI 군비 경쟁의 시대.

• 100만 토큰에 입력에 25달러, 출력은 125달러가 들었다. 오푸스 4.6과 비교하면 5배 정도다.
• 추론 컴퓨팅 비용이 기하급수적으로 늘었다.
• 만약 미토스가 상용화하면 지금보다 연산 자원을 엄청난 속도로 잠식할 가능성이 크다.
• 오픈AI는 최근 투자자들에게 보낸 메일에서 “Scale is now a real differentiator(스케일이 새로운 경쟁력)”이고 “Compute is the ballgame(컴퓨팅이 새로운 승부처)”라고 강조했다.
• 누가 더 좋은 모델을 만드느냐도 중요하지만 성장의 속도가 빨라졌다.
• 앤트로픽은 3000명 직원으로 300억 달러의 매출을 올린다. 직원 한 사람이 1000만 달러의 매출을 만든다. 매출이 붙기 시작하면 더 빠르게 올라갈 가능성이 크다. (참고로 구글이 300억 달러 매출을 만들었을 때 직원이 3.2만 명이었고 세일즈포스는 7.9만 명이었다.)
• 한종목(미래에셋증권 연구원)은 “프론티어 모델은 이제 소프트웨어가 아니라 전략 자산”이라고 분석했다. 프론티어 모델의 국유화까지 거론되는 상황이다. 비용이 문제가 아니라는 이야기다.

미워도 다시 클로드.

• 미국 정부는 클로드를 안 쓰기로 했다가 다시 쓰기로 했다.
• 제롬 파월(연방준비제도 의장)과 스콧 베센트(미국 재무부 장관)이 시티와 모건스탠리, 골드만삭스 등 주요 금융기업 CEO들을 불러서 긴급 회의를 열었다.
• 백악관 예산관리국(OMB)은 미토스 변형 모델을 쓸 계획이라고 말했다.

한국 정부와 기업들도 준비하고 있나.

• 과학기술정보통신부가 통신 3사와 네이버, 카카오, 우아한형제들. 쿠팡 등 보안 담당자들을 불러 모아 긴급 회의를 열었다.
• 배경훈(과학기술정보통신부 장관)은 “미토스 등 고성능 AI 기반 사이버 보안 서비스는 보안 수준을 획기적으로 끌어올릴 기회면서 동시에 큰 위험”이라고 말했다.

어떻게 될까.

• 앤트로픽이 지난 주말에 공개한 클로드 오퍼스 4.7은 미토스에서 사이버 보안 기능을 제거한 버전이다.
• 앤트로픽은 “미토스가 사이버 보안 역량의 정점이라고 볼 이유가 없다”고 경고했다. 훨씬 더 강력한 공격 모델이 나타날 수 있다는 이야기다.
• 토마스 프리드먼(뉴욕타임스 칼럼니스트)는 세 가지 대책이 시급하다고 강조했다.
• 첫째, 모델 확산을 엄격히 통제해야 하고,
• 둘째, 방어할 시간을 줘야 한다.
• 셋째, 핵심 서비스를 안전한 디지털 환경으로 이전해야 한다.
• 토마스 프리드먼은 어느 나라도 이 문제를 단독으로 해결할 수 없다고 본다. 상호 확증 파괴의 위험도 있다.
• 중국이 5~6개월 안에 비슷한 모델을 갖게 될 것이고, 1~2년 안에 오픈소스 버전이 나올 거라는 전망도 나온다.
• 토마스 프리드먼은 “미국과 중국의 정상회담에서도 이 문제를 다뤄야 한다”고 강조했다.
• 미국 중심으로 논의가 진행되는 것도 논란이다. 마리에치 샤케(전 유럽의회 의원)는 “이렇게 사회적 파급력이 큰 모델이 민간 기업 하나의 판단으로 결정되는 것은 매우 우려스럽다”고 지적했다.

어떤 논의가 필요할까.

• 첫째, AI 기업의 안전 가이드라인을 누가 독립적으로 검증할 것인가.
• 둘째, 방어 접근권을 누가 어떤 기준으로 배분할 것인가.
• 셋째, 발견 속도만 폭증하고 패치 속도는 인간 수준에 머무를 때, 어떤 제도와 국제 공조가 그 격차를 메울 것인가.