뱀 기름 장수에게 속지 않는 방법: AI가 당신을 더 똑똑하게 해주진 않는다는 불편한 진실.

연재를 시작하며.

얼마 전에 슬로우뉴스 이정환 대표를 만나 얘기하던 중 과거 슬로우뉴스에 ‘테크 뉴스 브리핑’을 썼던 기억이 나서 AI 뉴스와 칼럼 중 우리가 관심 있게 보면 좋겠다는 것을 선정해 위클리로 알려주는 코너를 만들어 보자고 했다.

먼저 제목을 정하려고 하다가 앤스로픽의 클로드와 상의했다. 클로드가 몇 개를 제안했고 ‘AI in a Week’와 ‘AI Weekly Digest’를 비교하다 클로드가 ‘AI in a Week’가 더 가볍고 접근하기 쉬운 느낌이라고 해서 이를 선택했다. 그런 다음 뒤에 ‘by TechFrontier’를 붙이면 어떠냐고 했더니 훌륭한 선택이라고 브랜딩, 명확성, 전문성 등에서 갖는 장점과 함께 정기적인 칼럼 시리즈로 발전시키기 좋은 제목이라고 했다. 이제 이런 일을 하는 데는 AI 챗봇이 아주 유용하다. 

한 주 동안 쏟아진 AI 관련 뉴스와 논문 그리고 유명 칼럼이나 블로그 포스팅 중에서 전문가나 인플루언서들이 공유했거나 내가 접한 정보를 중심으로 소개한다. 일부 소스는 유료 가입이 원칙이라 전문을 다 보기 위해서는 요금을 내야 한다. 좋은 정보는 돈을 내야 한다는 것이 맞기 때문에 그런 사이트도 적극적으로 소개할 예정이다.

1. GPT-4o 음성 모드를 쓰면 AI에 감정적으로 사로잡힐 수 있다.

와이어드는 최근 다양한 캐릭터를 반영하는 음성 모드가 사용자에게 어떤 영향을 미칠 수 있는가에 관해 오픈AI가 모델 카드를 통해서 밝힌 우려를 소개했다. 모델 카드는 AI 모델의 주요 사양을 설명하는 문서로 모델 데이터와 학습, 리스크 식별과 평가 그리고 완화, 외부 레드 팀 운영 결과, 평가 방법, 관찰된 안전에 대한 도전∙평가∙완화, 사전에 준비한 프레임워크 평가, 제3자 평가, 사회적 영향, 결론과 다음 단계 등을 소개한다.

이 가운데 사회적 영향 평가에서 의인화와 정서적 의존을 거론했다. GPT-4o를 통해 사용자가 더 사람 같은 상호작용을 겪으면서 확인한 내용이다. 테스트 동안 사람들이 언어를 통해 연결이 강해지고 유대감을 표현하는 언어를 사용함을 알았다면서 이에 대한 장기적인 연구가 필요하다고 제안한다. 또한, AI 모델과 인간과 유사한 사회화를 하게 되면 이는 다른 인간과의 관계에 영향을 주는 외부적 효과가 있다. 외로운 사람에게 건강한 관계를 제공하는 긍정적인 면이 다른 사람과의 관계를 감소하게 만드는 효과가 나타날 수 있으며, 말하다 끊어 버리고 다른 얘기로 넘어가는 것은 AI에 문제가 안 되지만 인간 사이에서는 사회 규범을 어기는 것으로 봐야 하지만 이에 익숙해질 수 있다는 것이다.

음성을 통한 AI와 교류는 잘못된 정보에 설득당할 가능성도 더 높아지고 중요한 세부 사항을 저장하고 기억하는 능력은 점점 더 AI에 의존하고 독립적인 생각을 하지 않게 만들 수 있다. 아이들이 ‘챗지피티가 이랬어’, ‘클로드가 이게 맞대’, ‘하이퍼클로바X가 여기가 더 좋다’고 했어, 할 때 부모는 이제 어떤 대답을 할 수 있을까? (이건 사실 스마트 스피커 나왔을 때도 나온 이슈이지만 스마트 스피커 성능이 기대만 못 했기 때문에 넘어간 이슈이다.)

이런 문제는 좀 더 다양한 니즈와 욕망을 가진 사용자로 구성해 확인해야 하며 독립적인 학계 연구가 더 필요하다는 점도 모델 카드에서 얘기하고 있다. (근데 사실 학계에서는 전부터 소셜 로봇이라는 주제로 이런 상호작용에 대한 연구는 많이 있었다. 아마 오픈AI 개발자들이 잘 모르고 있는 것으로 보인다.)

2. 회사 말고 나머지 모두를 사들이기, AI 업계 새로운 M&A 기법.

요즘 마이크로소프트, 아마존, 구글이 뛰어난 기술이나 비즈니스를 가진 AI 스타트업을 내재화하는 방식이 흥미를 끌고 있다. 이 기사는 구글 출신이 만든 회사인 ‘캐릭터.AI'(Character.AI) 이야기로 시작한다. 창업자 노암 셔지어는 트랜스포머(신경정신망)을 탄생시킨 논문(Attention Is All You Need, 2017)의 공동 저자 8명 중 한 명이고, 공동 창업자 다니엘 프레이타스는 구글 출신으로 화제가 되었던 람다(LaMDA)를 만들었다. 이들은 구글이 람다 상용화를 거부하자 2022년 나가서 캐릭터.AI를 창업했다. 사실 이 서비스는 매우 인기를 끌었고 AI 분야에서는 챗지피티 다음으로 트래픽을 만들어 낸 서비스이다. 개인적으로도 가장 관심을 갖고 보던 서비스다.

하여튼 구글은 이들을 다시 데려오기 위해 기술 라이센스로 30억 달러를 지급하기로 했는데 그중 25억 달러는 기존 주주들에게 지불했다고 한다. 셔지어 지분이 30~40% 정도라 그가 받는 돈이 7억5000만~10억 달러 수준이 될 것이라고 한다.

구글로 돌아가는 인력은 창업자와 20% 정도의 인력이고 나머지는 남아서 캐릭터.AI의 비즈니스를 지속한다고 하는 이런 기묘한 거래 방식은 최근 빅 테크 기업이 AI에서 리더십을 확보하기 위해 사용하는 기법으로 기술과 주요 인물을 흡수하되 회사 인수는 안하는 방식으로 규제 당국의 감시와 M&A 과정에 들어가는 복잡함을 피하고자 하는 방식이다. 이를 누군가는 ‘리버스 액하이어(Reverse acquihire)’라고 부르기도 한다. 

이미 작년 오픈AI 쿠데타 시도에서 마이크로소프트가 샘 앨트만과 주요 인력을 흡수하려고 했었고, 이후 다시 2024년 3월에 딥마인드 창업자 중 한 명인 무스타파 슐레이만과 링크드인 창업자인 리드 호프만이 설립한 인플렉션을 6억5000만 달러를 주고 기술과 주요 인력을 가져와 새로 만든 마이크로소프트 AI에 합류시켰다. 이 금액은 주요 초기 투자자에게 1.5배를 돌려주고 후기 투자자에게는 1.1배를 돌려주는 수준이라고 한다. 

인플렉션이 만든 서비스 역시 ‘파이’라는 매우 감성적인 챗봇 서비스였으나(내가 매우 좋아했던 챗봇 서비스였다) 이 기술은 이제 마이크로소프트가 활용하든가 아니면 다른 서비스로 전환하든가 할 것이고, 인플렉션이 갖고 있던 2만2000개의 엔비디아 칩은 다른 기업이 LLM 개발을 할 때 지원하는 서비스에 사용할 계획이라고 한다. 

아마존도 이런 딜을 추진했다. 6월 28일 발표에 아마존은 어뎁트(Adept)의 직원 중 66% 정도를 고용하면서 회사의 모델과 데이터셋 등을 포함한 기술 라이센스를 하겠다고 했다. 어뎁트는 소프트웨어 도구를 통한 자동화 에이전트를 개발하는 회사였으나 더 이상 개발을 하기 위한 자금이 부족했다고 하며, 창업자인 구글 출신 데이비드 루안은 아마존의 ‘AGI 오토노미’를 총괄하기로 했다. 아마존이 어뎁트에 라이센스로 지불한 돈은 3억3천만 달러로 알려졌는데, 이는 기존 투자금 4억 1,400만 달러에 못 미치는 수준이다. 어뎁트는 초기 공동 창업자가 트랜스포머 논문 제1저자인 아쉬쉬 바스와니와 니키 파마였기 때문에 눈에 띄었으나 그 둘은 회사를 떠났다. 

이런 방식은 당연히 FTC의 눈에 띄기 시작했고, 경쟁 제한 행위가 아닌가 하는 시각을 갖고 바로 마이크로소프트와 아마존의 거래를 조사하겠다는 발표가 나왔다. 이런 거래가 나오는 이유는 더 이상 대규모 투자를 받지 못할 스타트업이 빨리 엑시트를 할 방법이며, 투자자들이 환영하는 분위기에 빅 테크 기업으로는 모아놓은 인력과 개발 자원을 쉽게 확보할 방법이기도 하다. 트랜스포머 논문은 LLM 같은 기술을 만들어 내기도 했지만 스타트업 인수 방식을 트랜스폼 하는 것 같다. 

3. 메타가 LLM 평가 연구를 지원한다.

뉴욕대학 얀 르쿤 교수가 소셜 미디어에서 공유하는 바람에 접한 소식이다. 메타가 대학교수들에게 LLM(대형언어모델) 평가 방식에 관한 연구 과제 공모를 발표했다. LLM 등이 더 복잡해지면서 새로운 벤치마크가 필요하고 평가 라이브러리를 구축할 필요가 있기 때문에 복잡한 추론, 감성과 소셜 지능, 에이전트 방식의 행위 세 가지 영역에서 연구 제안을 요청한 것이다.

연구 과제 선정은 4곳이 될 것이고 각 연구 당 20만 달러를 지원하겠다고 하며 마감은 9월 6일까지로 하고 있다. 메타는 특히 사람이 생성한 데이터로 구성한 벤치마크를 찾는다고 한다. 특히 다양한 언어로 구성하거나 다중의 모달리티(Modality; 양식 또는 양상; 어떤 형태로 나타나는 현상이나 그것을 받아들이는 방식)를 갖는 연구를 우선 지원할 것이라고 한다. 이를 통해 모델이 문화적 다양성을 가지면서 인간 가치에 얼라인먼트를 실현할 방안을 찾고자 한다.

국내에서도 이에 관심이 있는 연구 그룹이 도전해 보시면 어떨까 한다. 

4. AI 시대, 무엇이 사람을 특별하게 만들까?

‘뉴요커’ 아이디어 편집장인 조슈아 로스만의 칼럼이 페이스북에서 여러 사람을 통해 퍼졌다. 아주대 이원태 교수가 올리고 이형열 씨가 이를 클로드를 통해 번역한 전문을 소개했다. (관심 있는 분은 여기서 볼 수 있다.) 

조슈아는 여러 번 AI에 대한 긴 에세이를 써 왔는데, 이번 글은 인문학 배경을 가진 사람들이 좋아하는 글이다. AI가 시를 쓰는 시대, 일종의 예술을 만들어 내고 우리보다 월등히 많은 정보를 갖고 대화를 나눌 수 있는 시대에 혼동하지 말아야 할 점을 지적한다.

그는 아빈드 나라야난과 사야시 카푸어의 신작 ‘AI 스네이크 오일’을 소개하면서 이 책에서 AI라는 포괄적인 용어 사용의 문제점, 성능이 떨어지는 기술을 가리는 연막, 명확한 효과가 검증되지 않은 예측에 사용하는 AI의 문제점들은 제시한다 (한 출판사가 이 책을 번역하면 좋을지 나에게 자문을 구한 적 있다).

또 다른 책으로 2024년 옥스퍼드 대학 출판사에서 나온 에든버러 대학의 철학자 섀넌 밸로가 쓴 ‘AI 미러: 기계 사고의 시대에 우리의 인간성을 되찾는 방법’을 소개하면서 인간의 미덕과 잠재력에 대한 생각을 하자고 한다. 오늘날의 AI 시스템은 거울에 비친 우리 몸과 같이 “거울이 몸을 만들어내지 않는 것처럼 AI는 생각이나 감정을 만들어내지 않습니다. 그들이 만들어내는 것은 새로운 종류의 반사입니다.”라고 비판한다. 매우 강렬한 비유였다.

벨로는 덕 윤리학을 예를 들어 사람들이 덕목 – 용기, 정직, 성실, 상상력, 공감, 호기심 등-을 키우는 데는 시간이 필요하며 AI에는 이런 능력이 없다고 한다. 그녀는 인간이 AI에 지배되는 것이 아니라 이런 덕목이 있는 척하는 컴퓨터를 사용하면서 실제로 이런 덕목이 무엇인지 잊어 버릴 수 있다고 경고한다.

조슈아는 AI 능력이 강력해도 진정으로 인간다운 것이 아니라고 봐야한다고 하는데, 사실 이런 얘기는 늘 인문학자들과 토론에서 나오는 주제이기는 하다. AI가 갖는 능력 못지않게 한계를 지적하는 많은 주장을 들어 보면 지금 AI 연구자들이 연구하는 주제가 아닌 것을 가져와 비판하는 경우를 많이 본다. 의식이나 감정, 용기, 정직 이런 주제는 대부분의 연구 주제가 아니다. 오히려 인간이 AI를 보면서 의인화 유혹에 빠져 말하는 경우가 많은데, 오해하지 말라고 하고 싶다. 

물론 지금 매우 도전적인 문제는 이런 인간의 덕목에서 우리가 가치 있다고 보는 측면을 어떻게 AI가 따르게 하거나 그에 부합하는 결정과 행동을 하게 만들 것인가 하는 ‘얼라인먼트’ 문제는 매우 어렵지만 본격적인 연구를 시작하고 있다. 아직 너무 어린아이에게 어른의 행동이나 생각을 따르지 않는다고 비판하는 것은 큰 의미가 없다. 얀 르쿤이 늘 얘기하듯이 아직 고양이 지능도 구현하지 못한 AI이다. 고양이를 보면서 덕을 갖추지 못했다고 얘기하지는 않잖아?

사실 이 칼럼은 오히려 AI에 주눅 들거나 AI와 대화에 빠지면서 부풀려진 감정이나 과장과 오해로 인한 평가를 하는 사람들에게 한마디 하는 글로 이해하고 싶다. 아직 부족한 기술로 뱀 기름을 파는 사람, 과도한 선전으로 AI 미래를 공포스럽게 하는 사람 (일부 전문가라고 하는 사람들)들에 대한 경계이면서 동시에 인간다움이라는 것이 과연 무엇인지 좀 더 생각해 보자는 글로 이해하고 싶다. 근데 진짜 인간을 인간답게 하는 것이 무엇일까? 블레이드 러너의 릭 데커드에게 물어봐야 하나?

5. FDA가 돌팔이 약장수의 세상에서 질서를 만든 방법.

뉴욕대학교 AI 나우(AI NOW) 연구소가 발표한 58쪽 분량의 보고서다. 최근 나와 토론하는 사람 중에서도 이 얘기를 하는 사람이 몇 명 있다. 질문은 이렇다, 가장 규제가 확립된 FDA의 경험을 왜 AI에서 활용하지 않는가.

이 연구는 2023년부터 시작했다고 한다. ‘FDA(미국식품의약국) 사례는 AI에 접근하는 방법에 관한 로드맵이 아니라 진화하는 시장과 제품에 맞춰 건전한 사전 규제가 업계와 대중 모두에게 상당한 이익을 창출할 수 있는 이유를 설명하는 일련의 교훈으로 가장 유익한 사례라고 할 수 있다’고 소개한다. 

그렇다고 AI를 위한 FDA 같은 걸 만들자는 얘기는 아니다. 오히려 FDA가 어떻게 미국의 제약 산업을 뱀기름 판매원(또 뱀기름이 나온다)과 돌팔이 의사의 영역에서 전 세계 사람이 미국으로 가서 약을 구할 만큼 엄격한 테스트를 거친 생명을 구하는 의약품을 생산하는 시장으로 변화했는지 AI 규제 영역에서 가장 중요한 통찰을 배우자는 얘기이다.

FDA 스타일의 개입은 AI 공급망의 특정 부분에 다른 부분보다 더 적합할 수 있으며, 제품 안전뿐만 아니라 정보 생산을 위한 규제 설계를 최적화하는 데 있어 강력한 교훈을 제공한다는 것이다. 이는 시장 참여자에 대한 명확성이 부족하고 AI 개발 및 배포를 둘러싼 구조적 불투명성을 고려할 때 AI에 절실히 필요한 부분이라는 것이 중요 포인트이다.

AI로 인한 잠재적 피해는 항상 존재하기 때문에 규제는 그 혜택이 피해보다 더 큰지 여부를 고려해야 하지만 이를 파악하기 위해서는 현재 AI 기술이 제공하는 구체적인 혜택에 대한 명확한 증거가 필요하다는 입장이다.

특히 시판 전 승인은 잠재적으로 가장 강력한 규제 개입 단계로, 규제 권한과 기업의 규제 준수 인센티브 간의 조화가 이루어질 방안이라고 보고서는 얘기한다. 또한 제품이 출시된 이후 다운스트림 규정 준수를 보장하는 것이 과제이며, 아직 AI에는 어려운 점이지만 AI 시스템의 특정 구성 요소에 관한 출처를 명확하게 식별하기 어렵기 때문에 더욱 까다로운 문제이기도 하다. 사후 인과관계 입증이 쉽지 않다는 것 역시 아직 어려운 문제이고 앞으로 규제를 만들기 위해서 해결해야 하는 과제이다. 

보고서는 또 시장 자체를 구성하는 요소와 AI 제품 판매 과정 투명성을 높이는 것이 AI 거버넌스에서 중요하며, 현재 ‘AI 시장’을 구성하는 요소가 구체적이지 않고 불투명한 점을 해소해야 함을 지적한다. 결국 더 명확하고 투명한 거버넌스와 전체 시장에서의 프로세스를 관리하고 FDA 스타일의 문서화와 모니터링이 강화되어야 함을 지적한다. 

현재 AI 기업이 제출하거나 검증받기 위해 제시하는 기술 문서나 모델 카드 정도로 이런 수준의 프로세스가 정립되기는 어려울 것이고 성능 평가부터 더 객관적이고 과학적으로 해야 한다. 그런 측면에서 요수아 벤지오 교수가 참여하는 영국 ARIA의 ‘안전보호된 AI’ 과제와 같이 안전 문제에 관해서는 좀 더 과학적 접근이 필요하다고 생각한다. 영국이나 미국의 AI 안전 연구소가 AI 안전의 문제에 대한 과학 연구가 더욱더 필요하다고 얘기하는 것은 아주 바람직한 방향이라고 본다.