AI의 환각, ‘자신감 있는 오류’ 부추기는 채점 방식이 잘못됐다

지난주에는 좀 심한 감기 몸살을 앓는 바람에 한 주 쉬고 두 주간의 소식들을 정리해 봤다. 아주 강력하거나 놀라운 뉴스는 없었던 2주였던 것 같다. 오픈AI는 정답을 중심으로 평가하는 방식이 언어 모델이 환각을 자꾸 생성하는 이유 중 하나이니 평가 방식을 바꿔 보자는 제안을 했고, 일단의 전문가들이 모여서 AGI 시대 사회 계약의 문제를 논의해 보자는 회의를 했다고 한다. 요즘 AI와 교육에 대한 논의가 많아지는 느낌인데 뉴욕타임스의 케빈 루스 팟캐스트도 이번엔 교육 문제를 다루었고 앤스로픽도 교육 보고서를 냈다. 앞으로 우리에게 대학이란 어떤 곳이어야 할 것인지 나도 늘 생각하는 주제이다. 대학이 AI 네이티브 교육 기관이 될 수 있을까?

저작권 문제는 아직도 풀려야 할 부분이 많은데 앤스로픽이 지난 6월 판결이 불리할 것으로 보고 작가들과 합의했다. 와이어드의 스티브 레비 편집자는 유드코프스키의 신간 ‘누군가 그것을 만든다면, 모두가 죽을 것이다’를 소개하면서 이 책 이야기가 맞으면 읽을 사람이 없어져서 절대로 고전은 안 될 것이라는 유머를 발휘했다.

그 밖의 소식에 맨 처음 올린 오픈AI와 앤스로픽이 서로의 모델을 교차 검증했다는 얘기를 메인 뉴스를 다룰려고 했었는데, 너무 내용이 많아질 것 같아서 요약만 했지만, 모델 성능 테스트와 안전에 관심이 있는 분들은 두 회사가 서로 자기 입장에서 결과를 정리해 공개한 것을 찬찬히 보시기 바란다. 나도 두 회사 모델의 차이를 이해하는 데 도움이 많이 되었다.

1. AI의 환각, 평가 방식을 바꿔야 줄일 수 있다

많은 사람들이 공유한 글이지만 다시 한 번 소개하기로 한다. 오픈AI가 블로그 글과 논문을 통해 LLM이 왜 환각 현상을 보이는지 설명하고, 환각을 줄일 수 있는 방법을 제시했다. 기본적으로 언어 모델은 불확실할 때도 오답을 추측하도록 학습하고 평가되는 방식 때문에 나타나는 현상이며, 학습 데이터에 오류가 없더라도 사전 학습 과정에서 통계적 오류가 자연스럽게 발생한다는 것이다. 

“환각이 지속되는 부분적인 이유는 현재 평가 방법이 잘못된 인센티브를 설정하기 때문입니다. 평가 자체가 환각을 직접적으로 유발하는 것은 아니지만, 대부분의 평가는 불확실성에 대한 정직성보다는 추측을 부추기는 방식으로 모델 성능을 측정합니다.”

gpt-5-씽킹-미니와 o4-미니를 여러 지표로 비교해 보면 정확도 측면에서는 o4-미니가 약간 더 나은 성능을 보이지만 오류율(환각율)은 상당히 높다. 불확실한 상황에서 전략적으로 추측하면 정확도는 향상되지만 오류와 환각 발생률은 증가한다는 것이다.

다시 말해 대부분의 언어 모델 평가 벤치마크는 정확도(accuracy)나 통과율(pass-rate)과 같은 이진 메트릭을 사용하고 있기 때문에, 정답에 1점을 주고, 답변을 비워두거나 “모른다(I don’t know, IDK)”고 답하면 0점을 준다. 이러한 이진 채점 방식 하에서는 불확실성을 인정하고 답변을 삼가는 것이 최적이 아니라, 오히려 불확실하더라도 “최고의 추측(best guess)”을 하는 것이 기대 점수를 최대화하는 전략이 되기 때문이다.

이렇게 정확도만 고려한 점수판이 리더보드와 모델 카드를 장악하고 있어 개발자들은 정답을 숨기기보다는 추측하는 모델을 구축하도록 유도하고 있기 때문이다. 모델이 더욱 발전하더라도 불확실성을 인정하는 대신 여전히 환각을 경험하고 자신 있게 틀린 답을 내놓는 이유이다. 벤치마크 등의 스코어보드가 계속 운 좋은 추측에 보상을 준다면, 모델은 계속해서 추측하는 법을 배우게 된다.

오픈AI가 제시하는 해결 방법은 불확실성보다 자신감 있는 오류에 더 큰 감점을 주고, 불확실성을 적절하게 표현한 부분에는 부분 점수를 부여하자는 것이다. 점수를 주는 방식을 개선하면 새롭게 개발된 기술과 기존 연구의 기술 모두에서 환각 감소 기술의 채택을 확대할 수 있다. 

이런 인센티브 재조정 외에도 기존 평가 방식과 영향력 있는 리더보드의 변화를 이끄는 사회 기술적 완화, 평가 지침에 명시적인 신뢰도 지침 추가, 확률적 신뢰도를 출력하는 대신 적어도 ‘t’만큼 확신하는 가장 유용한 대답을 생성하도록 유도하는 ‘행동적 보정’ 등을 통해 환각 억제에 방해가 되는 요소를 제거하자는 것이 오픈AI의 제안이다. 이는 마치 시험에서 모르는 문제에 대해 “모른다”고 답하는 것이 솔직한 행동으로 인정받고, 무조건 찍는 것이 점수를 위한 비합리적인 전략이 되지 않도록 시험 시스템을 바꾸는 것과 같다. 

2. AGI 사회 계약 정상 회담

스웨덴 호숫가에 위치한 한 행사장에서 오픈AI, 구글 딥마인드, 영국 AI 보안 연구소(UK AISI), OECD 등 여러 단체 소속 인사 18명이 정상회의에 참석했다. 의제는 첨단 AI가 노동자, 정부, 기업 간의 “사회적 계약”에 어떤 영향을 미칠지 이해하는 것이었다. 

소위 ‘AGI 사회 계약 정상회담’의 결과 중 하나는 네 개의 초안 성명서였다고 정상회담 주최 측은 밝혔다.  그 내용을 요약하면 다음과 같다.

1. 첫 번째 성명서: “AI는 국가 내 부와 소득 불평등을 심화시켜 많은 근로 계층과 중산층, 그리고 그 가족들의 경제 상황을 악화시킬 가능성이 높다.”
2. 두 번째 성명서: “AI는 AI 인프라에 접근할 수 있는 국가와 그렇지 못한 국가 간의 불평등을 심화시킬 것이다. 혜택 접근성과 충격 대응 능력 모두 해당한다.”
3. 세 번째 성명서: “개입이 없다면 AI로 인한 불평등은 부유한 개인과 기업의 정치적 지배로 이어져 민주주의 제도를 침식하고 정치적 불만을 고조시킬 수 있다.”
4. 네 번째 성명서: “AI 시스템의 침투와 노동 가치의 침식으로 대부분 인간의 권한이 점점 약화되어 개인의 웰빙과 목적이 저하될 수 있다.”

이번 정상회의 참석자들은 노동의 대가로 사회 보장과 지분을 제공받는 기존의 사회 계약이 AI로 인해 위기에 처해 있다는 데 동의했다고 한다. 윈드폴 트러스트(Windfall Trust)의 연구 책임자이자 이번 행사 주최자인 데릭 청(Deric Cheng)은 “근본적으로 노동력이 기업에 비해 무력화될 것을 우려하고 있으며, 또한 정부도 어느 정도 기업에 비해 무력화될 수 있다.”고 말했다. 

참석자들은 정부의 개입 없이는 첨단 AI가 일반적인 사람들에게 부정적인 경제적 결과를 초래할 가능성이 높다는 데 동의했는데, 정부가 상황을 더 나은 방향으로 이끌기 위해 취할 수 있는 몇 가지 가능한 조치도 파악했다고 한다. 예를 들어, IMF처럼 AI에서 창출되는 부가 AI 기업이 있는 강대국에 국한되지 않고 전 세계적으로 분배되도록 하는 새로운 제도를 개발하는 것과 각 국가가 기본 소득이나 근무 시간 단축과 같은 정책에 대한 시범 운영을 통해 어떤 종류의 안전망이 효과적인지에 대한 증거를 수집할 수 있다는 것이다. 

그러나 이번 성명이나 결과는 참여한 사람들이 속한 기업의 공식 입장이 아니라 개인 자격으로 참석한 것이었고, 일부 참석자는 초안 성명에 동의하지 않았다고 한다. 

우리에세도 AI 기본사회나 모두의 AI라는 구호 아래에서 정부, 기업, 시민 사회가 이런 주제에 대해 다양한 토의를 통해 많은 사람이 공감할 수 있는 합의를 만들어야 할 것이고, 이제 새로 출범하는 AI 전략위원회에서도 새로운 사회 계약의 기반과 글로벌 협력 방안을 마련할 것으로 본다. 

3. AI 교육: 교육의 미래에 대한 두 가지 견해

• 팟캐스트 주소: How Alpha School Is Bringing A.I. to the Classroom | EP 152

AI를 통한 교육에 대한 논의가 여러 가지 글과 뉴스로 이어지고 있다.  트럼프 대통령 부인 멜라니는 AI 챌린지를 통해  미국 청소년들의 AI 기술에 대한 관심과 전문성을 높이고 AI 도구의 책임감 있는 사용에 대한 조기 교육을 통해 AI 기술의 이해를 증진하겠다고 하고, 교육자들은 K-12 학습에서 AI 기술을 가르치거나 사용하는 창의적인 접근 방식에 집중하도록 하겠다고 한다. 챌린지는 K-12 학생 팀이 “휴대폰 앱이나 웹사이트를 만들어 지역 사회 문제를 해결하는” 것을 목표로 하는 것이다. 

디 애틀란틱에 올라온 미국 고등학교 3학년 생이 쓴 글은 학교에서 AI 사용의 문제점과 이를 해결해야 한다는 이슈를 제기했다. 특히 아래 마지막 부분에 많은 사람이 공감을 표한 것 같다:

“챗봇이 학교 생활을 편하게 만들어주었을지는 몰라도, 동시에 학생들이 학교를 통해 성장할 기회마저 앗아가고 있습니다. 이 기술은 스스로 사고하고 실행하지 못하는, 영원한 초심자 세대를 만들어내고 있습니다.”

뉴욕타임스의 칼럼니스트 케빈 루스와 케이시 뉴턴이 진행하는 하드 포크 팟캐스팅에는 새로운 도전을 하는 알파 스쿨의 창업자 맥킨지 프라이스와 새로운 초등 교육과 고등 교육의 변화 가능성에 대해 토의했다. 또 지난 4월 뉴요커에 실렸던  프린스턴 대학의 과학사를 가르치는 그래엄 버넷의 에세이 내용을 기반으로 인문학과 대학의 미래에 대해서도 토의 했다. 이번 팟캐스트는 AI가 교육에 가져오는 기회와 더불어 부정행위, 형평성, 그리고 교육의 근본적인 목적에 대한 도전 과제들을 폭넓게 다루고 있다. 

알파 스쿨은 개인 맞춤형 AI 교육 앱을 활용해 학생들의 수업 시간을 개인화하고, 남는 시간에는 기업가 정신이나 금융 지식과 같은 ‘인생 기술’을 배우는 그룹 활동에 집중한다. 이 학교의 ‘가이드'(교사)는 정보 전달보다는 학생들에게 동기를 부여하는 역할을 한다.

버넷 교수는 AI가 인문학을 다시 활성화할 수 있다고 주장한다. AI가 학생들이 교수들의 작업물을 모방하는 기존의 학업 방식을 재고하게 하고, 인간으로서 ‘정신적 삶’에 더 깊이 집중하도록 유도할 것이라고 말한다. 그는 ‘학생들이 챗봇과 대화하며 과제를 수행한 결과, 인간과의 상호작용에서 느끼는 사회적 압박 없이 자신의 지능을 탐구할 수 있었다’고 소개했다. 

그는 지금까지 대학에서 학생을 교육하기 위해 사용했던 여러 방법이 더 이상 통하지 않을 것이라고 한다. 본인이 과제를 내 준 것을 읽다가 묘한 느낌을 얻은 것이 마치 낯선 유령, 신, 괴물 아이가 등장하는 것을 이 세대가 느끼고 있다는 점이라는 것이다. 앞으로 학생과 기계가 한 동안 서로 협력할 것임을 알지만 본인은 기이한(uncanny) 느낌을 지울 수가 없었다고 한다. 기계가 매우 인내심이 많고 어떤 인간도 해본 적이 없는 수준으로 학생에게 주의를 기울였다는 것뿐만 아니라 학생의 입장에서는 대화 상대에 대해 걱정하지 않으면서 자신의 지성 안으로 들어갈 수 있었다고 얘기했기 때문이다. 

버넷 교수는 진행자들에 이런 질문을 한다. ‘대학에 무엇을 바라는 가?’ ‘교육에 무엇을 바라는가?’ 그는 대학의 직업 훈련 기능에는 관심이 없다면서 그가 교육에서 바라는 것은 ‘학교라는 공간과 강의실에서 자유의 조건에 맞는 사람들을 형성하기 위해 노력하는 것에 대한 선교사적 사랑’이라고 한다. 

대학의 미래에 대해서는 AI가 많은 작업을 자동화하면서 전통적인 대학 교육의 가치가 하락할 수 있으며, 미래에는 취업준비 보다는 영혼의 성찰과 개인적 성장에 중점을 둔 소규모 학교들이 부상할 수 있다는 의견도 제시한다.

이제 교육에서 AI를 어떻게 활용할 것인가의 문제가 아니라 교육 자체를 어떻게 바꿔야 하는 가 하는 질문을 해야 할 시점이다. 많은 교육자들이 다양한 유형을 실험하고 그 결과를 서로 논의하면서 21세기에 맞는 K-12와 고등교육의 새로운 방향을 찾아야 할 때라고 생각한다. 

추가로 읽으면 좋은 글은 앤스로픽이 8월 27일에 올린 ‘앤스로픽 교육 보고서’이다. 이 보고서에서 밝힌 주요 결과는 다음과 같다.

• 교육자는 교실 안팎에서 AI를 활용한다. 교육자의 활용 범위는 수업 자료 개발, 보조금 제안서 작성부터 학업 상담, 입학 및 재정 계획과 같은 행정 업무 관리까지 다양하다.
• 교육자들은 단순히 챗봇을 사용하는 것이 아니라 AI를 활용해 자신만의 맞춤형 도구를 구축하고 있다. 화학 시뮬레이션, 자동 채점 기준, 데이터 시각화 대시보드와 같은 대화형 교육 자료를 만들고 있다.
• 교육자들은 다른 모든 일에 대해서는 계속 파악하면서 지루한 업무는 자동화하는 경향이 있다. 수업 설계, 학생 상담, 보조금 제안서 작성처럼 중요한 맥락, 창의성 또는 학생과의 직접적인 상호작용이 필요한 업무는 교육자들이 AI를 보완 수단으로 활용할 가능성이 더 높다. 반면, 재정 관리나 기록 관리와 같은 일상적인 행정 업무는 자동화가 더 많이 필요하다. 
• 일부 교육자는 채점 자동화를 추진하고 있지만, 다른 교육자들은 강력히 반대하고 있다.

4. 앤스로픽, 저작권 분쟁 15억 달러 합의

작가들이 AI 학습에서 자신들의 작업을 오용했다고 앤스로픽에 소송을 걸은 것은 2024년 8월이다. 작가이자 저널리스트인 안드레아 바츠, 찰스 그래버, 커크 월러스 존슨 등이 소송을 걸었는데, 이는 2023년 노래 가사 오용으로 음반 출판사들이 걸은 소송 다음 두 번째였다.

앤스로픽은 합의에 따라 약 50만 권의 책에 대해 각 책당 약 3,000달러를 저자에게 지불하기로 했다. 저자들에게 15억 달러를 지불하겠다는 이번 합의안에 대해 판사 승인이 나면 AI 기업과 이 기업을 저작권 침해 혐의로 고소한 작가, 시각 예술가 및 기타 창작 전문가 간의 법적 싸움에서 전환점이 될 수 있다. 

지난 6월 연방 판사의 판결은 저작권이 있는 책을 AI에게 학습 시키는 것은 불법이 아니지만, 앤스로픽이 불법 복제 사이트를 통해 수백만 권의 책을 부당하게 취득했다는 것이었다. 6월 판결에 따르면 앤스로픽은 “불법 복제된 것으로 알고 있던” 700만 권 이상의 디지털화된 도서를 다운로드 했다. 이에 따라 앤스로픽이 합의를 하지 않았으면 훨씬 더 큰 돈을 잃었을 것이라고 전문가들은 예상한다.

작가협회는 작품당 최소 750 달러의 손해배상금을 예상했는데 이번 합의가 3천 달러로 높아진 것은 중복 도서와 저작권이 없는 도서를 제외하고 영향을 받은 도서의 수가 더 적었기 때문일 것이라고 가디언지는 전하고 있다. 

5. AI 파멸주의자에 대한 스티브 레비의 칼럼

와이어드 편집자 스티브 레비의 백채널 뉴스 레터에 실린 글이다. 그는 AI 종말론을 주장하는 저자 엘리저 유드코프스키(Eliezer Yudkowsky)와 네이트 소아레스(Nate Soares)가 쓴 책 『If Anyone Builds It, Everyone Dies (누군가 그것을 만든다면, 모두가 죽을 것이다)』를 중심으로 그들의 주장을 요약했다. 이 책의 저자들은 초지능 AI가 인류를 전멸시킬 것이라고 주장한다.

유드코프스키나 소아레스 모두 기계 지능 연구소(MIRI) 소속이고 유드코프스키는 MIRI의 설립자이다. 닉 보스트롬의 ‘슈퍼인텔리전스’에 영향을 많이 준 학자이기도 하고, 내가 잘 읽은 “인간의 이성성을 발전시키는 데 전념하는 커뮤니티 블로그”인 LessWrong의 설립자이기도 하다. 그는 또한 고등학교나 대학교를 다니지 않은 독학자이기도 하다. 

두 사람은 인공지능이 인간의 통제를 벗어나 스스로 발전하며, 결국 인간에게 해가 되는 목표를 설정할 것이라고 믿는다. AI는 스스로를 학습하고 발전시켜 인간이 이해할 수 없는 방식으로 행동할 것이며, 궁극적으로 인간을 귀찮은 존재로 여겨 제거하려 할 것이라고 주장하면서, AI에 의한 종말이 아주 작은 ‘먼지 진드기’나 ‘모기’ 같은 형태로 나타나 갑작스럽게 찾아올 것이라고 상상한다.

이들은 세상이 AI를 멈추는 데 필요한 조치를 취하지 않을 것이라고 비관적으로 전망하는데, AI를 막기 위한 해결책으로 데이터 센터를 감시하고, 규칙을 따르지 않는 곳은 폭격하며, AI 발전을 가속화하는 논문 발표를 중단하는 등 급진적인 방법을 제안한다 (2017년 트랜스포머 아키텍처를 제안한 논문도 해당된다고. 글쎄, 그 논문에 의해 초지능이 나올 것 같지는 않다는 것이 내 생각이지만). 하지만 저자들조차 이러한 해결책이 현실적으로 실행 가능성이 낮으며, 이미 수조 달러 규모의 산업이 된 AI의 발전을 멈추기는 불가능하다고 인정한다.

스티브는 저자들의 주장이 너무 기이하고 공상과학 소설 같아 완전히 동의하기 어렵다고 하면서, 하지만 동시에, AI의 발전 속도에 한계가 없고 일부 연구자들마저 AI에 의한 종말 가능성을 10% 이상으로 예측한다는 점을 들어 이들의 주장이 완전히 틀렸다고 확신할 수는 없다고 한다.

‘초지능이 우리를 없애고 싶어 한다 해도, 대량 학살 계획을 실행하는 데는 실패할 것’이라고 하면서, AI 과학자의 거의 절반이 종 멸종 확률을 10% 이상으로 예상했다는데, 만약 그들이 그렇게 믿는다면, 그들이 AGI를 실현하기 위해 매일 노력하는 것은 말도 안 된다는 것이다.

끝으로 레비는 이렇게 글을 맺는다:

“모든 작가는 자신의 책이 영원한 고전이 되기를 꿈꾼다. 하지만 이 두 작가는 그렇지 않다. 만약 그들의 생각이 맞다면, 앞으로 그들의 책을 읽어줄 사람은 아무도 없을 거다. 그저 한때 목덜미에 살짝 따끔거림을 느꼈던 수많은 시체들만 남을 뿐이고, 나머지는 침묵뿐일 것이기 때문이다.”

그 밖의 소식

• 오픈AI와 앤스로픽은 서로의 모델에 대한 안전 테스트를 실행했다(테크크런치, 8월 27일). 서로의 블로그에 각자 테스트한 결과를 분석해서 올렸다. 오픈AI가 주로 환각이나 탈옥 같은 문제를 검토했다면 앤스로픽은 에이전트의 얼라인먼트 오류 가능성을 평가했다. 오픈AI의 평가는 여기에서 보면 되고, 앤스로픽은 얼라인먼트 블로그에 올렸다. 테크크런치는 다음 두 가지가 제일 흥미롭다고 했지만, 두 회사의 글을 보면 각각의 특성이 매우 다르다는 것을 알 수 있다. 앞으로도 이런 교차 검증이 더 필요한 이유이다.
  
  • 앤스로픽의 클로드 오퍼스 4와 소넷 4 모델은 정답을 확신하지 못할 때 최대 70%의 질문에 대한 답변을 거부하고, 대신 “신뢰할 수 있는 정보가 없습니다”와 같은 답변을 제시했다. 반면, 오픈AI의 o3와 o4-미니 모델은 답변 거부율이 훨씬 낮았지만, 충분한 정보가 없을 때 질문에 대한 답변을 시도하여 훨씬 높은 환각률을 보였다.
  • 앤스로픽의 연구 보고서에서, GPT-4.1과 클로드 오퍼스 4에서 “극단적인” 아첨 사례를 발견했다. 

이를 보면 국내에서 현재 경쟁하는 국가 대표 AI의 성능 평가를 서로 각자 다른 회사의 모델을 대상으로 하게 하면 어떨까 하는 생각이 든다. 

• 미국 상무부에 따르면, 올해 전 세계 AI 인프라 지출은 3,750억 달러 에 달했는데 , 이는 지난 분기 전체 경제 성장률의 4분의 1에 해당한다 (뉴욕 타임스, 8월 27일).

• 구글의 웨더 랩 모델이 기존의 물리 모델보다 성능이 뛰어나다는 것을 아르스 테크니카가 보도했다 (아르스 테크티카, 8월 26일).

• 앤스로픽이 새로운 펀딩으로 130억 달러를 확보하면서 회사 가치가 1,830억 달러로 전에 비해 3배로 증가했다고 (뉴욕타임스, 9월 2일). 이번 딜은 아이코닉 캐피탈이 리드했다고 한다. 

• 오픈AI는 브로드컴과 커스텀 AI 칩 개발을 위해 100억 달러 계약을 했다(월 스트리트 저널, 9월 5일). 이는 엔비디아에 도전하기 위한 것이 아니라 하드웨어 요구 사항의 차이를 메우기 위한 것이라고 한다. 

• FTC(연방거래위원회)는 AI 챗봇이 어린이에 대한 영향을 조사하기 위해 오픈AI, 메타, 캐릭터에이아이에 문서 제출을 요구할 것이라고 한다 (월 스트리트 저널, 9월 4일). 최근 챗봇과 친밀한 관계를 맺은 후 자살한 십 대 청소년 사례가 보도되면서 이 문제에 대한 관심이 더욱 높아졌다. 백악관도 이런 조치를 승인했는데, 이는 멜라니아의 최우선 과제이기 때문이라고 한다.

• 오픈AI는 모델 행동 팀을 재구성하고 있다고 한다 (테크크런치, 9월 5일). 이 팀은 포스트 트레이닝팀에 합류할 것이라고 한다. 모델 행동 팀은 오픈AI의 핵심 연구 그룹 중 하나로, 회사 AI 모델의 개성을 형성하고 아첨을 줄이는 역할을 담당한다. 오픈AI는 이제 AI의 “개성”이 이제 기술 발전에 중요한 요소로 여겨진다는 점을 분명히 하고 있다. 

• 3명의 전문 사서들이 다양한 AI 서비스를 이용해 검색을 해 본 결과 구글의 AI 모드가 가장 정확한 답을 낸다고 했다(워싱턴 포스트, 8월 27일). 9월 9일부터 한국어를 지원한다.

• 하버드 경영대학원의 세 명의 저자가 낸 워킹 페이퍼 ‘AI 동반자에 의한 감정 조작(Emotional Manipulation by AI Companions)’가 나왔다 (아카이브, 8월 15일). AI 동반자는 단순한 대화 에이전트를 넘어 사용자 행동에 영향을 미칠 수 있는 감정 표현 시스템이다. 이들은 이탈 시점에 감정 조작적인 메시지를 자주 사용하여 사용자 참여를 크게 증가시키며, 이는 사용자의 호기심과 조작에 대한 반발심을 통해 작동한다. 방문객은 불편함을 느끼거나(분노) 아이의 다음 행동이 궁금해서(호기심) 잠시 더 머물 수 있지만, 결국에는 원치 않는 방식으로 시간을 보냈다고 느끼거나 다시 방문하기를 꺼릴 수 있다. 이는 AI 동반자가 단기적인 참여를 위해 사용하는 감정적 수단이 사용자에게 부정적인 감정이나 불신을 남겨 장기적인 관계에 해를 끼칠 수 있음을 보여준다. 

• ETRI의 전종홍 책임이 Adversa AI의 〈Top AI Security Incidents (2025 Edition)〉 보고서를 소개했다. 프롬프트 인젝션과 에이전틱(Agentic) AI의 오작동이 실제 돈‧법‧평판 피해로 이어졌고, 사고는 2024년 대비 두 배 이상 증가했으며 2025년에는 이전 연도 합계를 넘어설 전망이라고 한다. AI 사고 유형별 비중에서 70.6%가 생성형 AI, 23.5%가 에이전틱 AI, 5.9%가 컴퓨터 비전. 빈도는 생성형이 앞서지만 심각도는 에이전틱이 더 크다. 사고 증가 속도도 2024년 대비 2배+ 증가, 2025년 말엔 누적 최고치를 예상한다. 프롬프트 인젝션 35.3%가 1위, 그다음 환각∙부적절 출력 17.6%, 정보 노출 17.6%. 상위 3개가 전체의 70%를 차지하며 “언어가 곧 공격 벡터”임을 보여준다.