로봇이 인간 가치를 학습하기 위한 조건

[box type=”note”]슬로우뉴스는 NCSOFT와 함께 2016년 연중기획으로 디지털 기술이 우리 사회에 초래한 변화를 점검하고, 그 미래를 전망하는 ‘미래 읽기’를 연재한다. (편집자)

인공지능 윤리 

1. 왜 지금 인공지능 윤리를 논의해야 하는가?
2. 인공지능 윤리는 왜 어려운가?
3. 인공지능 윤리 기준을 위한 활동들
4. → 로봇이 인간 가치를 학습하기 위한 조건
5. 마지막 빨간 버튼: 인공지능 윤리 연구의 과제 

[/box]

인공지능의 윤리적 소프트웨어를 구현하기 위해 어떤 노력이 있었는가?

과거 연구들

웬델 월러치(Wendell Wallach)와 콜린 알렌(ColinAllen)은 [왜 로봇의 도덕인가][footnote]메디치미디어, 2014; 원제: Moral Machines: Teaching Robots Right from Wrong, 2009[/footnote]에서 공학 윤리, 인공 도덕 행위자 (AMA)에 관한 많은 논의와 접근 방법을 소개한 바 있다.

논리, 사례, 다중 행위자

전통적으로 소프트웨어 개발자는 논리 기반 접근, 사례 기반 접근, 다중 행위자 접근 등을 통해 연구해 왔으며, 주로 의사 결정 지원 시스템에서 구현한 사례들이다.

논리 기반은 하향식 접근으로 규범 논리를 통해 행위자가 무엇을 해야 할지에 관해 추론하도록 허용한다. 코네티컷 대학의 수전 앤더슨과 하트포드 대학의 마이클 앤더슨의 메드에스엑스(MedEthEx)가 그 사례다.[footnote]M. Anderson, S. Anderson, C. Armen, “MedEthEx: A Prototype Medical Ethics Advisor,” IAAI 2006, AAAI 2006. [/footnote] 메드에드엑스는 헬스케어 종사자가 윤리적 딜레마에 직면했을 때 가이드를 제공하는 윤리 조언자로 개발했다.

이 시스템은 개념 증명 수준의 개발이었으며, 생의학 윤리에서의 의무와 원리에 기반을 둔다. 자율성 존중, 해악 금지, 자선원리 그리고 정의 원리를 명백한 의무로 제시한다. 그러나 의무가 상충할 때 의료 윤리 전문가가 구체적 사례에 대해 내놓은 판단으로부터 일관된 논리 집합을 추론한다. 사례를 통해 훈련하는데, 전문가가 다양한 의무를 어떻게 비교 평가하는지 추론하고 이를 통해 선택 사항 중 하나를 선택한다.

90년대와 2천년 대 초에는 카네기 멜론의 부르스 맥라렌은 트루스-텔러와 시로코(SIROCCO)를 통해 사례 기반 추론 기반의 윤리 추론 모델을 제시했다. 2005년 그의 논문 [윤리 추론을 두 가지 계산 모델을 통한 기계 윤리에서의 교훈]에서 이 두 가지 시스템을 구현하면서 얻은 한계와 어려움을 얘기하고 있다.[footnote]McLaren, B.M. (2005). Lessons in machine ethics from the perspective of two computational models of ethical reasoning; Presented at the AAAI Fall 2005 Symposium, Washington, D. C. In Papers from the AAAI Fall Symposium, Technical Report FS-05-06. (pp. 70-77). [/footnote]

트루스-텔러는 사용자가 중요한 유사성과 차이를 각 사례에서 인식하는 것을 도와주는 데 유용하다. 그래서 두드러진 유사성과 차이를 설명하는 것에 초점이 맞춰져 있다. 그 반면 시로코는 사례를 비교하지만, 오히려 새로운 윤리 딜레마를 평가하는데 고려해야 하는 다양한 정보, 원리, 사례, 추가 정보를 모으는데 더 유용하다.

트루스-텔러는 행위자가 진실을 말하는 이유와 그렇지 않은 이유(논증 계층구조), 관련 행위자 간의 직업적 및 개인적 관계를 표현하는 관계 계층 구조를 이용한다. 두 사례를 비교하는 것은 각각의 이유 그리고 둘 사이의 관계를 비교하는 일이 되는데 이를 전통적인 기계 추론 방식을 사용해 구현했다.

시로코는 윤리적 행동을 이전 사례를 바탕으로 이끌어내려고 시도했고 전통적인 공학 전문적 윤리 코드에 바탕을 두었다. NPSE라는 전문 공학자 조직의 공학 윤리에 기반하면서 500건 이상의 사례 데이터베이스를 활용했다. 시로코의 목적은 분석하고자 하는 새로운 사례가 주어지면, NPSE 리뷰 위원회 회원 같은 인간 논증자에게 기본적인 정보를 제공하기 위한 것으로 의사결정 지원 시스템이다.

맥라렌이 이 두 가지 시스템 연구에서 얻은 교훈 중 가장 중요한 것은 윤리 추론이 더 구조적이고 정형화된 영역에서 추론보다 근본적으로 다른 특성을 가진다는 점이다. 윤리 추론은 원리 형식의 추상적 수준에서만 가능하다는 것이 그 한계이다.

조건, 전제, 논리절 등이 정확하지도 않고, 특정한 사실의 광범위한 영역을 다루지도 못하며, 해석에 매우 의존하고, 서로 다른 상황에서는 다른 의미가 있기도 하다는 점이다. 이에 따라 그는 인류가 윤리 결정을 기계에게 넘기는 것은 매우 불확실하다는 결론을 제시한다.

윤리의 사회적 속성 

[인공 도덕: 가상 게임을 위한 도덕적 로봇]이라는 책[footnote]Peter Danielson. Artificial Morality: Virtuous Robots for Virtual Games, Routledge, Sept. 1992.[/footnote]을 낸 브리티시 컬럼비아 대학의 피터 다니엘슨은 인공 생명체 시뮬레이션을 ‘도덕적 생태계’라고 부르며, 인공 생명체들이 협력하거나 변절하고, 일부는 경쟁자들의 이전 행동에 관한 정보를 저장했다가 이를 이용해 다양한 조건적 협력 전략을 실행할 수 있게 했다. 이는 윤리의 사회적 속성에 대한 접근을 시도한 시뮬레이션으로 생각할 수 있다.

다중 행위자는 앞으로도 우리가 깊이 있게 살펴볼 주제인데 델프트 대학의 빈센트 비겔은 2007년 박사 연구로 소포랩(Sopholab)이라는 시스템을 개발했다. 실험적 계산 철학이라고 설명한 시스템을 통해 다중 행위자들이 상황에 따라 달라질 수 있는 복수의 의도를 가지고 행동하는 것을 시뮬레이션했다. 비겔은 최근에는 웹 사이언스에서 가치와 윤리 측면의 중요성에 대한 연구 결과를 발표하고 있다.

월러치는 그의 책에서 멤피스 대학의 스탠 프랭클린과 함께 개발한 ‘학습형 지능적 분산 행위자 (LIDA)’를 깊이 있게 소개하는데, LIDA는 인지에 관한 개념적, 컴퓨팅적 모델로 컴퓨터 과학자 및 신경 과학자들과 협력해 개발했다고 주장한다. 그러나 이는 통합적 모델을 제시한 수준에 머물러 있다.

최신 연구와 모델

2016년 아리조나 피닉스에서 열린 미국 인공지능 학회에서는 인공 지능 윤리를 주제로 한 워크숍이 열렸다. 이 중 흥미로운 논문이 두 개가 있다. 하나는 미시간 대학의 벤자민 키퍼스가 발표한 [로봇을 위한 인간 같은 도덕과 윤리]라는 논문이다.[footnote]Benjamin Kuipers. 2016. Human-like Morality and Ethics for Robots. In Proceedings of the 2nd International Workshop on AI, Ethics and Society. [/footnote]

키퍼스의 연구, 헤이트의 ‘사회적 직관주의 모델’에 기반 

키퍼스는 자율적 행동을 할 수준의 로봇의 도덕과 윤리를 위한 아키텍처의 아웃라인을 제시하는데, 이는 인지 과학의 연구를 많이 받아들인 내용이다. 그는 공리주의적 접근은 결국 공유지의 비극이나 죄수의 딜레마 같은 나쁜 결과를 산출할 수 있는 한계가 있음을 주장한다.

그는 인간이 가지는 도덕적 판단 모형은 빠르고, 무의식적이면 직관적 대응이 도덕적 판단을 주도하며 그다음에 더 느린 숙의적 추론이 이를 정당화하는 과정이라는 조나단 헤이트의 ‘사회적 직관주의 모델’에 기반을 둔다.[footnote]Haidt, J. 2012. The Righteous Mind: Why Good People are Divided by Politics and Religion. New York: Vintage Book.[/footnote]

헤이트의 모델에는 빠른 직관적 도덕 반응으로 6개 기반이 있다.

1. 배려/피해
2. 공정성/부정
3. 충성심/배신
4. 권위/전복
5. 고귀함/추함
6. 자유/압제

각각의 기반은 현재 상황에 의해 나타나는 특정한 적응 도전에 대한 반응을 제공하도록 진화한 모듈이다. 각 기반은 특징적 감정 및 관련 미덕과 연계가 되어 있다.

또한, 도덕 학습과 개발은 몇 년 또는 몇십 년에 걸쳐 일어나며 사회의 도덕적 진화는 몇십 년 또는 몇 백 년에 걸쳐서 일어나기 때문에 긴 시간의 경험의 축적을 허용하는 다층의 아키텍처가 필요하다.

축적 결과는 현재 상황에 빠르게 반응할 수 있는 패턴 지향적 규칙으로 축적되어야 한다고 말하며, 이 규칙을 촉발하는 패턴과 관찰하는 상황이 부합될 때 규칙이 대응할 수 있다고 주장한다. 또한, 규칙의 내용과 형태 역시 중요하다.

어떤 사회적 문제가 도덕적 결정으로 이루어지고 이에 대한 정당성을 부여하기 위해서는 더 큰 커뮤니티에 ‘신호’가 보내져야 하고, 이 신호를 다양한 의사 결정자와 판단으로 소통하고 커뮤니티가 어떤 특정인에 관해 판단한다.

세 가지 선결과제 

이런 특성을 로봇에게 실용적 가치로 적용하려면 몇 가지 고려할 이슈가 있다.

첫째, 행동 규칙이다. 도로에서 한쪽으로 운전하거나, 사거리에서 정지 후 순서대로 운전하기 위해서는 모든 자동차는 규칙 내에서 협력의 신호를 보낸다.

두 번째는 대응 규칙이다. 6 개의 도덕 기반은 근본적으로 규칙인데, 현재 상황이 패턴에 부합하면 작동한다. 작동함은 즉각적인 감정 대응으로 이것이 상황에 대한 도덕적 평가로 해석된다. 부합 수준은 강화 학습을 위한 보상 신호로 사용할 수 있다.

세 번째는 시각 패턴 인식으로 사실 이 부분은 로봇에게 중요한 도전이다. 하나의 이미지를 보고 그 상황이 어떤 시나리오를 말하는 것인지 로봇이 이해하는 것은 매우 어렵다.

아래 그림에서 인간은 학교에서 괴롭힘이라는 것을 대부분 인식하지만, 로봇에게 이 장면이 ‘배려/피해’ 중 어느 상황에 해당하는 것인지 아직 판단할 수준의 기술이 없다.

네 번째는 신호 보내기이다. 행위자는 다른 행위자에게 기꺼이 협력할 것인지 아닌지를 알려줄 수 있어야 한다.

키퍼스는 이 논문을 통해, 로봇과 다른 인공 지능에게 적합한 도덕과 윤리 아키텍처는 다음과 같은 기능을 담고 있어야 한다고 주장한다.

• 빠르게 반응하는 패턴 매칭형 규칙
• 숙의적 추론 프로세스
• 사회적 신호 프로세스
• 긴 시간을 통해 이루어지는 사회적 과정

‘키오테’ 이야기를 이용한 가치 학습 

내가 흥미롭게 본 또 다른 논문은 조지아 공대 인터랙티브 컴퓨팅 학부 소속 마크 리들과 브렌트 해리슨이 발표한 [이야기를 이용해 인공 행위자에게 인간 가치를 가르치기]라는 논문이다.[footnote]Mark Riedl and Brent Harrison. 2016. Using Stories to Teach Human Values to Artificial Agents. In Proceedings of the 2nd International Workshop on AI, Ethics and Society. [/footnote]

미국 방위고등계획연구국(DARPA)와 해군 연구국의 지원으로 받은 연구로 여러 미디어에서 흥미롭게 다룬 연구이다. 키오테(Quixote)라고 부르는 이 시스템은 로봇이나 인공 행위자(에이전트)가 이야기를 읽고, 각 사건의 바람직한 결과를 학습해, 인간 사회에서 성공적인 행동을 이해하도록 훈련하는 시스템이다.

이들 연구는 ‘가치 정렬’이라는 특성을 가지면서, 지능 에이전트가 인간에게 유용한 목적 만을 추구하게 할 수 있게 하자는 연구 방향과 관련이 높다. 기계 지능 연구소의 네이트 소아레스[footnote]Soares, N. 2015. The value learning problem. Technical Report 2015-4, Machine Intelligence Research Institute.[/footnote]나 생명 미래 연구소의 스튜어트 러셀[footnote]Russell, S.; Dewey, D.; and Tegmark, M. 2015. Research priorities for robust and beneficial artificial intelligence. Technical report, Future of Life Institute.[/footnote] 등이 연구해온 방향이다.

그러나 무엇이 ‘좋음’이고 ‘나쁨’인지를 정의한다는 것은 개인마다 다르고 문화마다 달라서 이를 성취하는 것은 간단하지 않다. 우리는 아시모프의 규칙에서 이미 이를 살펴보았다.

인간 프로그래머가 가치를 쉽게 나열할 수 없다면 배우도록 하자는 것이 리들과 해리슨이 제시하는 방향이다. 이런 모형은 소위 상향식으로 윤리를 구현하자는 방식 중 하나이며, 아이들의 발달심리학적 접근 방식이라고 생각할 수 있다.

엔터테인먼트 지능 랩의 소장이며 부교수인 마크 리들은 이렇게 주장한다:

“서로 다른 문화의 수집된 이야기는 동화, 소설, 또 다른 문학 작품에서 정당한 행위와 부당한 행위의 사례를 알려줌으로써, 아이들이 사회적으로 받아들일 수 있는 방식으로 행동하는 법을 가르친다.”

이런 이야기는 글로 쓰인 것도 많지만, 텔레비전 프로그램이나 영화를 통해서도 제공할 수 있다. 원래 목적과 상관없이 이야기는 이를 생성하는 문화와 사회를 반영하게 된다. 여기에는 사회 문화적 지식, 공통으로 공유하는 지식, 사회적 규약, 정당하거나 정당하지 않은 행동, 역경을 헤쳐나가는 전략 등이 담겨있다.

가치 학습, 강화 학습, 그리고 서사 지능 

그러나 아직 현재의 인공지능이 스토리 이해를 완전히 해서 가치 정렬을 할 수 있는 단계가 아니라서, 이들의 연구는 예비적 단계에 불과하다. 이를 위해 가치 학습의 가능성, 행위자의 행동을 제어하기 위한 강화 학습 사용, 내러티브에 대한 계산적 추론 (서사 지능)에 대한 논의를 제시하고 있다.

가치 학습은 지능 개체를 시작부터 내재화하지 못한다면 인간 행동을 관찰하고 이를 통해 학습하자는 것인데, 사람들의 선호를 관찰로 추론한다는 것은 쉬운 일이 아니다. 따라서 앞에서 얘기한 대로 이를 이야기를 통해서 주인공이나 여러 캐릭터가 갖는 특질과 미덕을 배우도록 하자는 것이다.

강화학습은 행동에 따른 보상을 통해 학습의 문제를 푸는 것으로 행위자가 장기적으로 기대 보상을 최대로 얻을 수 있는 최상의 정책을 얻는 것이다. 이미 알파고에서 사용되어 우리에게도 알려진 학습 방식이며 문제 해결과 추계적(Stochastic) 환경에서 장기적 행동을 정하는 데에는 효과적인 방법으로 인정 받는다.

그러나 여기에서는 역강화학습(IRL: Inverse reinforcement learning)을 도입한다. 역강화학습은 어떤 환경에서 다른 행위자(주로 인간)의 행동을 관찰함으로써 보상 함수를 재구성한다. 이는 다른 행위자가 믿을 수 있는 최상의 정책을 사용한다는 가정을 갖는다. IRL은 스튜어트 러셀 등에 의해 가치 학습의 잠재 수단으로 제안되어 왔으며[footnote]Russell, S.; Dewey, D.; and Tegmark, M. 2015. Research priorities for robust and beneficial artificial intelligence. Technical report, Future of Life Institute.[/footnote], 이야기를 통해 가치를 학습하는 것이 IRL에서 말하는 방식과 개념적으로 유사하기 때문이다. 그러나 여기에서도 이야기에 나오는 대화를 완전히 이해해야 한다는 문제는 남아 있다.

서사 지능은 이야기를 만들고, 얘기하고, 이해하는 능력이다. 이는 인간이 가진 독특한 능력 중 하나이다. 이미 70년대 부터 이에 대한 연구는 진행되어 왔다. 리들이 그 전에 연구한 세헤라자드가 자동화한 스토리 생성기였다.

저자들은 세헤라자드를 강화 학습과 결합한 모델의 학습이 가치 정렬의 초기 유형을 만들어 낼 수 있음을 설명한다. 그러나 서사로부터 사회문화적 가치를 추출하고 가치 정렬된 보상 신호를 어떻게 구축할 것인 가는 아직 오픈 연구 과제이다.

두 저자는 약국에서 약을 얻을 때 훔치는 것과 줄 서서 기다리고 정중하게 돈을 내고 사는 것을 비교해 후자가 더 많은 보상을 받을 수 있다는 ‘약국 세상’ 모형에서 제한된 실험 결과를 보이지만, 이 방식이 더욱 더 넓고 일반적으로 확대될 수 있을 것으로 본다.

이를 위해 서사 콘텐츠를 크라우드소싱으로 구축하고 그 내용으로 학습할 수 있을 것이라는 기대를 보인다. 그러나 가치 정렬도 인간에게 모든 해악을 방지할 수는 없다. 그러나 문화와 사회에 암묵적 가치에 적응한 인공 지능은 적어도 사이코 같은 외견은 피할 수 있을 것이다.

지금까지 살펴 본대로 아직 인공 지능 윤리를 어떻게 구현했다던가 아니면 실제적이며 구체적인 연구 결과를 보기는 어렵다. 대부분 연구는 매우 작은 문제 안에서 접근했거나, 개념적 수준에 머물고 있다. 그렇지만, 이제 윤리 구현에 대한 많은 논의가 이루어지고 있기 때문에, 3~5년 안에 흥미로운 연구 결과가 나올 수 있을 것으로 생각한다. 그렇지만 그 결과는 아주 제한된 영역일 것이다.

[divide style=”2″]