[box type=”note”]
얼마전 있었던 미국 대선에서, 주별 선거 결과를 정확하게 맞춘 족집게 예언이라며 한국에서도 화제가 되었던 매체가 바로 네이트 실버의 538블로그다. 하지만 그는 사실 ‘예언가’가 아니라, 단순히 개별 여론조사에 일희일비하거나 감에 의존하여 논평을 가득 세우기보다는, 다양한 여론조사 결과들을 그간 적중률 및 여러 변인들을 반영하여 체계적으로 통계 처리함으로써 한층 사실에 가까운 여론 동향을 추출하는 선거 예보 시스템을 개발하고는 매일 트렌드 분석 결과를 명료한 내러티브로 전달한 것이었다.
이번 한국의 대통령 선거에서는 아직 대다수 언론 보도가 단순히 각 여론조사회사가 내놓은 결과를 열거하는 것에 그치고 있지만, 일각에서는 여론조사 데이터의 메타 분석이라는 소중한 시도가 이뤄지고 있다. 가장 돋보인 사례 가운데 하나가 바로 한 연구 홈페이지에 공개되어 마지막 여론조사 공개일까지 지속적으로 업데이트된 ‘여론조사 결과를 이용한 지지도 추세분석’이었다. 이에 슬로우뉴스는, 해당 분석을 진행하신 박종희 교수와 서면 인터뷰를 나눠 보았다.
[/box]
Q1. 우선 독자들을 위해 간단한 자기소개 부탁드립니다.
안녕하세요. 저는 서울대학교 정치외교학부에 있는 박종희라고 합니다.
Q2. 통계에 대해 잘 모르는 평범한 사람들이 보기에 공개하신 자료가 어떤 의미인지 한눈에 파악하기 쉽지 않습니다. 사이트에도 설명이 있긴 하지만, 이 분석이 의미하는 바를 좀 더 쉽게 풀어주시면 고맙겠습니다.
현재 여러 개의 분석결과가 게시되어 있는데 가장 먼저 시작했고 가장 많이 보셨을 “양자대결 지지도 추세”만 간단히 설명해 드리겠습니다. 특정 날에 여러 개의 조사기관이 지지도를 발표했을 때 우리는 두 가지 의문을 가질 수 있습니다. 먼저 이 기관들 중 어디가 가장 정확한가? 둘째, 오늘을 기준으로 앞으로 여론의 흐름은 어떻게 전개될 것인가? 제가 사용한 모형은 먼저 첫 번째 질문에 답하기 위해 표본크기를 고려한 평균을 구하면서 동시에 두 번째 질문에 답하기 위해 여론의 흐름이 부드러운 연속성을 가지고 있다고 봅니다. 이 두 가지 보정을 통해 복수 여론조사 기관들의 계속되는 조사결과를 관통하는 하나의 추세를 찾는 것이 제 분석의 목적입니다.
Q3. 연구 과정 일반을 대중에게 공개하는 것은 순수 학계 쪽 관행과 다른 신선한 시도입니다. 그런 시도의 계기가 궁금합니다.
그렇지 않습니다. 제가 얼마 전까지 있었던 미국에서는 학자들이 블로그와 자신들의 웹사이트를 통해 연구결과를 일반에게 투명하게 공개하고 또 토론하고 하는 문화가 이미 자리 잡았습니다. 금융위기와 대통령선거를 거치며 가장 중요한 논쟁이 학자들의 블로그와 웹사이트를 통해서 전개된 바 있습니다. 이런 이유로 몇몇 학자들의 블로그는 주요 신문사와 공식 연계되어 있기도 하죠. 저는 이런 시도가 학자들이 자신들의 연구시간을 크게 뺏기지 않으면서도 사회참여를 할 수 있는 좋은 방법이라고 생각합니다.
Q4. 현재 사용하고 계신 여론조사 데이터에 대해 가지는 불만의 내용은 어떤 것인지 궁금합니다.
가장 큰 불만은 투명성입니다. 여론조사는 (선거가 임박한 시점이 아니고서는) 그 참된 값을 알 수 없는 것이기 때문에 여론조사 결과에 대한 신뢰는 그 조사과정에 대한 믿음을 통해서만 확보될 수 있습니다. 따라서 결과에 대한 신뢰를 위해서는 투명성이 생명입니다. 설문원안, 설문방법, 표본의 설정방법과 그 근거, 가중치 부여 방식, 조사시간 및 조사 인원, 조사 프로토콜 (예를 들어 응답거부의 경우 몇 번이나 재시도하는지 등) 등을 투명하게 공개해야 합니다. 일반 대중에게 공개하는 것이 힘들면 적어도 연구자들에게라도 공개해야 합니다. 제가 기본적인 질문을 담은 설문조사를 시도해 봤는데 17개 여론조사 기관 중 단 두 곳만이 답해 왔습니다. 이러한 정보가 투명하지 않은 상황에서 발표되는 표준오차란 사실 큰 의미가 없습니다. 표준오차란 조사에 응하지 않은 사람들이 응한 사람들과 투표성향에서 큰 차이가 없다는 가정에서만 의미가 있습니다.
Q5. 편향 통제에 있어서, 베이지언 위계모델의 장점은 무엇입니까. 마르코프 체인으로 시뮬레이션 2만 번 돌리는 것의 의미는 또 무엇인지요. (링크해주신 참조논문을 이해할 만한 통계학적 지식이 부족한) 일반인들도 이해하기 쉽게 설명해 주시면 감사하겠습니다.
앞에서 이미 간략히 설명드렸듯이 편향통제는 표본 크기를 고려한 평균을 구한 뒤, 이를 시계열적으로 부드럽게 필터링(filtering)하는 것이라고 생각하면 됩니다. 예를 들어 여러분들이 찍은 사진의 노이즈를 포토샾을 이용해 제거하는 것처럼요. 베이지안 추정방법은 시뮬레이션을 이용하는데 2만번이란 시뮬레이션 회수입니다.
Q6. 요일별 편향등 어떤 기타 오염 요인들이 있을까요. 그 중 이미 반영하고 계신것들은요.
좋은 지적입니다. 표본에 잡히는 응답자들의 성향이 여론조사에서 예상하지 못한 요인에 의해 영향받을 수 있습니다. 말씀대로 휴일이 끼어있는 조사에는 젊은 층이 더 많이 반영될 수 있습니다. 요일별 편향은 발표일자와 조사기간 모두에서 나타날 수 있습니다. 현재 “양자대결 지지도”의 경우 사용되는 날짜가 조사의 발표일자이며 “다자대결 지지도”의 경우 조사기간이 사용됐습니다. 요일별 편향이외에도 시기별 요인 (추석 전후, 안후보 사퇴 직후) 도 응답자들의 응답결정에 체계적인 영향을 줄 수 있습니다. 현재는 조사기관의 편향이 조사방법(휴대전화 비율, 인터뷰 혹은 ARS)과 어떤 상관성이 있는지에 관심이 있습니다.
Q7. 한계 부분에 명시하셨지만, 응답률 문제는 어떻게 반영할 수 있을까요. 당장 미국과 달리 투표 적극층 한정 조사가 따로 있지 않은 상태라서 응답률에 따른 왜곡이 발생할 수 있을 것 같습니다.
맞습니다. 응답율도 문제지만 응답자들이 비응답자와 다른 경우 더 큰 문제입니다. 예를 들어 응답자가 비응답자와 다르지 않다면 10% 응답율을 문제라고 볼 수는 없습니다. 응답율이 50%여도 표본선택에 오류가 있다면 이는 문제입니다. 결국 위에서 얘기한 투명성이 없다면 응답율 발표자체도 큰 의미가 없습니다. 발표된 응답율이 최초 표본 선택에 기반한 것인지 아니면 회사 자체기준에 의해 조정된 것인지도 궁금합니다. 적극투표층을 고려하는 경우에도 “투표성향”을 직접 묻거나 지난 선거에서의 투표여부를 묻는 것에 그치는 경우가 많습니다.
Q8. 현재 박근혜 승률로 작업하고 계신데, 혹 아직 공개하지 않았으나 다른 데이터로도 비슷한 분석을 하고 계신지요? 예를 들어 문-안 단일화 국면당시의 둘 사이의 데이터라든지요.
박근혜 승률이 아니고 지지율 추세입니다. 여론조사 원자료를 이용하면 더 정확한 선거결과 예측이 가능한데, 이에 필요한 원자료를 아직 얻지 못했습니다. 선거가 끝난 뒤에라도 이에 대한 연구는 진행해 볼 생각입니다. 문-안 단일화 국면 분석은 이미 “안철수 사퇴 이전”까지의 분석결과에 모아 놓았습니다.
Q9. 왜 이런 작업이 지금까지 언론계와 학계에서(사후 연구논문을 위한 것 빼고) 실제 선거 국면에서 부족했을까요. 선생님의 견해가 궁금합니다.
대중적으로 알려지지는 않았지만 학계에서는 이런 메타연구가 종종 진행된 바 있습니다. 앞으로 이런 메타연구가 더 많이 진행될 것으로 확신합니다.
Q10. 어떻게하면 이런 작업들에 더 많은 이들이 나설 것이라고 생각하시나요.
통계학과 데이터과학(data science), 그리고 사회과학에 모두 관심이 있는 분들이 이런 작업의 생산자(producer)로 나서고 여러분들과 같은 분들이 이런 분석결과의 열정적 소비자(passionate consumer)가 되어주신다면 이런 작업에 대한 관심이 더 높아지리라 믿습니다.
어떤 분들은 저의 이런 연구가 영세한 여론조사기관을 죽일 수 있는 것이라고 우려하십니다. 그러나 저는 오히려 그 반대라고 생각합니다. 이런 메타연구가 활성화되면 조사기관과 조사의뢰기관만으로 한정된 여론조사시장에 감시자가 형성되어 오히려 조사기관의 발표에 대한 신뢰가 높아질 수 있습니다. 또 메타연구가 활성화되면 영세한 조사기관에 대한 대형 조사의뢰기관의 무리한 압력도 자리잡기 힘들게 됩니다. 조사기관의 시장경쟁이 조사의 정확성과 신뢰성이라는 공공재를 낳을 수 있도록 하는데에, 메타연구의 역할이 중요하다고 생각합니다.
Q11. 요즘 유행처럼 소셜 서비스 데이터를 재료로 한 분석자료를 여러곳에서 내놓고 있는데, 그런 접근법에 대해서는 어떻게 생각하시는지요.
그 자체로 큰 의미가 있다고 보고 저도 그 성과를 관심있게 지켜보고 있습니다. 다만 빅데이터(big data)에 대한 지나친 강조가 유행처럼 번지면서 좋은 자료(quality data)에 대한 중요성을 간과하는 방향으로 나타나서는 안 된다고 봅니다. 인과성의 규명을 목표로 하는 과학연구에서는 아직도 자료의 양보다는 질이 중요하다는 사실은 변함이 없습니다.
[box type=”note”]
본 인터뷰 내용은 해당 작업에 대한 간략한 소개에 불과하다. 더 깊은 관심 생겨서 더 많은 분석이나 다양한 응용방식을 궁리해보고 싶으신 분들은, 모형에 대한 세부 설명과 향후 과제 등을 연구 홈페이지를 직접 방문해서 살펴보시길.
[/box]
7 댓글
댓글이 닫혔습니다.