[슬로우리포트] “통계는 물량이 깡패”, 여론조사꽃의 389번 조사가 의미하는 것.
“비싼 게 정확하다.”
김어준(딴지일보 총수)이 만든 여론조사 업체 여론조사꽃은 물량 공세로 선거 판을 주도하고 있다.
이게 왜 중요한가.
- 몇 시간 뒤면 “통계는 물량이 깡패”라는 김어준의 말을 검증할 수 있게 된다.
- 동시에 전국 1000명 표본의 여론 조사의 신뢰도를 전반적으로 점검하는 계기도 된다.
- 애초에 지역적 특성을 배제한 전국 단위 여론 조사가 갖는 한계와 꼬리가 몸통을 흔드는(wag the dog) 여론 조사 정치의 함정을 경계할 필요도 있다.
관전 포인트.
- 여론조사꽃은 한국 최대 여론조사 업체 갤럽과 완전히 다른 판세 분석을 내보내고 있다. 그동안 역대 선거에서 여론조사가 맞지 않는 경우는 많았지만 대부분 여론조사 업체들이 입을 맞춘 듯 비슷한 예측을 내보냈다. 이렇게 혼자 튀는 업체가 없었다는 이야기다.
- 여론조사꽃 조사에서는 지난 1년 동안 민주당이 40% 밑으로 내려간 적이 한 번도 없다.
- 갤럽 여론조사에서는 지난해 내내 국민의힘이 앞서다가 3월 들어 민주당과 조국혁신당 지지율을 합쳐 겨우 국민의힘을 앞서는 구도다.
- 선거 결과에 따라 어느 한 쪽은 공신력에 치명적인 손상을 입게 될 가능성이 크다.
- 세 가지 가능성이 있다.
- 첫째, 그동안의 여론조사가 실제 여론을 반영하지 못하고 있을 가능성. 김어준의 승리다.
- 둘째, 여론조사에 응답하지 않는 다수가 새로운 트렌드가 됐을 수도 있다. 뚜껑을 열어봐야 알겠지만 역시 여론조사 방법론을 송두리째 다시 써야 한다.
- 셋째, 물론 김어준이 틀렸을 가능성도 배제할 수 없다.
어떻게 다른가.
- 그동안은 갤럽 조사가 가장 공신력이 있다는 평가를 받아왔다. (물론 과거 경험을 보면 맞지 않는 적도 많았다.)
- 일단 둘 다 무선전화 가상번호 무작위 추출 방식이다. 둘 다 표본 수는 1000명 안팎이고 서울은 180~190명, 인천과 경기도는 320명 안팎이다. (전국 단위 조사에서는 표본 수에 차이가 없다.)
- 갤럽의 응답률은 15.4%고 여론조사꽃의 응답률은 19.7%다. (둘 다 3월 넷째주 기준.)
- 표본 추출 규모는 갤럽이 1만8948개, 여론조사꽃이 2만8940개로 여론조사꽃이 더 많다.
- 표본오차는 둘 다 신뢰수준 95%에서 ± 3.1%포인트다.
- 응답률이 높다는 건 전화를 받았을 때 끊지 않고 끝까지 답변한 비율이 높다는 이야기다.
- 표본 추출이 많다는 건 전화를 여러 번 돌렸다는 의미다. (정확도와는 관계 없다. 안 받는 번호에 반복해서 다시 걸기 보다는 새로운 번호를 찾아 걸기 때문에 비용이 더 많이 든다.)
질문이 달랐다.
- 여론조사꽃의 첫 번째 질문은 이것이다. “지지하거나 조금이라도 더 호감이 가는 정당은 어디입니까.”
- 만약 없다고 할 경우 한 번 더 묻는다. “그래도 조금이라도 더 낫거나 호감이 가는 정당은 어디입니까.”
- 정당 지지도를 확인하고 난 뒤 두 번째 질문은 “윤석열 대통령의 국정 운영에 대해 어떻게 평가하십니까”로 넘어간다.
- 갤럽은 대통령 직무 수행도를 먼저 묻는다. 첫 번째 질문은 이것이다. “◯◯님께서는 요즘 윤석열 대통령이 대통령으로서의 직무를 잘 수행하고 있다고 보십니까.”
- 갤럽의 두 번째 질문은 이것이다. “◯◯님께서는 다음 중 어느 정당을 지지하십니까.”
- 만약 없다고 할 경우 다시 묻는다. “그럼 어느 정당에 조금이라도 호감이 가는 편입니까.”
- 여론조사꽃이 정당 지지도를 가장 먼저 묻기 때문에 민주당 지지자들의 이탈을 막아 민주당 지지율이 상대적으로 높게 나온다는 해석도 가능하다. 이 가설은 아직 확인되지 않았다.
진보-보수 비중도 달랐다.
- 똑같이 1000명을 조사해도 진보 성향 유권자들 답변을 많이 받으면 민주당 지지율이 높게 나오고 보수 성향 유권자 비중이 늘면 국민의힘 지지율이 높게 나온다.
- 여론조사꽃은 설문이 끝난 뒤 배경 조사에서 이렇게 묻는다. “스스로 생각하실 때 어떤 이념적 성향에 가깝다고 생각하십니까.”
- 여론조사꽃은 진보-중도-보수, 세 가지 보기를 제안한다.
- 갤럽의 질문은 다르다. “◯◯님 본인의 정치적 성향은 어디에 해당한다고 생각하십니까.”
- 갤럽은 매우 보수적-약간 보수적-중도적-약간 진보적-매우 진보적의 다섯 가지 보기를 제안한다.
- 갤럽은 전체 1001명 가운데 보수가 317명, 진보가 306명인데 여론조사꽃은 보수가 261명, 진보가 278명이다. 미묘하게 갤럽은 보수가 많고 여론조사꽃은 진보가 많다. 중도 비율도 다르다. 갤럽은 281명이고 여론조사꽃은 350명이다. ‘약간 보수적’과 ‘약간 진보적’을 보기에 넣어 중도가 줄었을 가능성이 있다.
- 둘 다 가상 번호 기반의 무작위 추출 조사를 하는데 여론조사꽃에 진보 성향 응답이 더 많다는 건 야간과 주말 조사 비중이 높기 때문일 수도 있다. (실제로 한국 사회에서 진보와 보수의 비율이 정확히 반반이 아니기 때문에 진보 과표집이나 보수 과표집이 여론조사의 신뢰도와 직접 연결되는 건 아니다.)
“이길 수가 없다.”
- “밤에도 하고 주말에도 하고, 다른 데는 비싸니까 안 하는데 우리는 한다. 안 받으면 콜백도 한다.”
- 김어준이 이런 말도 했다. “어떻게 꽃을 이겨. (우리는) 다 쓰고 망할 거야.”
- 실제로 갤럽은 평일 3일 동안 조사했는데 첫날은 13시~21시, 나머지 이틀은 10시~18시 사이다. 여론조사꽃은 주말을 낀 이틀 동안(금요일과 토요일) 조사했는데 첫날은 14시30분~21시, 둘째날은 13~18시 사이다.
- 김어준의 말과 달리 갤럽도 야간 조사를 병행하고 콜백도 한다. (안 하는 곳도 많다.) 다만 주말 조사는 여론조사꽃만 하는 게 맞다. 직장인들은 평일 주중에 전화를 받기 어렵기 때문에 야간과 주말 조사를 늘리면 상대적으로 진보적 성향의 답변이 늘어날 가능성이 있다. 갤럽이 평일 사흘 가운데 하루만 야간 조사를 하는 것과 달리 여론조사꽃은 이틀 가운데 하루, 그것도 금요일 저녁이라 좀 더 젊은 층 표집이 늘어났다고 해석할 수 있다.
- 직장인이 모두 진보적 성향은 아니지만 4050 직장인들은 민주당 지지율이 높기 때문에 평일 낮시간에만 조사를 돌리면 민주당 지지율이 낮게 잡힐 수 있다.
“비싼 게 정확하다”, 물량이 깡패”라는 주장은 맞을까.
- 정용인(주간경향 기자)은 “표본 수가 많다고 정확한 것이 아니라는 것이 여론조사에서 제일 처음 배우는 기초적 정리(theorem)”라고 지적했다.
- 신창운(한국여론평판연구소 소장)은 주간경향과 인터뷰에서 “선거 여론조사에서 돈으로 해결할 수 없는 부분은 반드시 있다”면서 “‘비싸면 정확하다’는 말을 최대한 용인하더라도 가능한 것은 현재까지의 판세일 뿐 앞으로 어떻게 되리라고 말하기 어렵다”고 지적했다.
- 많은 사람들이 이 대목에서 헷갈리기 쉬운데 전국 단위 정당 지지율 조사에서 표본 수는 갤럽이나 여론조사꽃이나 큰 차이가 없다. 갤럽도 주간 단위로 1000명 샘플의 정기 여론조사를 하고 있기 때문에 특별히 여론조사꽃이 더 물량 투입이 많다고 볼 수는 없다. 다만 야간 조사와 주말 조사의 경우 인건비가 더 들기 때문에 비용이 많이 든다는 주장은 일리가 있다.
여론조사꽃의 강점.
- “물량이 깡패”라는 건 지역 단위 조사 이야기다. 여론조사 업체들이 몇 군데 격전지만 찍어서 조사하는 게 일반적인데 여론조사꽃은 전국을 몇 차례 나눠서 훑고 있다. 샘플은 각각 500명 정도로 다른 여론 조사 업체와 비슷한 수준이지만 일단 조사 건수가 압도적으로 많다.
- 더 잘 한다기 보다는 여러 곳을 많이 한다는 게 정확한 평가다.
- 여론조사심의위원회에 등록된 총선 여론조사는 4월8일 기준으로 1975건, 이 가운데 여론조사꽃이 실시한 조사가 389건(18%)으로 압도적인 1위다. 한국갤럽이 147건(7%)으로 격차가 크다.
- 김어준이 “4억짜리 조사를 했다”거나 “우리는 2만4000명을 조사했다”고 큰소리치는 건 실제로 샘플 수가 많다기 보다는 500~1000명 샘플의 지역 단위 여론 조사를 여러 차례 진행했다는 말이다.
- 주간경향이 지적한 것처럼 반드시 비싸다고 정확한 건 아니지만 애초에 조사를 한 것과 하지 않은 것의 차이는 크다. 257개 지역구 가운데 여론조사꽃만 조사한 지역이 많다.
- 이 가운데 이미 국민의힘이 우세하다고 판단된 지역에서 의외로 경합이거나 민주당 후보가 우세하다는 여론조사가 속출하고 있다. 뚜껑을 열어봐야 알겠지만 김어준이 새로운 실험을 하고 있는 것은 분명하다.
- 가상번호 하나에 330원 수준, 1000명을 조사하려면 3만 개의 가상 번호가 필요하다. 가상 번호 구입만 대략 1000만 원, 여기에 인건비를 더하면 한 번 조사에 2000만 원 이상 든다. 500명씩 100군데만 조사한다고 해도 수억 원이 든다는 이야기다.
서울 동작을과 부산 사하을의 경우.
- 여론조사꽃은 나경원(국민의힘 후보)과 류삼영(민주당 후보)이 박빙 승부를 펼칠 것으로 예상되는 동작을에서 류삼영이 48.8%로 나경원(43.1%)을 앞서고 있다고 분석했다.
- 갤럽 조사에서는 나경원과 류삼영이 각각 48%와 43%, 나경원이 앞서고 있다. 넥스트리서치 조사에서도 나경원과 류삼영이 각각 53%와 43%로 격차가 크다.
- 한국리서치와 조원씨앤아이 등도 모두 오차 범위 안이다.
- (바로 잡습니다. 동작을 여론 조사는 모두 ±4.4%라 표본 오차 오차 범위 안입니다. 수정 보완 : 4월10일 오전 9시.)
- 부산 사하을은 더욱 드라마틱하다. 여론조사꽃이 두 번 조사를 했는데 지난 2월에는 이재성(민주당)과 조경태(국민의힘)가 각각 23%와 56%로 더블 스코어였는데 4월 조사에서는 50.1%와 42.2%로 오차 범위 밖에서 역전했다. 이 지역 여론조사는 여론조사꽃을 제외하면 KSOI 조사 뿐인데 3월 셋째주 기준으로 이재성과 조경태가 각각 40.1%와 52.1%다.
- 당연히 국민의힘이 크게 앞서리라 생각했던 지역에서 반전 가능성이 생겨나면서 관심이 집중되고 있다.
- 역시 뚜껑을 열어봐야 평가할 수 있겠지만 분명한 것은 조사를 하지 않으면 모른다는 것이다.
더 깊게 읽기.
- 그동안 역대 총선에서 여론조사가 자꾸 어긋났던 건 전국 257개 지역구의 상황이 모두 다르기 때문이다.
- 51표를 얻으면 당선되고 49표는 사표가 되는 게 소선거구제의 승자독식 시스템이다.
- 과거 세 차례 총선을 보면 득표율과 의석 수가 어긋나는 경우가 많았다. 2012년 총선의 경우 수도권만 놓고 보면 새누리당이 득표율은 많았는데 의석수는 22명이나 더 적었다.
- 전국 단위로 봐도 2016년에는 새누리당이 득표율은 1.3%포인트 많았는데 의석수는 민주당이 1석 더 많았다.
중요한 것은 전국이 아니라 지역 단위 예측.
- 유시민(전 노무현재단 이사장)은 민들레 기고에서 “선거 여론조사는 반드시 틀린다”고 진단했다. “후보들의 득표율을 정확하게 맞추는 것은 근본적으로 불가능하다”는 이야기다.
- 김어준이 “우리는 1년 동안 한 번도 뒤집힌 적이 없다”고 말하는 건 전국 단위 지지율이 아니라 지역 단위 조사를 늘리고 각각의 승률을 분석한 결과 민주당 우세를 확인했기 때문이다. 다른 여론조사 업체들이 민주당이 공천 파문으로 지지율이 급락했다는 결과를 내놓을 때도 여론조사꽃은 일관되게 민주당이 앞서 있다는 결과를 내놨다.
비싼 게 정확할까.
- 결과는 내일 확인할 수 있다. 그동안 비싸서 못했던 실험을 김어준이 한 건 맞다.
- 김어준이 지난 2월 ‘다스뵈이다’에서 이런 말을 했다. “갤럽이 맞으면 서울이 대구야.” 갤럽 조사만 보면 국민의힘이 서울에서 압승할 것처럼 보인다는 말이다. 김어준은 일찌감치 지난해 12월 서울 25개 자치구 단위로 여론조사를 실시해 강남 3구를 제외한 모든 곳에서 민주당 지지율이 더 높다고 주장해 왔다. 지금까지 이런 조사를 한 곳이 없다는 것도 사실이다.
- 갤럽 조사에서는 3월 말까지도 서울에서 국민의힘 지지율이 민주당+조국혁신당을 합친 것보다 앞섰다가 4월 첫주 들어 경합하는 구도로 바뀌었다.
- 구도가 바뀐 것일까. 물밑 여론의 흐름을 제대로 짚지 못했던 것일까. 아니면 선거 막판에서야 중도무당층이 결집하기 시작한 것일까. 김어준은 지난해부터 정권 심판 여론이 물밑에 있었다고 주장한다.
- 만약 김어준의 실험이 좀 더 정확한 것으로 입증된다면 선거 여론조사의 판도가 바뀔 수도 있다.
- 물론 여전히 꼬리가 몸통을 흔드는 여론 조사의 함정을 간과해서는 안 된다. 민주당이 열세가 아니라 박빙이라는 사실을 알려주는 것만으로도 판세를 뒤흔들 수 있다. 김어준이 지난 몇 달 동안 했던 게 이런 민주당 선대본부 같은 일이었다. 김어준에 대한 평가는 여전히 엇갈리지만 분명한 건 TBS에 있었다면 할 수 없었을 실험이라는 사실이다.
편집자 주.
- 동작을은 모두 오차 범위 안이 맞습니다. 여론조사꽃 조사에서도 오차 범위 안 접전이라고 봐야 합니다. 바로잡습니다.
- 여론조사꽃이 응답률이 높은 게 콜백을 많이 했기 때문이라는 설명은 사실과 다릅니다. 전화를 끊지 않고 끝까지 응답한 비율이 높다는 것입니다. 여론조사꽃이 왜 응답률이 높은지는 확인되지 않았습니다.
- 표본 추출이 많다는 건 전화를 받지 않을 경우 다시 시도하지 않고 다른 번호로 걸었기 때문입니다. 정확도와는 관계 없습니다. 비용은 더 많이 드는 게 맞습니다. 본문을 수정 보완했습니다.
- 갤럽 조사에서도 지지하는 정당을 밝히지 않을 경우 질문을 한 번 더 합니다. 추가했습니다.
아주 좋은 정리 인듯합니다.. 선거결과가 어떻게 되는지 확실하게 지켜봐야겠습니다. 감사합니다.
“민주당이 열세가 아니라 박빙이라는 사실을 알려주는 것”이 “민주당 선대본부 같은 일”이라 단정해버리는 기적의 계산법. 다른 모든 여론조사는 국힘 선대본부라고는 절대 말 안 하지.
아니 근데 왜 뉴스토마토에 나오셔서 김어준이 ‘야당이 216석 할 것’ 이라고 얘기하셨나요?
단한번도 그런 얘기를 한 적이 없는데요?
네이버에 구글에 찾아봐도 그런 수치는 없어요
이렇게 잘 분석하시는 분께서 왜 그런 실수를 하신거죠?