[슬로우리포트] 문제는 예측 정확도가 아니라 여론조사 정치의 근본적 한계.

“비싼 게 정확하다”고 했던 김어준(딴지일보 총수)은 최근 방송에서 “그동안 선거를 분석하던 틀로는 이해가 안 되는 일이 벌어졌다”면서 “거대한 민심의 흐름을 조사 기법이 잡아내지 못한 건지 다른 요인이 있는 건지 조사해 봐야 한다”고 말했다.
선거가 끝났으니 차분하게 분석해 볼 필요가 있다.
결론부터 정리하면.
- 당연히 샘플(표본)은 많을수록 좋다. 다만 500명 샘플 조사를 48군데 한다고 해서 48배로 정확해지는 건 아니다.
- 조사 업체마다 ‘하우스 이펙트(조사업체 효과)’가 있다. 어느 업체가 더 정확한가도 중요하지만 애초에 모든 여론조사에 편향과 한계가 있다는 걸 전제해야 한다.
- 지지율보다 중요한 건 무당층 가운데 실제로 투표소에 가는 비율이다. 이들 가운데 상당수는 투표 하루 전까지 누굴 찍을지 결정하지 못했을 수도 있다.
- 여론조사는 보고 싶은 걸 보여주는 마법의 구슬이 아니다.
- 특별히 여론조사꽃이 더 많이 틀린 건 아니다. 방송3사 출구조사도 주요 격전지 예측에서 실패한 곳이 많았다.
이게 왜 중요한가.
- 무엇을 어디까지 믿을 것인가, 근본적인 질문이 필요하다.
- 여론조사가 실제로 선거 결과에 영향을 미쳤을 가능성을 돌아봐야 한다.
- 왜 여론조사 업체마다 다른 결과가 나오는지에 대한 분석이 필요하다.
- 다음 선거에서는 보수 진영에서 여론조사꽃 같은 여론조사 업체를 만들 수도 있다. 여론을 정확히 아는 것으로(이것이 진짜 여론이라고 주장하는 것으로) 여론을 움직일 수 있다고 믿는다면 이미 여론조사의 본분을 넘어선 것이다.
비싼 게 정확한 게 아니었던 이유는?
- 김어준이 이런 말을 했다. “여론조사의 수치가 많아 봐야 몇백개란 말이죠. 우리는 2만4000개잖아요. 그러면 2만4000개는 어떻게 나왔는지, 궁금해야 정상 아닙니까.”
- 첫 번째 질문. 여론조사꽃이 샘플 수가 더 많았나. 아니다. 여론조사 꽃도 전국 조사는 1000명이고 지역 조사는 500명이었다. 다른 업체들과 크게 다르지 않았다.
- 이를테면 여론조사꽃은 서울 동작을을 두 번 조사했는데 둘 다 샘플이 500명이었다. 3월 초 조사에서는 오차범위 안에서 나경원(국민의힘)이 이기는 걸로 나왔고 3월 말 조사에서는 오차범위 안에서 류삼영(민주당)이 이기는 걸로 나왔다. 여론조사꽃 조사가 다른 업체들보다 더 정확하다고 볼 이유가 없다.
- 두 번째 질문. 그래도 여러 군데 지역 조사를 모두 합치면 전체적으로 더 정확한 거 아닐까. 그렇기도 하고 아니기도 하다. 정당 지지율은 좀 더 정확할 수 있지만 영등포갑을 조사했다고 해서 마포갑 조사가 더 정확해지는 건 아니다. 500명 조사를 여러 군데 한 것일 뿐 각각의 조사는 모두 독립적이다. 전체적인 표심을 읽는 데 도움이 되겠지만 격전지 예측의 정확도를 높여주지는 않는다.


“통계는 물량이 깡패”라고 했는데.
- 만약 이 조사의 목표가 서울시 유권자 830만 명을 대상으로 정당별 지지율을 구하는 거라면 여론조사꽃의 방식이 표본오차가 훨씬 적은 건 맞다. (서울 샘플이 180명이라면 95% 신뢰수준에 표본오차가 7.3%인데 4만2000명으로 늘리면 표본오차가 0.48%까지 줄어든다.)
- 그런데 우리가 알고 싶은 건 서울 시민 830만 명의 지지율 평균이 아니라 각각의 선거구에서 누가 1표라도 더 얻어 당선될 가능성이 높은가다. 여론조사꽃도 샘플은 각각 500명이었고 지역 조사에서 특별히 여론조사꽃이 더 정확하거나 돈을 더 많이 썼다고 볼 이유가 없다.
- 강남갑이나 은평을 같은 곳은 여론조사를 안 해도 쉽게 예측할 수 있었겠지만 동작을이나 마포갑 같은 경합지역에서는 어차피 지지율 격차가 오차범위 안이었고 500명 조사로는 한계가 분명했다. 500명씩 48개 지역구를 모두 조사한다고 해도 예측의 정확도가 더 높아지지 않는다는 이야기다.
- 중간 결론: 여론조사꽃은 각각의 표본 수를 늘린 게 아니라 여러 지역에서 같은 조사를 반복하면서 “비싼 게 정확하다”고 주장했는데 여론조사 48개를 모아 놓는다고 해서 더 정확해지는 것은 아니다.
얼마나 틀렸나.
- 민주당 압승이라는 큰 그림은 맞았지만 주요 격전지에서 대부분 예측이 빗나갔다.
- 다음 그림은 뉴스공장이 3월6일 방송에서 공개한 ‘판세 종합 지도’다. 강남 3구와 영등포을을 제외한 대부분의 선거구에서 민주당이 이기는 것으로 나왔다. 김어준은 이게 “주류 언론이 말하지 않는 진실”이라고 했다.

- 하지만 결과를 보면 일단 서울에서는 마포갑에서 크게 뒤집혔고 도봉갑의 역전도 예측하지 못했다. 경기 성남분당갑과 분당을도 대부분 여론조사가 이광재(민주당)와 김병욱(민주당)이 우세하다고 예측했지만 뒤집혔다.



- 김어준이 부산 해운대갑 여론조사를 소개하면서 “이번에 진짜 한 번 이겨볼 수 있나 싶다”고 했는데 결과는 전혀 달랐다. 여론조사꽃 조사에서는 민주당 후보가 50.9%, 국민의힘 후보가 41.8%였는데 실제 결과는 국민의힘 후보가 53.7%, 민주당 후보가 44.6%였다.
- 경기 화성을도 뒤집혔고 민주당이 선전하고 있다던 낙동강 벨트에서도 경남 창원진해, 부산 남구, 부산 진갑, 부산 사하갑 등이 모두 예측을 벗어났다.
- 서울 강동갑처럼 여론조사꽃만 조사한 지역도 많다. 당연히 국민의힘이 앞설 거란 예측이 많았는데 여론조사꽃이 조사해 보니 민주당이 44.1%, 국민의힘 35.6%로 민주당이 (오차범위 안에서) 앞섰다. 실제 결과도 민주당이 50.1%, 국민의힘 47.9%로 민주당이 간발의 차이로 앞섰다.
- 김어준이 정확하게 숫자를 말하지는 않았지만 여론조사꽃 조사 결과를 종합하면 범야권 216석도 가능하다는 관측이 돌기도 했다. 김어준은 선거 막바지 격전지 조사에서 민주당 우세 지역이 늘어나고 있다며(다 뒤집히고 있다며) 투표를 독려했다.
- (대부분 여론조사가 신뢰수준 95%에 오차범위 ±4.4%포인트인데 1위 후보와 2위 후보의 격차가 이 범위를 넘어서는 조사가 오히려 많지 않았다. 애초에 격차가 8.8% 미만이라면 통계적으로 이기거나 지고 있다는 분석에 큰 의미가 없다는 말이다.)
- 물론 여론조사꽃뿐만 아니라 대부분 여론조사업체가 경합 지역 예측에 실패했기 때문에 여론조사꽃만의 문제라고 할 수는 없다. 72억 원을 들인 방송 3사 출구조사도 18개 지역구에서 예측이 빗나갔다.
“비싼 게 정확하다”고 했는데 돈을 어디에 쓴 건가.
- 500명 조사 한 번에 1500만~2000만 원 가까이 든다. 이걸 400번 가까이했으니 돈을 많이 쓴 건 맞다.
- 실제로 여론조사꽃만 조사한 지역이 여러 군데 있었고 주간 단위 전국 조사도 많이 했다. 다만 주요 격전지는 여론조사꽃뿐만 아니라 다른 업체들도 다들 몇 번씩 거쳐 갔다. 김어준은 우리가 조사해 보니 달랐다고 강조했지만 그게 왜 다른지 여론조사꽃이 더 정확하다고 볼 근거가 무엇인지는 설명하지 않았다.
- 전화 면접 조사와 ARS 조사를 따로 하기도 하고 섞기도 했다. 전국 단위 조사는 선거 막판에 RDD 방식으로 바꾸기도 했다. RDD는 상대적으로 품질이 떨어진다는 평가를 받는다.
김어준이 지난해 말 여론조사꽃 스태프들과 이런 대화를 했다고 한다.
김어준: “TK와 호남을 빼고 전국 지역구를 다 조사하면 얼마나 들까.”
스태프: “10억이요.”
김어준: “우리가 돈이 얼마 남았지?”
스태프: “10억이요.”
김어준: “그래? 다 쓰고 망하지 뭐.”
실제로 김어준은 4억 원짜리 전국 지역구 여론조사를 두 차례 진행했다. 이와 별개로 주간 단위 전국 조사도 계속하고 있다.
다스뵈이다 2024년 3월8일 방송.
똑같이 500명씩 조사해도 여론조사꽃에서만 민주당 지지율 높게 나오는 경향은.
- 이런 걸 ‘하우스 이펙트’라고 한다. 질문의 순서나 태도가 응답자의 선택에 영향을 미칠 수도 있고 전화를 받지 않을 경우 얼마나 반복해서 다시 거느냐에 따라 결과가 달라질 수도 있다. 김어준이 강조한 것처럼 저녁과 주말 조사를 포함했기 때문에 민주당 지지율이 높아질 수도 있다.
- 갤럽과 비교하면 갤럽이 콜백을 더 많이 하고 갤럽도 저녁 조사를 하지만 주말 조사는 하지 않는 경우가 많았다. 접촉 실패 건수는 여론조사꽃이 더 많고 거절 또는 이탈은 갤럽이 더 많다. (역시 콜백이 많아서 일단 받고 끊기 때문일 수도 있다.) 전국 단위 조사의 경우 갤럽은 사흘 동안 하는데 여론조사꽃은 이틀에 끝낸다는 것도 차이다. 전화를 안 받으면 콜백을 하기보다는 다른 번호로 시도하고 그래서 접촉 실패가 더 많을 가능성이 크다.
- 어느 방식이 더 정확하다고 단정 지을 수는 없다. 다만 ‘하우스 이펙트’는 이런 미묘한 차이를 합쳐서 나타난 결과라고 할 수 있다.
- MBC 여론M은 33개 여론조사 업체의 735개 조사 결과를 취합해서 여론조사의 추이를 분석했는데 비교적 가장 정확하다는 평가를 받았다. 여론M은 “추세와 성향을 함께 봐야 한다”고 강조했다. 추세는 어제의 여론이 오늘의 여론에 미치는 영향을 말하고 성향은 여론조사 업체의 고유한 조사기법에 의해 나타나는 차이를 말한다.
- 아래 그림에서 까만색 선은 여론M의 추정치고 빨간색 선은 여론조사꽃의 ARS 조사 결과다. 최대 20%포인트 이상 차이가 난다. (전화면접 조사보다 ARS 조사에서 민주당 지지율이 더 높게 나타난다는 것도 하우스 이펙트다.)

- 장슬기(MBC 기자)는 “여론조사는 모든 성별과 모든 연령대가 같은 비율로 투표한다는 가정에서의 결과”라며 “여론조사 결과가 반드시 선거 결과와는 일치하지 않을 수 있다”고 지적한 바 있다. 첫째, 응답하지 않은 유권자의 마음까지는 알 수 없고, 둘째, 여론조사에서 응답한 사람들이 모두 투표장에 나가는 것도 아니다. 셋째, 연령대별로 격차를 예측하기가 쉽지 않기 때문이다.
‘하우스 이펙트’를 줄일 방법은 없나.
- 일단 분명한 건 업체마다 차이가 나타난다는 것일 뿐 어느 것이 더 옳다고 할 수는 없다.
- 김영원(숙명여대 교수)은 “여론조사꽃은 표집오차(sampling error)를 감안하더라도 상당한 수준의 편향이 보인다”고 지적했다.
- 김영원의 분석에 따르면 여론조사꽃의 전국 단위 조사는 모두 민주당 후보 지지율을 과대 추정했다. 평균 6.5%포인트가 높고 이 가운데 실제로 7군데는 당락이 뒤바뀌었다.
- 갤럽과 NBS 조사에서는 보수가 진보에 비해 3~4% 많게 잡히는데 여론조사꽃 조사에서는 거꾸로 진보가 3~4% 많이 표집된 것도 결과에 영향을 미쳤다는 분석이다.
- 애초에 여론조사 업체 이름을 듣고 답변이나 응답률이 달라졌을 가능성도 있다.
- 김영원은 “여론조사꽃과 성향을 달리하는 사람은 조사를 거절할 가능성이 매우 높다고 봐야 한다”면서 “결국 의도 여부와 상관없이 여론조사꽃 조사에서는 진보 성향의 응답자들이 다수 참여해서 민주당 후보에 유리한 조사 결과나 나올 수밖에 없는 구조”라고 지적했다. 이른바 선택 편향(selection bias)이다.

- 실제로 갤럽과 여론조사꽃의 전화 면접 조사를 비교해 보면 둘 다 1000명 조사인데 여론조사꽃이 접촉 실패가 더 많다. (가상 번호를 더 많이 쓰기 때문에 실제로 비용도 더 많이 든다.) 콜백을 하기보다는 새로운 번호로 넘어가는 경우가 더 많다고 볼 수 있다. 어느 쪽이 더 옳다기 보다는 이런 조사 방법의 미묘한 차이가 다른 결과를 만든다는 이야기다.


“민주당 한 번도 40% 밑으로 떨어진 적 없다” 여론조사꽃의 주장은 어떤가.
- 김어준이 “우리는 한 번도 뒤집힌 적 없다”고 여러 차례 강조했는데 사실이다.
- 2월 말까지 민주당이 크게 뒤처졌다는 게 주요 여론조사 업체들 지배적인 관측이었고 이를 근거로 한겨레도 국민의힘이 제1당이 될 것으로 전망했다.
- 실제로 여론조사꽃 조사에서는 지난해 1월부터 민주당이 계속 앞섰고 7월부터는 40% 이상 지지율을 유지했다. 민주당 공천 파문 때도 크게 꺾이지 않았다.
- 반면 갤럽 여론조사에서는 2월 마지막 주까지 국민의힘이 40%로 압도적인 1위를 기록했다. 민주당은 33%에 그쳤는데 3월 들어 민주당과 조국혁신당의 합산 지지율이 국민의힘을 따라잡기 시작했다.
- 김어준도 강조했지만 MBC 패널 조사가 비교적 여론조사꽃과 비슷한 추세를 보였다. 패널 조사는 같은 패널을 반복해서 조사하기 때문에 표본 오류가 더 적다는 평가를 받는다. 5차례에 걸쳐 진행한 MBC 패널 조사는 민주당 지지율이 1월과 2월에도 꾸준히 40%대를 유지했다는 사실을 확인할 수 있다.

- 여론조사 전문가들은 선거 한두 달 전 여론조사와 최종 선거 결과를 비교하는 것은 큰 의미가 없다고 지적한다. 여론조사꽃 조사에서는 무당층이 상대적으로 적게 잡혔고 다른 조사보다 민주당 지지율이 높게 나타났는데 민주당 지지자들이 여론조사꽃 조사에 좀 더 적극적으로 응답했기 때문일 수도 있다.
- 전체 유권자 기준으로 보면 33%가 투표를 하지 않았고 민주당과 국민의힘의 유권자 수 대비 득표율은 각각 33%와 30%에 그쳤다. 무당층과 투표 불참자를 감안하면 실제로 최종 결과는 여론조사꽃보다는 갤럽이 좀 더 가깝다고 할 수 있다.

- 선거는 결국 집토끼를 끌어안고 산토끼를 끌어모으는 전쟁이다. 5%포인트 차이로 싸우는 선거에서 무당층이 15%가 넘는다는 건 산토끼의 표심을 읽는 데 실패했다는 이야기다.
- 여론조사는 어쨌거나 전화를 받는 일부 유권자들 가운데 그것도 지지 의사가 명확한 일부의 비율을 묻는 것이고 전화를 안 받거나 지지 정당이 없다고 말한 무당층이 선거 막판에 어느 쪽으로 결집할 것인지 예측하는 건 절대 쉽지 않다. 전국 단위 지지율도 어렵지만 개별 선거구 단위에서 당락을 예측하는 건 더욱 어렵다.
“김어준이 여론조사 가스라이팅에서 시민을 구했다”, 이런 말도 있었다.
김어준은 진심이었다. 총선 하루 전날 ‘다스뵈이다’에서는 이런 말을 했다.
“대선 다음 날 아침 두 가지를 결심했다. 하나는 더 나은 사람이 돼야겠다. 이제 세상이 미친 듯이 뒤로 퇴보할 테니까 나라도 더 나은 사람이 돼서 세상의 균형에 일부라도 만들어야겠다. 그리고 여론조사 기관을 만들어야겠다. 10% 차이 난다더니 0.7% 차이. 다시는 여론조사 가스라이팅에 당하지 않도록 꽃을 만들어야겠다. 이제 나머지는 여러분이 만들어 주세요. 아직 시간이 남았습니다.”
다스뵈이다 2024년 4월9일.
- ‘여론조사에 가스라이팅 당했다’는 건 지난 대선에서 실제로 이재명 지지율이 낮지 않은데 여론조사를 보고 투표를 포기한 민주당 지지자가 많았다고 보기 때문이다. 김어준은 이번 총선에서 민주당이 이기고 있다는 메시지를 계속 강조했고 결집을 불러일으켰다.
- 선거 직후 방송에서는 “여론조사 가스라이팅을 막으려고 여론조사꽃이 탄생했고 그 임무는 달성했다”고 선언했다. 이재명(민주당 대표)이 김어준에게 전화해서 “여론조사 이거 맞냐”고 물어보기도 했다고 한다. “민주당 폭망 수치가 나올 때였는데 우리가 조사해 보니까 아니거든.” 김어준은 이재명과 통화 내용을 소개하면서 이렇게 말했다. “당연히 맞지. 비싼 게 정확하니까. 그거 없으면 지난 대선처럼 했을 거에요.”
- 여론조사꽃이 민주당 열세가 사실이 아닐 수도 있다는 메시지를 전달한 것만으로도 민주당 지지자들에게는 아직 해볼 만하다는 생각을 심어줬을 수도 있다. 실제로 뉴스공장이 선거의 흐름을 바꿔놓았다고 보는 사람들이 많다.
- 다만 (돈을 많이 쓴) 여론조사꽃이 가장 정확하다는 믿음 역시 입증되지 않았다는 사실을 간과해서는 안 된다. 김어준은 여론조사가 사람들의 생각을 바꾼다(가스라이팅)고 봤고 여론조사로 사람들의 생각을 바꾸려(여론조사꽃) 했다. 과학이라고 주장했지만 엇갈리는 숫자를 두고 벌어지는 해석의 영역이었다.
더 깊게 읽기: 진보 과표집 또는 보수 과표집.
- 갤럽 여론조사를 비판할 때 흔히 하는 말이 보수가 과표집됐다는 것이다. 실제로 3월 넷째 주 전국 조사를 비교해 보면 갤럽은 전체 1001명 가운데 보수가 317명, 진보가 306명인데 여론조사꽃은 보수가 261명, 진보가 278명이다. 미묘하게 갤럽은 보수가 많고 여론조사꽃은 진보가 많다. 중도 비율도 다르다. 갤럽은 281명이고 여론조사꽃은 350명이다. ‘약간 보수적’과 ‘약간 진보적’을 보기에 넣어 중도가 줄었을 가능성이 있다.

- 갤럽은 지난해 3월 ‘조사담’에서 보수와 진보 응답 비율이 같아야 한다는 비판을 두고 “과학적 근거 없이 원인과 결과를 뒤바꿔 오독을 조장하는 ‘정치꾼의 뇌피셜’”이라고 반박했다. 첫째, 유권자의 정치적 성향 분포에 관한 절대적 기준이 없을뿐더러, 조사 과정에서 특정 성향 응답자를 의도적으로 취사선택할 수가 없다. 셋째, 정당 지지도가 정치적 성향보다 훨씬 크게 바뀐다.
- 결국 조사 시점과 조사 업체에 따라 어느 진영에서 적극적으로 답변하느냐에 따라 표집도 달라지고 결과도 달라진다는 이야기다.
- 갤럽의 보수 과표집이나 여론조사꽃의 진보 과표집은 그것 자체로 무엇이 더 옳다고 보기 어렵지만 근본적으로 모든 여론조사 업체가 나름의 편향을 갖고 있다는 사실을 이해해야 한다.

더 깊게 읽기: 무당층.
- 한국에서는 대략 유권자 4명 가운데 1명은 지지하는 정당이 없다고 말한다.
- 갤럽 분석에 따르면 투표 가능성이 낮은 정치 비관심 무당층이 37%, 기존 정당 행태를 불만스럽게 보는 보수 또는 진보 성향 무당층이 34%, 정치에 관심 있는 중도적 무당층이 28%의 비율로 나뉜다.
- 갤럽이 2021년 조사에서 무당층 응답자에게 “굳이 하나를 선택해야 한다면 어느 정당을 선택하시겠느냐”고 물었을 때 35%만 정당을 선택했다. 갤럽은 “유권자의 약 20%에 해당하는 이들은 어느 정당에도 곁을 주지 않는 진정한 무당층으로 추정된다”면서 “실제로 선거에 임박 시점의 무당층 비율과도 비슷하다”고 분석했다.

여론조사 빗나간 건 격전지도 출구조사도 마찬가지. 출구조사는 왜 빗나갔을까.
- 역대 최고 사전 투표율이 변수였다. 사전 투표자 가운데 60대 이상 비중이 높은 것도 예상 밖이었다. 사전 투표는 젊은 사람이 많이 한다는 통념이 깨졌다. 막판에 보수 결집을 정확하게 예측하지 못했을 수 있다.
- 실제로 유권자 수와 사전 투표자 수 비중을 비교해 보면 30대 이하가 유권자 수 비중으로는 32%인데 사전 투표자 수 비중은 24%에 그쳤다. 60대 이상이 유권자 가운데 34%를 차지하는데 사전 투표자의 38%를 차지했다. 사전 투표자 가운데 60대 이상이 30대 이하보다 187만 명이나 더 많다.
- (본 투표 연령별 데이터가 나와야 좀 더 입체적인 비교가 가능할 텐데 선관위 보고서는 몇 달 뒤에나 나온다.)

- 이번에 다시 확인한 건 투표를 안 하는 사람의 의도를 짐작하기는 매우 어렵다는 것이다. 지지율을 물어볼 수는 있지만 투표소에 갈지 말지는 나도 내 맘을 잘 모른다. 지지하는 정당이 없다는 사람에게 억지로 답변을 끌어낼 수는 있지만 실제로 투표소에 가는 비율이 얼마나 될지는 알 수 없다. 이런 사람이 많을수록 불확실성이 커진다.

출구조사는 얼마나 틀렸나.
- 출구조사 예측과 결과가 다른 지역구가 18군데나 됐다.
- 72억 원 넘게 썼다는데 방송 3사 모두 예측을 벗어났다. 민주당이 압도적인 과반을 할 거라는 큰 틀은 맞았지만 범 야권 200석이 넘을 수도 있다는 예측은 틀렸다. 핵심 메시지가 틀렸기 때문에 실패했다고 봐도 좋을 것이다.
- 같은 조사 결과를 두고 KBS는 민주당이 178+18=196까지 가능하다고 했고 국민의힘은 최소 85석으로 줄어들 수 있다고 했다.
- 3사 모두 국민의힘은 최소 85석으로 봤다. KBS가 그나마 국민의힘이 최대 105석까지 가능하다고 봤으니 가장 가깝다. MBC는 최대 99석, SBS는 최대 100석으로 봤다. 실제 결과는 108석이었다.
- 실제 결과는 민주당은 최소 예상보다 적었고 국민의힘은 최대 예상보다 많았다.

출구조사는 이게 최선이었을까.
- 투표를 마치고 나오는 유권자 35만9750명을 조사했다고 한다. 5번째 투표자를 등간격으로 조사했다. 95% 신뢰 수준에서 ±2.9~7.4%p. 플러스마이너스 하면 지역구에 따라 최대 14.8%까지 오차 범위 안이라는 이야기다.
- 254개 지역구에서 35만9750명을 조사했으니 한 지역구에 평균 1416명, 작은 규모는 아니다.
- 애초에 95% 신뢰 수준이란 건 100번 가운데 95번은 이 정도 오차 범위 안에 든다는 말이고 256번 가운데 13번(=256×5%) 가까이 오차 범위를 벗어날 수 있다고 봐야 한다. 실제로 3% 이내 접전 지역이 16개 지역이었고 경합이 아닌데도 뒤집힌 경우도 두 군데 있었다.
- 출구조사는 95% 신뢰수준에서 표본오차 ±2.9%p~7.4%p였다.
- 플러스마이너스 하면 지역구에 따라 최대 14.8%까지 오차범위 안이라는 이야기다. 오차범위를 이보다 더 줄이기는 쉽지 않다.
여러 여론조사 업체의 예측을 뛰어넘는 결과다.
- 2월까지만 해도 국민의힘이 과반 할 거라는 전망이 지배적이었던 건 사실이다.
- 범야권 200석 이야기가 나온 건 선거 직전이다. 3월까지만 해도 다들 그게 되겠나 했는데 막판에 민주당 지지자들의 기대 심리가 높아졌고(민주당의 자신감도 함께) 실제로 정당 지지도 조사에서도 국민의힘과 민주당이 거의 근접하는 수준까지 갔다.
- 두 가지 설명이 가능하다. 첫째, 애초에 2월까지 조사가 잘못됐거나 (민주당 지지율이 실제보다 낮게 잡혔거나) 둘째, 실제로 낮았다가 막판에 반등했을 가능성도 있다.
- 세대별 투표율이 나와봐야 알겠지만 실제 지지율과 투표소에 가는 건 전혀 다른 문제다. 지지하지만 안 갈 수도 있고 지지하지 않지만 갈 수도 있다. 투표 의향을 교차 체크하긴 하지만 표본 수가 작아 정확도가 떨어진다. 지역구마다 조건이 다 다르다.
- 다음 그림은 방송 3사 출구조사 가운데 연령대별 득표율을 비교한 것이다. 20대 남성과 20대 여성의 격차가 크다. 이대녀가 투표소에 많이 가면 민주당이 유리하고 이대남은 안 가는 게 유리하다. 국민의힘은 그 반대다. 연령대별 투표 참여 의사 등을 제대로 분석한 조사가 없다.


비례대표 투표는 비교적 맞지 않았나.
- 마지막 여론조사와 비교하면 무당층의 상당수가 국민의힘으로 갔는데 민주당+조국혁신당은 그 전에 적극적으로 투표 의사를 밝혔을 가능성이 크다. 정당 지지율만 보면 어느 정도 샤이 보수가 있었을 가능성도 있고 국민의힘 지지자들이 여론조사 응답을 기피했을 가능성도 있다.
- 갤럽 여론조사가 그나마 가장 근접했다.


다음 선거는 어떨까. 선거 때마다 물량 깡패인 여론조사가 판을 주도할까.
- 여의도연구원 부원장 출신인 김장수(장산정책연구소 소장)는 주간경향과 인터뷰에서 “김어준의 ‘프로파간다’에 우리 측 여연(여의도연구원)도 당한 셈”이라고 말했다. ‘샤이 보수’가 응답을 안 한 게 아니라 민주당 지지자들이 과다하게 응답했을 가능성이 있다는 이야기다.
- 김장수는 “민주당 편향은 여론조사꽃에서만 나타난 것이 아니라 다른 기관 조사에서도 나타났고, 그 경향이 출구조사까지 이어졌다”고 분석했다. “여론조사꽃만의 기관 편향(house effect) 문제가 아니라 응답자 편향(respondent vias)이 지배했다”는 이야기다.
- 장성철(공론센터 소장)은 조선일보와 인터뷰에서 여론조사꽃의 물량 공세를 두고 “여론조사를 가장한 편파적인 선거 개입”이라며 “보수 우파 지지자들이 막판 결집을 했다고 하더라도 여론조사꽃이 이번 선거에 일정 부분 영향을 미쳤다고 볼 수 있다”고 지적했다.
- 이준웅(서울대 교수)은 중앙일보 기고에서 “여론조사가 많다고 탓할 수 없다”면서도 “들쭉날쭉한 조사 결과가 난무하는 가운데 유권자가 특정 여론조사만 믿고 투표를 포기했다거나, 아니면 희망을 품고 투표에 나섰건만 동료 시민들로부터 배신당한 느낌을 받았다면 이야기가 달라진다”고 지적했다. 여론 정치는 민주정의 역동성을 구현한다. 그런데 “혼란스러운 사전 여론조사 때문에 민주적 역량을 발휘하는 데 방해받았다면 어떻게 되느냐”는 이야기다.
- 이준웅은 “문제는 여론조사 대행사가 특정 지지자 집단을 차별적으로 과소 또는 과대 표집하거나, 접촉하거나, 응답을 구해서 선거 결과를 편향적으로 봤다는 데 있다”고 지적했다. “후보 및 정당 지지율에 영향을 미칠 수 있는 변수들이 한 편으로 기울어져 작동하는 것을 미처 알아채지 못해서 범하는 오류를 경계해야 한다”는 이야기다.

더 깊게 읽기: 여론조사 정치의 한계.
- 성민규(유니스트 교수)는 “언론의 여론 조사 정치 분석은 수용자 공중의 정치 참여를 왜곡할 수 있다”고 지적한 바 있다.
- “정당 정치 역사에서 여론조사 마케팅 기법의 도입이 정당 내 정책 생산을 위한 정당 내 조직 민주주의의 퇴행을 불러왔던 것처럼 언론의 표상 체계를 여론조사의 언어에 함몰시키는 것은 민주주의 정치를 위한 공적 서비스의 수행자로서 언론인의 지위와 권위, 그리고 이를 위한 지식으로서 뉴스 생산을 파행으로 이끈다”는 분석이다.
- 김현정(한국체대)의 연구(언론정보연구 55권 4호)에 따르면 실제로 여론조사 결과는 정치적 행동에 영향을 미친다.
- “자신이 지지하는 후보가 여론조사 결과에서 우세로 나타나는 경우에는, 선거 여론조사 보도가 자신에게 긍정적 영향을 미친다는 생각이 자부심을 통해 기존에 지지하던 후보에 대한 지지 강화로 이어졌다. 열세 후보 지지자의 경우에는, 선거 여론조사 보도가 자신에게 미치는 긍정적 영향 지각이 클수록 자부심이 크기는 하지만, 이러한 자부심이 기존에 지지하던 후보에 대한 지지 강화로 이어지지 않았다.”
- 유용민(전남대 교수)은 언론과학연구에 실린 논문에서 “여론조사가 집단 의지의 정치적 정당성을 담보하기보다는 정치를 더 불신하거나 냉소하게 만들거나 혹은 같은 조사 결과를 놓고도 서로 더 대립하게 만드는 민주주의의 탈 안정화 요인으로 작동하고 있다”고 지적했다.
- “여론조사가 결과적으로 숫자만 보이다 보니 지지도 중심의 정치로 귀결되고, 지지율이 높은 지지층에 선거 운동을 집중하는 등 ‘배제의 정치’가 이뤄진다”는 지적도 있다.
- 한귀영(한겨레사회정책연구소 연구위원)은 황해문화 기고에서 “여론조사의 결과로서 제시된 여론은 만들어진 결과에 가깝다”고 지적한 바 있다.
- “여론 정치를 뒷받침하고 있는 여론은 실제 여론이 아니라 여론조사의 결과인 경우가 많다. 그리고 여론조사와 여론 사이에는 적잖은 간극이 있다. 부르디외의 지적처럼 실제 상황에서 의견은 세력이며, 힘의 관계이나 여론조사에서는 이 점이 무시되고 개개인이 고립된 장소에서 고립된 의견을 표현하는 기표소에서와 같은 상황에서 수집된 개별 의견들의 단순한 총합으로 간주된다.”
선거 보도 다시 점검해야. 대결은 강력했고 의제는 실종됐다.
- 근본적으로 소선거구제의 한계를 인식하고 선거제 개편 논의를 시작해야 한다.
- 여론조사 의존도가 높아진 건 그만큼 한국 정치가 취약하다는 방증이다. 의제가 없으니 유권자들은 ‘우리 편’으로 결집하거나 이기는 쪽에 베팅을 하거나 투표를 포기하게 된다. 여론조사에 휘둘리는 것도 이런 이유에서다.
- 김낙호(펜실베니아주립대 교수)는 “보복과 응징을 넘어 차별금지법을 만들고 공영방송 독립성을 관철하고 생활동반자법 추진하고 이태원 특별법 통과시키고 노란봉투법 강행하겠다는 말이 나오는 세상이 좋은 세상”이라고 지적했다.
- 의제 없이 심판과 심판이 맞붙는 선거를 올해로 끝내야 한다.
I couldn’t help but be enthralled with the basic information you offered about your visitors, so much so that I returned to your website to review and double-check recently published content.