갤럽 정당지지율 조사, 신뢰하기 힘든 이유

“한국갤럽 정당 지지율이 이상하다.” “갤럽 정당 지지도는 믿을 수 없다.”

한국갤럽이 매주 금요일 발표하는 자체조사를 두고 정당지지율에 의문을 제기하는 사람들이 많다. 여론조사는 여론조사일 뿐이라고 보고 큰 의미를 둘 필요는 없지만 그렇지는 않은 모양새다. 기자들이 쓰는 글과 칼럼, 평론가들의 입을 통해 오용되는 사례가 많기 때문이다.

이번 기회에 한국갤럽(이하 갤럽) 정당지지율에 어떤 문제가 있는지 분석해 보기로 했다. 먼저 최근 6개월 동안 갤럽에서 실시한 국민의힘(이하 국힘)과 더불어민주당(이하 민주당)의 정당 지지율 추이를 살펴봤다. 갤럽 조사는 국힘 지지율이 민주당 지지율을 오차범위 내에서 앞선다. 그런데 갤럽과 마찬가지로 전화면접을 하는 여론조사꽃(이하 여꽃) 조사에서는 정반대의 결과를 보인다. 리얼미터 등 ARS(전화자동응답) 여론조사기관도 민주당 지지율이 국힘 지지율을 앞서고 있다.

왜 유독 갤럽 조사에서만 국힘 지지율이 민주당 지지율을 앞서는 것일까. 갤럽과 여론조사꽃 중 누가 더 현실을 반영하고 있을까. 어느 기관이 맞고, 어느 기관은 틀린 것일까. 두 기관 모두 하자가 없다면 왜 이런 결과가 나오는 것일까. 궁금증이 꼬리에 꼬리를 물었다.

갤럽조사 하나만 가지고 조사결과를 분석하는 데에는 한계가 있다. 보수성향 표본의 과대 표집이냐, 아니냐는 등 정치성향 외에는 마땅한 분석지표가 없다. 다행히도 올해부터 여론조사꽃(CATI 방식)의 등장으로 ‘불가침의 영역’을 들여다 볼 수 있는 수단이 생겼다. (민들레 3월 20일자, 갤럽과 비교할 만한 여론조사 꽃 등장. 관련기사 참조)

두 기관의 여론조사를 비교, 분석하면서 정당지지율에 숨어 있는 ‘비밀의 문’을 들여다봤다.

한국 갤럽 정당지지율, 국힘이 민주당과 오차범위 내

여론조사꽃 정당지지율, 민주당이 국힘에 크게 앞서

최근 6개월 동안 갤럽(23회)과 여론조사꽃(24회)의 여론조사 결과를 살펴보면 내용물이 차이가 난다.

먼저 정당지지율이다. 21일 현재, 갤럽이 지난 6개월동안 실시한 23회에 걸친 여론조사에서 국힘 지지율이 민주당을 대체로 앞서고 있다. 그런데 여론조사꽃 조사에서는 민주당이 국힘을 크게 앞선다. 동일한 조사 방식인데도 왜 이런 일이 발생하는지 흥미롭지 않은가.

두 번째, 국힘 지지율과 윤석열 대통령 지지율(긍정평가)을 비교해도 정반대의 결과를 발견할 수 있다. 갤럽 23회 조사 가운데 2회를 제외하고 모두 국힘 지지율이 윤석열 대통령 지지율보다 높다. 반대로 여론조사꽃 조사에서는 국힘 정당지지율이 윤대통령 지지율보다 낮다. 이 또한 이상하지 않은가.

세 번째는 지지정당이 없다는 무응답층이 갤럽은 약 30%인 반면 여론조사꽃은 20%대로 갤럽의 무응답층이 약 7% 포인트 이상 높다. 하지만 대통령 지지율 조사에서 무응답층이 갤럽은 5~6%, 여론조사꽃은 1~3%로 크게 줄어든다.

네 번째는 정치성향 표본 크기다. 갤럽은 보수성향 표본이 지나치게 많은 반면 여론조사꽃의 정치성향 표본은 비교적 안정적이다.

결론부터 이야기하면 무응답층의 많고 적음, 두 기관이 갖고 있는 조사기관의 특성, 응답자들의 심리와 태도 등 다양한 변수가 여론조사 수치에 영향을 주고 있다는 것을 확인할 수 있었다. 이 밖에 질문의 순서도 상당한 영향을 주고 있다.

따라서 언론사에서 정당지지율 기사를 작성할 때 한국갤럽만을 근거로 정당지지율에서 국힘이 민주당을 앞서고 있다는 기사를 쓰는 것은 위험하다. 다른 요인들을 배제하더라도 무응답층이 많은 갤럽조사는 정당지지율에 관한 한 여론조사꽃에 비해 현실을 제대로 반영하지 못하고 있다.

“갤럽과 여론조사꽃 두 곳 중 어느 기관의 정당지지율이 사실에 부합하는가”라는 질문을 한다면 “무당층이 적은 여론조사꽃”이라고 말할 수 있다.

정당지지율 추이와 현황을 살펴보면 다음과 같다.

갤럽과 여론조사꽃 정당 지지율 추이 및 현황

갤럽 5월 2주차 조사(조사일 9~11일)부터 11월 3주차 조사(조사일 14~16일) 까지 갤럽이 23회 실시한 여론 조사에서 국힘 지지율은 32~37% 사이를 오르내렸다. 민주당은 27~34% 구간에서 움직였다. 두 정당 지지율이 동일한 조사가 5회, 민주당이 국힘을 앞선 경우는 3회이고, 나머지 15회는 국힘이 민주당을 앞섰다. 하지만 8월 5주차(29~31일) 조사(국힘 34%, 민주당 27%)를 제외하면 모두 오차범위 내에 분포한다.

여론조사에서 오차범위 안에 있는 수치를 놓고 누가 앞선다고 말하는 것은 어리석은 행위다. 기사를 쓸 때는 달리 표현할 방법이 없어 ‘오차범위 내에서 앞선다’고 하지만 ‘오차범위 내에 있다’고 하는 것이 정확한 표현이다. 오차범위 내라는 것은 순서가 뒤바뀔 수 있다는 의미를 내포하고 있다. 따라서 한국갤럽 정당지지율 조사만 놓고 보면 두 정당의 지지율 차이는 없다고 표현해야 한다. 이를 두고 국힘이 앞선다고 좋아하거나, 민주당이 위기라고 비판하는 사람은 여론조사를 제대로 이해하고 있다고 볼 수 없다. 최근 이름 있는 한겨레신문 기자가 쓴 칼럼에 갤럽 정당지지율을 예를 들어 민주당을 비판한 글을 읽은 적이 있다. 민주당이 좀 더 잘해야 한다는 애정 어린 글이었지만 갤럽 정당 지지율을 예로 든 것은 적절한 논거가 될 수 없다.

갤럽과 비교해서 여론조사꽃 정당 지지율은 정반대의 결과를 보여주고 있다. 여론조사꽃은 5월 2주차 조사(22차, 조사일 12~13일)부터 11월 3주차 조사(47차 조사, 조사일 17~18일)까지 24회 자체 조사를 실시했다. 정당지지율에서 민주당은 39.1~47%, 국힘은 28~34.3%였다(아래 표 참조. 여론조사에서 소수점은 무의미한 수치지만 여론조사꽃은 소수점 한자리까지 표기하고 있어 여기에서는 그대로 표기했다).

정당 지지율에서 국힘이 민주당을 앞선 사례는 단 한 번도 없었다. 나아가 9월 2주차조사(38차, 조사일 8~9일) 이후 11월 3주차 조사까지는 민주당이 국힘을 오차범위 밖인 10% 포인트 이상 앞서고 있는 것으로 조사됐다. 여론조사꽃 여론조사를 보면 정당지지율에서 민주당은 국힘을 확실하게 앞서고 있다는 것을 보여준다.

두 조사기관의 단순 정당 지지율만으로는 어느 조사기관이 더 정확한지는 말하기 힘들다. 두 기관의 정당 지지율과 대통령 지지율을 상호비교하면 실마리를 찾아 볼 수 있을 것으로 기대했다.

한국 갤럽, 국힘 지지율이 대통령 지지율보다 높고

여론조사꽃, 국힘 지지율이 대통령 지지율보다 낮아

갤럽조사는 국힘 정당지지율이 대통령 지지율과 비슷하거나 더 높은 특징을 보여주고 있다.

국힘 정당지지율과 대통령 지지율이 같은 경우는 6회, 국힘 지지율이 대통령 지지율보다 낮은 사례는 5회, 정당지지율이 대통령 지지율보다 높은 경우는 11회로 대체로 정당지지율이 대통령 지지율보다 높다는 것을 알 수 있다.

국힘 내부 사정을 조금만 알면 갤럽조사를 당연한 것으로 받아들일 수 있다. 이준석 전 국민의힘 대표를 비롯한 국힘 비주류를 지지하는 응답자가 대통령을 긍정평가하기 쉽지 않을 것이라는 지극히 상식적인 판단이다. 특히 8월 4주차 조사(조사일 22~24일) 이후 단 한 번도 대통령 지지율이 정당지지율을 앞서지 못하고 있는 것도 사실이다.

여론조사꽃도 비슷한 결과를 보여줄 것이라 생각했다. 그러나 여론조사꽃은 24회 조사 가운데 단 1회(10월 4주차, 44차조사, 조사일 27~28일, 국힘 32,5%, 윤대통령 지지율 32.3%)를 제외하고 대통령 지지율이 국힘 정당지지율을 앞서고 있다.

여론조사 꽃은 왜 윤 대통령 지지율이 국힘 지지율을 앞서고 있는지에 대해서는 좀 더 구체적인 설명이 필요하지만 이유를 한마디로 정의하기는 어렵다. 복잡한 문제들이 내재되어 있기 때문이다. 먼저 생각할 수 있는 것은 정당지지율에서 무당층과 대통령 지지율 조사에서 무응답 층의 성향이다. 또한 두 기관이 갖는 정치성향과 질문의 순서도 변수로 작용하고 있는 것으로 판단된다.

같은 방식의 여론조사에서 조사 기관에 따라 결과물이 다르게 나타나는 것을 '하우스 이펙트(house effect)'라고 부른다. 다시 말해 보수성향 여론조사기관으로 소문이 나 있는 갤럽조사에서는 국힘 지지자나 대통령 지지자가 적극적으로 의사 표현을 하고, 진보성향 응답자들이 소극적인 반면 진보성향 여론조사기관인 여론조사꽃 조사에서는 오히려 보수성향 응답자들이 소극적이 되고, 진보성향 응답자들이 적극적으로 의사 표현해 서로 다른 결과물이 나올 수 있다는 것이다.

정당 지지율조사에서 무려 20~30% 응답자들이 지지정당 없는 무당층이거나 무응답을 하고 있다. 대통령 국정 수행평가 질문에는 무응답층이 1~8%로 줄어들어 큰 차이를 보인다.

무응답층의 정치 성향을 살펴보면 두 기관의 차이점과 응답자들의 속성을 자세히 알 수 있을 것이라는 생각을 하게 된다.

갤럽, 정당 지지율 무당층·무응답자 30%대, 대통령 지지율 무응답자 5~8%

꽃, 정당지지율 무당층·무응답자 20%대, 대통령 지지율 무응답자 1~3%

갤럽 정당 지지율에서 무당층(응답 거절 포함)은 25%에서 32%로 무당층이 여론조사꽃에 비해 지나치게 높다는 것을 알 수 있다. 무당층은 현 시점에서 지지 정당이 없다는 것을 의미한다. 그러나 이들이 실제 지지 정당이 없을 수도 있지만 여론조사기관의 속성이나 검찰국가라는 퇴행적인 윤석열 정부에서 상당수 응답자들이 자신의 정치 성향을 숨기고 있을 가능성도 생각해 볼 수 있다.

갤럽 정당지지율 항목에서 높은 수치를 보이는 무당층은 대통령 국정평가 항목에서는 5~8%로 낮아진다. 정당지지 여부는 드러내지 않고, 대통령 국정운영평가에는 적극적인 의사 표현을 하고 있다는 것을 알 수 있다. 한국갤럽의 질문 순서가 먼저 대통령 국정 운영평가를 묻고, 이어지는 질문이 지지 정당을 묻는 질문이어서 대통령에 대한 부정 평가를 한 응답자 상당수가 지지정당을 숨기고 있다고 볼 수 있다. 따라서 갤럽 정당지지율에서 유독 무당층이 많은 현실을 어느정도 이해 할 수 있게 된다. 그러기 위해서는 무당층의 속성을 살펴볼 필요가 있다.

여론조사꽃 정당지지율 조사 무응답층은 17.5~24.9%로 갤럽보다 낮다. 갤럽조사에 비해서는 적극적으로 의사 표현을 하고 있다고 볼 수 있다. 이는 여론조사꽃은 갤럽과 달리 정당지지율 조사를 먼저 하고, 이어서 대통령 수행평가를 묻는 등 질문 순서가 갤럽과 다르다. 따라서 정당지지율 조사에서 응답자들은 갤럽에 비해 보다 솔직한 의사를 표현한다고 할 수 있다. 대통령 국정평가 무응답층 역시 최저 1.6%에서 최고 3.8%로 정당지지율 조사보다 더 적극적으로 의사 표현을 하고 있다. 이는 기관의 속성이 보다 진보적이고, 자신의 속내를 드러내도 불이익이 없을 것이라는 응답자의 심리가 어느 정도 영향을 주고 있다고 봐야 할 것이다.

결국 무응답층의 적고 많음이 두 여론조사기관의 정당지지율을 비롯한 여론조사에서 다양한 차이를 만들고 있다는 것을 짐작할 수 있다. 여기에 여론조사 질문 순서와 기관의 속성도 한몫을 하고 있음을 확인 할 수 있다. 따라서 갤럽조사는 민주당 정당지지율이, 여론조사꽃 조사에서는 국힘 정당지지율이 실제보다 낮게 나타나는 구조적인 한계를 가지고 있다고 할 수 있다.

두 기관의 가장 최근 조사에서 무당층이 대통령 국정평가에 어떻게 작용하는지 살펴보면 정당지지율의 숨겨진 의미가 보다 명확해진다.

갤럽, 무당층의 18%가 대통령 긍정평가…꽃, 무당층의 24%가 대통령 긍정평가

갤럽 11월 3주차 조사(조사 일시 14~16일)에서 국힘 정당지지율은 35%, 민주당은 33%, 무당층은 27%로 나타났다. 윤 대통령 긍정평가는 34%, 부정평가는 56%, 무응답은 8%였다.

대통령 국정운영 평가에서 무당층 27%(267명. 실제 26.7%이지만 갤럽은 소수점 이하 반올림) 가운데 18%(48명)만이 대통령을 긍정적으로 평가한 반면 부정평가는 59%(158명)나 됐다. 이도 저도 아니다는 응답과 아예 답을 하지 않은 응답자도 19%였다. 갤럽 조사에서 두텁게 나타나는 무당층의 성격은 진보나 중도 성향에 가깝지 보수성향과는 거리가 멀다. 잠재적인 민주당 지지자이거나 진보성향인 응답자가 무당층에 상당수 포함되어 있을 수 있다.

이에 반해 여론조사꽃 11월 3주차 조사(47차 조사, 조사일 17~18일)를 살펴보면 정당지지율은 민주당 45.8%, 국민의힘 30.57%, 무당층(모름 무응답 포함) 은 18.9%로 집계됐다. 대통령 국정운영 긍정평가는 32.5%, 부정평가는 65% ,모름 무응답은 2.4% 였다.

대통령 국정운영 평가에서 무당층 18.9%(194명, 표본수 1029개)만 떼어서 보면 대통령 긍정평가 23%(45명), 부정평가 68.7%(133명), 무응답 8.3% 등이다. 지지정당을 모른다는 응답자 수는 11명으로 소수지만 대통령 긍정 평가는 40.8%, 부정평가 33.1%, 모름 26.1%로 나타나 긍정평가가 부정평가보다 높다. 여론조사꽃 무당층의 대통령 지지율은 24%(무응답포함)로 갤럽의 18%보다 6% 포인트 높다.

두 기관의 무당층은 규모도 다르고, 성향도 다르다는 것을 알 수 있다. 여기에 질문 순서도 다르다. 이러한 점들이 정당 지지율에 영향을 미치고 있다. 다시 말해 갤럽 조사에는 대통령 부정평가에 먼저 응답한 뒤 지지 정당을 묻는 질문에 민주당 성향 응답자들이 무당층으로 숨어 있을 가능성이 있다. 반대로 여론조사꽃에는 대통령 국정 평가에 긍정적으로 답한 국힘 지지성향 응답자들이 정당을 묻는 질문에는 무당층에 일부 포함되어 있을 수 있다는 것을 보여주고 있다.

이러한 원인 외에도 갤럽의 과포집된 보수성향 표본은 두 정당의 지지율에 영향을 주고 있다.

갤럽, 보수 성향 표본 과대포집…꽃, 정치성향 표본 안정적

11월 3주차 갤럽과 여론조사꽃 정치성향 표본을 살펴보면 큰 차이를 발견할 수 있다. 갤럽조사에서 조사완료 표본수는 보수성향 341명, 중도성향 282명, 진보성향 264명, 모름과 응답 거절 114명 등이다. 실제 여론조사에 활용하기 위해 가중치를 적용한 표본수는 보수성향은 335명으로 6명 줄이고, 중도성향은 287명으로 5명 늘렸다. 진보성향은 262명으로 2명을 줄였다. 모름과 응답거절은 117명으로 3명을 늘려 표본수를 1001명에 맞췄다.

보수성향 표본이 지나치게 많다는 것은 한눈에 알 수 있다. 갤럽조사에서 보수성향 표본이 중도성향 표본보다 많은 사례는 가끔 있다. 공교롭게도 ‘정치적으로 민감한 시기’에 이러한 현상이 나타나 의혹을 키운다. 우리나라 거의 모든 조사에서 보수성향 표본은 중도성향보다 적게 집계된다. 진보성향 표본은 평소와 비슷한데 왜 보수성향 표본이 중도성향보다 많은지 이해할 수 없다.

표본 수만 봐도 기울어진 운동장이다. 이런데도 불구하고 11월 3주차 조사에서 정당 지지율은 2주차에 비해 2% 포인트 낮다. 물론 진보성향 일부 응답자들이 자신을 보수성향이라고 거짓으로 응답했을 가능성도 배제할 수 없다. 이런 점을 고려하더라도 보수성향 34%, 진보성향 26%로 표본수가 8% 포인트 차이가 나는 것은 보수성향 표본이 과표집됐다는 말 외에는 달리 설명할 방법이 없다.

여론조사꽃 정치 성향별 표본비율은 보수성향 27%, 중도성향 37%, 진보성향 25%, 모름 무응답 11%로 안정적인 표본의 모습을 보여주고 있다.

여론조사에서 정치성향 표본은 지지율에 상당한 영향을 미치지만 주요 변수는 아니어서 표본을 균형 있게 추출하는 것은 쉽지 않다. 따라서 2~3% 포인트 차이가 나도 크게 신경을 쓰지 않아도 된다. 하지만 그 이상의 차이를 보이거나 보수성향이 중도성향보다 많은 경우에는 표본 추출이 제대로 됐다고 볼 수 없다. 지나친 무응답층과 정치성향 표본까지 고려하면 갤럽의 정당지지율은 한계가 분명하다.

무당층이 많은 갤럽 정당지지율은 의미 없는 수치

갤럽과 여론조사꽃 평균값이 현실적인 정당지지율

한국갤럽과 여론조사꽃이 조사 결과를 왜곡한다거나 부정한 방법을 사용했다는 증거는 없다. 그러나 무당층이 많고 보수성향 표본이 지나치게 많이 포함된 갤럽 정당지지율 조사는 무당층이 적고, 정치성향 표본이 안정적인 여론조사꽃에 비해 정당지지율 조사에서 많은 약점을 갖고 있다. 갤럽 여론조사 정당지지율이 의미 없는 수치라는 것은 이를 종합적으로 고려해서 판단한 결론이다.

갤럽 정당지지율을 예로 들어 ‘민주당 위기설’을 퍼트리거나, ‘국힘의 희망가’를 노래하는 것은 허구라 할 수 있다. 여론조사는 국민의 마음을 들여다 보는 과학적인 도구다. 무응답이 적어야 속마음을 제대로 읽을 수 있다. 무당층이 많다는 것과 신뢰도는 반비례한다.

따라서 갤럽보다는 여론조사꽃 정당지지율이 현실을 더 잘 반영하고 있다고 할 수 있다. 하지만 이 역시 정확하다는 의미는 아니다. 여론조사꽃은 조사기관의 속성상 민주당이 국힘에 비해 다소 유리한 환경이다.

독자들은 “한국갤럽의 정당지지율은 무의미한 숫자이고, 여론조사꽃 정당지지율도 정확하지 않다면 그럼 뭐가 정답인가” 라는 의문을 가질 수 있다. 대안으로 “‘두 조사 기관의 평균치’를 추천한다. 이를 근거로 11월 3주차 갤럽과 여론조사꽃 여론조사에서 민주당 지지율은 두 기관의 평균 값인 39.4% (36.3~42.5%), 국힘 지지율은 32.8%(29.7~35.9%) 정도로 추정할 수 있다. 대통령 긍정평가는 33.6%( 30.5~ 36.7%), 부정평가는 60.5%( 57.4~63.6%) 로 생각하면 좋을 것 같다.

자세한 내용은 중앙선거여론조사심의위원회 홈페이지를 참조하면 된다.