중앙선거여론조사심의위원회(이하 여심위) 홈페이지에 여론조사 상세내용의 등재일과 앞선 보도(시민언론 민들레 1월 13일자)의 작성 시점이 맞지 않아 미처 기사화하지 못했던 미디어토마토(1월 12일, 19일) 및 여론조사공정(17일)의 여론조사를 분석해 봤다. 아울러 이들 여론조사 결과를 언론은 어떻게 보도하고 있는지도 살펴봤다. 한국갤럽(12일, 19일)과 리얼미터(13일, 20일)의 후속 여론조사도 분석 대상에 포함했다.

결과는 생각보다 심각했다. 전화자동응답시스템(ARS)을 통해 실시한, 품질이 떨어지는 여론조사결과가 뉴미디어는 물론이고, 메이저 언론 등을 통해 재생산되고 다양하게 활용되면서 여론을 크게 왜곡시키고 있다. 이대로 방치하면 국민의 다수 의견은 무시되거나 왜곡되고, 민주주의는 크게 후퇴하게 될 것이다. 특히 언론사의 여론조사 보도행태는 근본적인 변화가 요구된다. 여론조사 공표 이후 여심위에 그 상세 내용을 올리는 등재일은 여론조사 공표와 동시에 하는 방안을 적극 검토해야 한다. 응답률이 아주 낮은 여론조사 결과는 공표하지 못하도록 하는 법안도 하루빨리 만들어야 한다.

미디어토마토, ARS여론조사의 한계 대변

언론사, 무책임한 여론조사 베끼기 경쟁

미디어토마토 1월 첫 주(5일) 윤 대통령 지지율은 43.8%(반올림 44%)로 갤럽(5일) 37%와 큰 차이를 보였다. 그런데 1월 2주째(12일) 여론조사는 38.3%로 일주일 사이에 무려 5.5%포인트나 하락했다. 이 조사의 표본오차가 ±3.0%포인트 점을 감안하면 그 원인을 설명하기 곤란하다. 이 조사만 보면 국가에 큰 변고가 일어났다고 생각할 수도 있다. 5일과 12일 사이 큰 사건은 지난해 12월 26일 북한 무인기가 비행금지구역을 침범했다는 사실을 확인한 것 외에는 특별한 악재는 없었다. 윤 대통령은 9일 5개 부처 업무보고를 받았고, 10일에는 더불어민주당(이하 민주당) 이재명 대표가 성남 FC 후원금과 관련해 검찰에 출석하는 등 호재도 있었다. 윤 대통령이 아랍에미레이트(UAE)에서 ‘UAE의 적은 이란’이라는 외교 결례 발언을 한 것은 16일 아크부대 방문에서 발생해 2주차 지지율과는 상관이 없다.

그럼 왜 이런 변화가 일어났을까. 여론조사 상세 내역을 보면 놀랄 만한 내용이 숨어 있다. 60세 이상 응답자 가운데 대통령 부정평가자가 긍정평가자를 앞선다. 과연 이런 ‘기적 같은 일’이 일주일 동안 우리나라에서 일어날 수 있을까. 윤 대통령을 부정적으로 평가하는 사람들은 사실로 믿고 싶겠지만 이건 사실이 아니다. 누가 봐도 여론조사에 큰 하자가 있다는 것을 알 수 있다. 그러나 언론은 미디어토마토 2주차 조사를 액면 그대로 보도하고 있다.

“(중략) 60대 이상에서는 긍정 46.5% 대 부정 49.0%로 오차범위 안에서 부정평가 응답이 앞섰다. 60대 이상에서는 지난주에 비해 긍정평가 응답이 10%포인트 하락했다.” (동아일보 1월 13일자)

동아일보는 60대 이상에서 부정평가가 긍정평가를 앞섰다는 게 사실이라면 엄청난 사건인데도 그 원인은 무시하고, 여론조사 숫자를 나열하는 데 그치고 있다. 같은 기간 어떤 조사기관에서도 60대 이상에서 윤 대통령 부정평가가 긍정평가를 앞서는 사례를 본 적이 없다. 갤럽은 60대와 70대 이상에서 윤 대통령 긍정평가가 부정평가에 비해 상당한 차이로 높게 조사된다. 이런 내용이 들어가 있는데도 기계처럼 기사를 작성, 보도하고 있는 게 우리나라 언론의 현 주소다. 기자가 놓치면 데스크가 조금만 생각해도 이 여론조사는 문제가 있다고 생각해 기사화를 주저할 것이다. 그러나 고민한 흔적은 전혀 보이지 않는다. 대통령 지지율은 다른 조사기관과 큰 차이가 없지만 누가 봐도 비상식적인 표본으로 구성되어 있는 여론조사라는 것쯤은 알 수 있다.

“보수 지지세가 강한 60대 이상에서는 긍정 46.8% 대 부정 49.0%로 오차범위 안에서 부정평가 응답이 앞섰습니다. 60대 이상에서는 지난주에 비해 긍정평가 응답이 10%포인트 이상 하락했습니다.” (뉴스토마토 1월 13일)

여론조사를 의뢰한 뉴스토마토 기사다. 동아일보와 똑같이 설명 없이 보도하고 있다. 사실은 동아일보가 뉴스토마토 기사를 그대로 베꼈다. 동아일보가 기사를 복사할 수밖에 없는 현실은 보도 당일인 13일자에는 여심위 홈페이지에 미디어토마토 여론조사 상세내역이 등재되지 않기 때문이다. 이 조사를 의뢰한 뉴스토마토가 보도한 뒤 24시간이 지나야 여론조사 결과물이 홈페이지에 등재된다. 이런 까닭에 아무리 잘못된 여론조사 결과가 나오더라도 갤럽(공표와 함께 갤럽 홈페이지에 게시) 외에는 여론조사 상세내역을 확인하고 검증할 방법이 없다. 그냥 베끼거나, 무시하거나 방법은 두 가지뿐이다. 이러한 상황은 앞에서도 지적했듯이 시급히 개선돼야 한다.

미디어토마토 3주차 조사(19일)에서는 대통령 지지율은 39%로 전주와 거의 변화가 없다. 그러나 60대 이상에서는 이전 조사에서는 부정평가가 긍정평가를 2.2%포인트 앞섰으나 이번 조사에서는 긍정 56.3%, 부정 40.7%로 긍정평가가 무려 15.6% 포인트 앞선 것으로 조사됐다. 대통령 지지율에는 변화가 없지만 세부항목, 가장 표본수가 많은 60대 이상에서 이 정도 차이가 나는 여론조사가 제대로 된 여론조사라고 생각할 사람은 없을 것이다. 60대 이상에서 갑자기 윤 대통령이 미워졌다가, 다시 좋아질 만한 꺼리가 없지 않은가. 표본 추출의 문제 이외에는 다른 이유가 없다.

언론사로서 뉴스토마토에 대한 주변의 평가는 나쁘지 않은 편이다. 그렇다고 뉴스토마토가 의뢰한 여론조사기관 미디어토마토까지 신뢰할 수 있는 건 아니다. 과거 리얼미터와 CBS의 관계와 비슷하다고 하겠다. 여론조사를 의뢰했다고 해서 무비판적으로 보도하는 것은 뉴스토마토에 득이 될 게 없다. 특히 ARS 여론조사, 특히 정치 관련 여론조사를 공표할 때에는 신중해야 한다. 미디어토마토 스스로 여론조사를 왜곡했다는 것이 아니라 ARS 여론조사가 갖고 있는 한계를 보여주고 있다는 생각을 갖게 된다.

여론조사공정, 공표도 인용도 해서는 안 되는 조사

여론조사공정 여론조사는 격주로 정례조사를 하면서 정치 관련 여론조사에서 주요 변수인 정치성향별 조사를 아예 하지 않아 검증 자체가 어렵다. 정치성향을 묻는 질문 자체가 없다는 것은 표본의 모집단 대표성이 떨어진다는 것을 의미한다. 응답률도 2.9%로 아주 낮다. 여론조사에 대해 조금이라도 지식이 있는 사람은 전문가가 아니어도 공표해서는 안 되는 여론조사라는 데 동의할 것이다.

1월 첫주(3일)조사에서 대통령 지지율이 40.6%였던 것이 3주차 조사(17일)에서는 43.1%로 상승했다. 같은 기간 여론조사 중에서 대통령 지지율이 가장 높다. 정치성향 조사를 하지 않아 여론조사가 어느 정도 수준인지 쉽게 가늠할 수는 없지만 정당지지율 변화를 통해 이 조사가 갖고 있는 문제의 심각성은 충분히 유추해 볼 수 있다.

1월 첫 주 조사에서 정당지지율은 국힘 40.7%, 민주당 36.9%로 두 정당의 지지율 격차는 3.8% 포인트였다. 3주차 조사에서는 국힘 44.7%, 민주당 35.4%로 9.3%포인트로 크게 벌어졌다. 표 1과 표 2의 정당지지율을 참조하면 여론조사공정의 정당지지율 조사가 다른 기관에 비해 동떨어진 숫자라는 것을 한눈에 알 수 있다. 갤럽과 미디어토마토 조사에서는 정당지지율이 엎치락뒤치락하고 있다. 리얼미터는 민주당이 앞서는 것으로 나온다. 오직 여론조사공정만이 국힘이 민주당을 압도하는 형국이다. 정당 지지율만을 놓고 봤을 때 국힘을 지지하는 표본(보수 성향)이 상당히 많이 포함돼 윤 대통령 지지율이 43.1%라는 숫자로 나타났을 것으로 추정할 수 있다. 여론조사공정 스스로 조사가 잘못됐다는 사실을 정당지지율을 통해 고백하고 있는 셈이다.

언론사, 여론조사 진위 확인 없이 재가공해 여론조작

세부항목의 문제점 중 다른 사례를 살펴보면 3주차 조사에서 민주당을 지지하면서 대통령을 긍정평가 하는 응답자가 6.5%인 데 비해 정의당을 지지하면서 긍정평가를 한 응답자는 19.8%나 된다. 1주차 조사에서는 민주당 지지자 중 대통령 긍정평가자는 7.2%였고, 정의당 지지자 중 긍정평가자는 17.%였다. 정의당을 지지하면서 대통령에게 긍정평가를 하는 비율이 민주당보다 높게 나오고 있다. 여론조사기관은 결과가 그렇게 나왔다고 주장할 수 있지만 상식적이지 않다. 샘플 표집에 오류가 있다고 봐야 할 것이다.

여론조사공정 여론조사는 한 마디로 ‘엉터리’라고 할 수 있다. 이런 여론조사는 참고하는 것도 멋쩍다. 그런데 언론들은 이 여론조사를 인용 보도하는 것은 물론 의미 부여까지 하며 여론을 왜곡시키고 있다. ‘여론조사를 빙자한 테러’가 아닐 수 없다. 윤 대통령을 띄워 주고 싶어도 그럴 만한 꺼리로 해야지 엉터리 여론조사로 ‘윤비어천가’를 부르면 누가 그 노래를 듣겠는가. 이 조사 결과를 언론은 어떻게 가공하고 있는지 살펴보자.

“‘아랍에미레이트(UAE)의 적은 이란’이라는 발언으로 또다시 ‘해외순방 리스크’ 논란에 휩싸인 윤석열 대통령의 지지율이 되레 올랐다.(중략) 20일 다수의 여론조사에 따르면 윤석열 대통령 국정운영 지지도가 오름세로 나타났다. 30% 초반에 머물던 지지율이 40%를 웃돌기도 하며 전반적으로 호전된 모습을 보였다.

데일리안이 여론조사 전문기관 여론조사공정에 의뢰해 지난 16~17일 이틀간 전국 유권자 1002명을 대상으로 조사한 결과. 윤 대통령의 국정수행에 대한 긍정평가가 43.1%로 집계됐다.(중략) 취임 이후 지지율 50%대를 유지하다가 30%대까지 떨어졌던 윤 대통령의 지지율이 근 7개월 만에 최고치를 기록했다.” (매일경제 1월 23일자)

위에 인용한 기사는 전형적인 유형의 여론조사 가공, 재생산 기사다. 우리나라 언론은 여론조사는 과학이고, 숫자로 표현되는 객관적인 사실이라는 전제 아래 이와 같은 방식의 보도를 거리낌 없이 하고 있다. 정권이 좋아할 만한 작은 꺼리만 있으면 유리한 기사를 쓰기에 바쁘다. 그런데 이 기사를 메이저 언론 중의 하나인 매일경제가 보도했다는 게 믿어지는가. 엉터리 여론조사를 근거로 '비장함'이 느껴질 정도로 스트레이트를 써내려 갔다. 여론조사가 제대로 됐는지 안 됐는지는 고려 사항이 아니다. 조사를 의뢰한 데일리안이 이렇게 보도했고, 숫자가 그렇게 나와 있기 때문에 ‘사실 보도가 아니냐’며 충분히 항변할 수 있다. 여론조사결과를 그대로 보도했으니 있는 사실을 보도한 것은 맞다. 그러나 정확히 표현하면 사실보도일 수는 있지만 진실과는 거리가 먼 허위·거짓보도다.

매일경제 기사는 갤럽 3주차 여론조사(대통령 지지율은 36%로, 2주차 35%에 비해 1%포인트 올라간 사례)를 제시하며 “오름세를 타고 있다”고 추임새를 넣고 있다. 오차범위 내 1%포인트의 작은 변화는 여론조사에서는 변화로 보지 않는 게 상식이다. 동아일보 기사처럼 당일 공표한 여론조사를 베껴서 보도할 때는 검증할 방법도 없다. 하지만 매일경제처럼 공표 후 거의 일주일 정도 지난 뒤에 기사를 인용, 작성할 때는 그 여론조사가 어떤 문제를 안고 있는지 정도는 확인해야 하지 않겠는가. 특히 기자들은 여론조사 받아쓰기를 하더라도 분석에 자신이 없으면 ARS 조사, 응답률이 6% 이하인 여론조사는 기사화 하지 말아야 한다. 그래야만 자신도 모르는 사이에 여론을 조작하는 악행에 가담하는 어리석음을 피할 수 있다.

“윤 대통령 국정 수행 조사 이래 7개월 만에 긍정평가가 최고치를 기록했다. 북한 도발에 대한 단호한 입장 표현, 노동‧연금‧교육 3대 개혁에 대한 강력한 추진의지, UAE 방문 성과, 신년 기대효과 등이 복합적으로 작용한 것으로 보인다.” (서요한 여론조사공정 대표, 데일리안 1월19일자)

위에서 인용한 글은 여론조사공정 대표가 자신의 회사에서 조사한 3주차 여론조사 결과(43.1%)에 대한 원인을 설명하는 대목이다. 조사기관 대표가 스스로 여론조사가 안고 있는 많은 문제점을 외면하고 이런 분석을 내놓는 것을 보면서 한편으로는 안쓰러움을 느낀다. 거듭 강조하지만 ARS조사, 특히 응답률 2.9%로는 통계학에서 요구하는 과학적인 방법론을 충족시킬 수 없다. 다른 조사와 비교하면서 참고할 수는 있겠으나 이를 무비판적으로 보도하고, 그것도 모자라 그럴듯한 해석으로 여론조사의 문제점을 덮고 여론을 왜곡, 조작하는 행위는 ‘과학을 빙자한 범죄행위’와 다를 바 없다.

리얼미터는 ‘정치 도구’로 전락한 건 아닌지 되돌아 봐야

리얼미터조사에서 윤 대통령 지지율은 첫 주(6일) 40%에서 2주차(13일)에는 38.2%로 떨어진 뒤 3주차(20일)에는 38.6%로 거의 변화가 없었다. 보수성향 표본이 진보성향에 비해 3%~4% 포인트 많은 것으로 조사됐다. 4주차(27일) 조사에서 대통령 지지율은 37%로 나타났다. 이 글을 쓰고 있는 30일 현재 리얼미터 4주차 여론조사 결과는 공표됐으나 상세내용은 여심위 홈페이지에 등재되지 않았다. 24시간 뒤에나 알 수 있다. 그런데도 방송과 신문에서는 ‘가스비 폭탄’으로 1.6%포인트 지지율이 떨어졌다며 의미 부여를 앞다퉈 하고 있다.

리얼미터는 1월 2주차 조사를 하면서 정당 지지율과 대통령 지지율 외에도 국힘 당대표 경선 여론조사를 동시에 실시했다. 그러나 당대표 선거에 대한 상세 내역은 여심위 홈페이지에 끝내 올리지 않았다. 하지만 설문지에는 나경원 전 의원의 이름을 뺐다 넣었다 한 정황이 고스란히 남아 있다. 여기에다 질문 문항을 객관적으로 만들지 않고, 특정인에게 유리하도록 해 여론조사기관으로서의 자격을 의심케 하고 있다(1월 23일자 시민언론 민들레 보도). 이러한 사례 하나만 갖고도 ‘여론조사기관’이 아니라 ‘선거기획사’라는 비판에서 자유로울 수 없다.

리얼미터 조사에서 일관성을 보이는 분야는 정당 지지율이다. 다른 조사기관과는 달리 민주당이 국민의힘을 꾸준히 앞서고 있다. 하나를 못 믿으면 다른 것도 못 믿는다고 이 역시 색안경을 끼고 보게 된다. 대통령 지지율은 여권에 유리하게, 정당 지지율은 민주당에 유리하게 ‘아찔한 줄타기 곡예’를 하고 있는 것 아닐까. ARS 여론조사를 분석하면서 미디어토마토 여론조사가 ‘날 것’이라면, 리얼미터 여론조사는 조미료가 듬뿍 들어간 ‘가공식품’이라는 느낌을 강하게 받는다.

갤럽 조사 표본구성, 윤 대통령과 국힘 지지율에 유리

갤럽은 1월 첫주(5일) 대통령 지지율이 37%였고, 2주차(12일)에는 35%로 전주에 비해 2%포인트 하락했다. 3주차(19일)는 36%였다. 갤럽 여론조사는 최근 세차례 조사에서 보수성향 표본이 진보성향 표본에 비해 5%포인트 이상 차이를 보이고 있다. 지난해 12월에 비교해 보수성향 표본이 2%~3%포인트 많아졌다. 윤 대통령 지지율과 국힘 지지율에 유리한 표본 구성이라 할 수 있다.

2주차 조사에서 진보성향 표본 가운데 10%가 윤석열 대통령을 긍정평가했다. 3주차조사에서는 이전 조사와 같이 10%였다. 1주차에는 이 수치가 15%로 높아지면서 대통령 지지율도 덩달아 올랐다. 정당 지지율은 2주차 조사에서는 민주당이 국힘을 1%포인트 앞섰으나 3주차에는 국힘이 민주당을 5%포인트 앞섰다.

리얼미터와 토마토미디어, 여론조사공정은 과학적인 여론조사기관이 아니다

리얼미터와 토마토미디어,여론조사공정 등 ARS를 이용한 여론조사기관은 KORA(한국조사협회)의 정회원도 준회원도 아니다. ARS 여론조사를 과학으로 인정하기에는 부족한 점이 많아 회원 가입자격을 주지 않고 있다. 여론조사기관이 아니라 선거기획사라는 비판을 받는 것은 이런 까닭에서다. 조사협회에는 한국갤럽, 한국리서치, 엠브레인 등 32개 업체가 정회원사이고, 21개사가 준회원사로 등록돼 있다.

여심위 홈페이지에 등록된 여론조사기관은 모두 91개 업체다. 한국조사협회 회원사를 제외한 거의 대부분의 회사가 ARS 여론조사를 활발하게 하고 있다. ARS 응답률은 대부분 3%대에 그친다. 여론조사는 통계학적으로 표본을 무작위 추출을 해야 하고, 정밀하게 조사해도 표본오차가 발생하는 분야다. 따라서 ‘여론조사가 정확하다’는 생각은 버려야 한다. 더구나 선거 관련 여론조사는 엄격한 의미의 무작위 표본 추출이 아니다. 여성과 남성, 지역, 나이 등에 따라 할당 추출을 겸한다. 과학이라고 부르기에도 부족한 ARS 여론조사는 말해 뭘 하겠는가. 아주 운이 좋아 확률적으로 맞출 수는 있으나 정확한 여론조사와는 거리가 멀다.

따라서 여론조사 기사를 읽을 때는 조사방법을 확인하는 습관을 가지는 게 좋다. 여론조사가 ARS 조사이고, 응답률이 6% 이하라면 무시하는 것도 한 방법이다. 여론조사 분석 전문가들이나 통계학자들도 잘못된 여론조사에 대해서는 목소리를 내야 한다. 전문가들이 침묵하는 동안 엉터리 여론조사가 독버섯처럼 번졌다. 거듭 강조하지만 언론사 기자들은 여론조사를 기사화 할 때 ARS 여론조사를 인용 보도하는 것은 삼가야 한다. 특히 여야 정치권은 여론조사 공표 기준을 새롭게 만드는 등 문제 해결에 적극 나서서 오염된 여론조사 환경을 바로잡아야 할 것이다.