- 전문기자가 본 여론조사

신창운
중앙일보 여론조사 전문기자


4·27 재·보선 결과 일각에서 여론조사 무용론이 대두되고 있다. 하지만 D-30~D-7일까지의 여론조사는 조사 시점의 여론, 즉 당시의 판세를 알아보기 위한 것이지 최종 투표 결과를 예측하는 것이 아니다. 여론조사가 더 정확하려면 현행 조사 결과 공표 금지기간(D-7)을 단축해야 한다.


아직도 정신을 못 차리고 있다. 지난해 지방선거와 이번 4·27 재·보선 때 그
렇게 당해 놓고도 말이다. 정치인을 비롯해 많은 사람들이 선거 여론조사에 대해 여전히 기대와 미련을 갖고 있다. 예전에 ‘정확했던’(과연 그런 적이 있었는지 모르겠다) 여론조사가 왜 이렇게 자주 빗나가는지 안타깝게 생각한다. 최근의 여론조사 ‘무용론(無用論)’ 역시 ‘정확한 여론조사’ 환상을 기반으로 한 것이다.

감히 단언컨대 여론조사로 선거 결과를 정확히 맞히는 것은 불가능하다.아무리 여론조사의 문제점을 개선하더라도 말이다. 엄격한 기준에 따라 객관적·중립적으로 여론조사를 보도하더라도 마찬가지다. 정확성 환상에서 벗어나야 선거 여론조사의 문제점과 개선 방안 도출이 가능하다. 여론조사 보도의 개선 방안 역시 이런 관점에서 출발해야 한다.


“여론조사 빗나갔다”는 기사는 부적절

첫째, 선거 여론조사가 투표 결과를 정확히 맞혀야 한다는 환상에서 벗어나야 한다. “여론조사 빗나갔다”는 기사는 몰상식의 전형이다. 지난 4월 재·보선 직후 몇몇 언론의 다음과 같은 기사 제목을 예로 들 수 있다.

여론조사 무용지물… 신뢰성 다시 도마에
또 헛다리 여론조사… 예측 결과 달라 무용론 제기
여론조사 결과… 별들에게 물어봐야 하나
헛다리 짚은 여론조사 왜?
여론조사 또 빗나가… 왜?
또 빗나간 ‘널뛰기 여론조사’


이런 제목은 1990년대 초반 이후 최근까지 선거가 끝날 때마다 나왔다. 앞으로도 선거가 있을 때마다 만나게 될 기사이기도 하고(지난해 지방선거 때의 방송사 출구조사처럼 예외도 있다. 그러나 지금 여기선 여론조사 얘기를 하고 있는 중이다). 왜냐하면 현행 선거법 아래서 실시되는 여론조사는 늘 틀릴 수밖에 없기 때문이다. 설명의 편의를 위해 다음 두 가지 경우를 가정하자. 강원도지사 보궐선거에서 한나라당 엄기영 후보가 10% 포인트 차이로 승리하는 경우와 민주당 최문순 후보가 1% 포인트 차이로 승리하는 경우를 말이다(이 사례는 재·보선 한 달 전 필자의 블로그(blog.joinsmsn.com/scw1309) ‘신창운 전문기자의 여론다움’에 올린 글을 재인용한 것이다).

주지하듯 선거 여론조사 결과는 D-7일(4월 20일)까지 실시된 것만 발표 보도할 수 있다. 이 시기이전에 실시된 여론조사와 최종 투표 결과는 일치할수도 있고 그렇지 않을 수도 있다. 엄 후보가 10% 포인트 차이로 승리하는 첫 번째 사례의 경우 다들 A 여론조사가 정확했다고 생각한다. 두 후보의 지지율 격차가 없다고 발표한 B 여론조사는 틀렸다고 할 것이다. 만약 최 후보가 1% 포인트 차이로 승리하는 두 번째 사례가 현실화됐을 경우엔 거꾸로 B 여론조사가 정확한 반면 A 여론조사는 예측을 잘못한 것으로 평가받는다.




여론조사의 ‘성악설’ 과 ‘성선설’

과연 이런 평가에 동의할 수 있는가. 최종 투표 결과와 투표 한 달 전 혹은 1주일 전 여론이 동일한 것이란 가정에 기반을 두지 않는 한 이런 평가에 동의해선 곤란하다. D-30~D-7일까지의 여론조사는 조사시점의 여론, 즉 당시의 판세를 알아보기 위한 것이지 최종 결과를 예측한 것이 아니다. 가령 B 여론조사가 정확했다고 하자. 다시 말해 4월 20일 현재 두 후보의 지지율 격차가 없다는 여론이 맞다고 하자. 그렇다면 디데이 때의 두 후보 지지율에 관계없이 B 여론조사가 늘 정확해야 하지 않는가. 엄 후보가 이기든 최 후보가 이기든 상관없이 말이다.

그러나 현실은 그렇지 않다. 위의 사례에서 확인할 수 있듯이 누가 승자인가에 따라 20일 당시 두 후보 지지율이 비슷하다는 여론조사가 맞을 수도 혹은 틀릴 수도 있는, ‘참으로 어처구니없는’ 상황이 전개되고 있다.

게다가 대표성 있는 표본을 뽑고 엄격한 조사 절차를 밟았다고 하더라도 여론조사 결과는 오차범위 내의 추정치 구간을 보여 줄 뿐이다. 하나의 수치를 통해 정확성을 평가하는 것이 아니다. 부동층,즉 ‘모름·무응답’ 존재도 정확성 평가를 어렵게 한다. D-7일 이전 여론조사에선 어떤 이유에서건 일정비율의 부동층이 존재할 수밖에 없다. 그 결과 출마 후보 지지율의 합계가 70~80%에 그친다. 그러나 디데이 때의 투표 결과는 부동층이 없기 때문에 후보 지지율의 합계가 100%다. D-7일 이전 조사의 후보 지지율은 후보별 최종 득표율에 비해 늘 적을 수밖에 없다.

여론조사란 조사 시점의 단면을 보여줄 뿐이다. 따라서 투표일 이전에 실시된 선거 여론조사의 정확성을 평가하고 싶다면, 현재의 선거법에 나와 있는 조사 결과 공표 금지기간(D-7)을 없애거나 D-2 혹은 D-1일까지로 크게 단축해야 한다. 그래야 여론조사의 예측 정확성을 말할 수 있다. 정확성을 높이기 위한 각종 기법이나 방안이 나올 수 있고, 이에 대한 평가도 가능하다. 지금 상태로는 아무리 많은 시간과 비용을 투입해 R&D를 하더라도 효과 검증이어렵다. 국회에서 입법을 추진 중인 휴대폰 여론조사 역시 마찬가지 운명이고.

둘째, 선거 여론조사는 원래 틀릴 수밖에 없다는 ‘성악설’에서 벗어나야 한다. 여론조사를 가장 많이 활용했다가 지금은 무용론에 앞장서고 있는 민주당이 그렇다. 민주당이 여론조사를 멀리하겠다고 다짐한 것은 한두 번이 아니다. 지난해 지방선거에서 드러난 여론조사의 신뢰성 문제가 결정적으로 작용했다. 한나라당이 크게 이기는 것으로 조사됐지만, 결과는 오히려 정반대로 나왔다는 것이다. 특히 서울의 경우 한나라당 오세훈 후보가 선거운동 기간에 민주당 한명숙 후보보다 많게는 20% 포인트 이상 앞선 것으로 조사됐지만 개표 결과는 0.6% 포인
트 차에 그쳤다.

앞서 언급한 강원도지사 보궐선거 사례와 마찬가지다. 만약 열흘 전 여론조사에서 오세훈-한명숙 후보의 지지율 격차가 미미하다고 발표했다면, 과연 정확하고 신뢰할 만한 조사였다고 말할 수 있을까. 아마 민주당의 가정은 이럴 것이다. “열흘 전 두 후보의 지지율이 이미 좁혀졌거나 비슷했는데 여론조사가 이를 잡아내지 못했다.” 그래서 선거 여론조사를 신뢰할 수 없다는 주장이다. 또 다른 가정은 “한나라당 오 후보가 투표 열흘 전까지 15~20% 포인트가량 앞섰는데, 막판으로 갈수록 민주당 한 후보가 선전해 투표일에 지지율이 비슷해졌다.” 필자
의 가정은 물론 후자에 가깝다. 전자가 ‘여론조사 성악설’이라면, 후자는 ‘여론조사 성선설’에 가까울것이다. 선거 여론조사라는 것이 원래 틀릴 수밖에 없다는 성악설 역시 ‘정확한 여론조사’ 환상 때문에 생겨난 것으로 봐야 한다.


여론조사 보도 “덜 엄격하게”

셋째, 여론조사 보도가 엄격해야 한다는 신화에서 벗어나야 한다. 여론조사 보도 시 반드시 함께 공표해야 할 내용을 말하는 것이 아니다. 두 가지 점에 대해서만 간단히 언급하고자 한다. 우선 여론조사를 통해 발표 보도되는 수치가 오차범위를 가지고 있다는 점을 강조해야 한다. 하나의 수치 대신 오차범위를 가진 추정치를 제공해야 한다. 가령 ‘강재섭 45%, 손학규 54%’란 수치로 보도할 것이 아니라 (오차범위가 ±2% 포인트일 경우) ‘강재섭 45±2%, 손학규 54±2%’로 예측해야 한다. 결국 강재섭 지지율 예상치는 43~47%, 손학규 지지율 예상치는52~56%로 표시하라는 얘기다. 영국 BBC의 경우엔 이것마저 제시하지 말라는 기준을 가지고 있다. 제목에선 수치를 빼고 그냥 ‘손학규가 다소 앞선 상태’라는 정도로 말이다. 표본 추출과 관련해 통계적으로 계산 가능한 오차 외에 질문지 작성과 인터뷰(면접원 요인 포함), 데이터 처리 및 분석 과정에서 발생할 수 있는 비통계적 오차는 계산마저 불가능하기 때문이다.

이와 관련해 소수점 첫째 자리의 반올림 표기를 다시 한번 강조한다. ‘강재섭 35.4%, 손학규 43.8%’대신 ‘강재섭 35%, 손학규 44%’로 표기하자는 것이다. 여러 가지 이유가 있다. 오차범위를 가지고 있는 추정치를 토대로 0.1% 포인트 앞섰다는 어처구니없는 주장을 예방하자는 의도가 으뜸이다. 또 특정 정당의 지지율 19.8%와 반올림한 수치 20% 중 19.8%가 더 정확하다는 주장은 근거가 없다. 전수조사를 하지 않는 한 아무도 알 수 없기 때문이다. 19.8%에서 27.9%로 지지율이 상승했을 경우 이를 제대로 기억해 말하는 사람도 드물다. 20%에서 28%로 8% 포인트 상승했다고 하면 충분하다. 미국과 유럽 등 여론조사 선진국에서도 대부분 소수점 뒤를 표기하지 않고 있다.


결과 맞히기보다 분위기 파악에 초점

선거 여론조사와 관련한 각종 개선방안과 대안 검토가 무용한 것으로 오해되지 않았으면 한다. 선거 여론조사의 정확성을 무시하거나 방치하자는 것도아니다. 지속적인 관심과 개선 노력이 절실하다. 지난해 지방선거 실패 이후부터 새로운 표본추출 방식으로 소개돼 널리 안착된 RDD(Random Digit Dialing·임의번호 걸기)를 예로 들 수 있다. 문제는 어떤 새로운 방안을 내놓더라도 여론조사의 정확성을 담보하기가 쉽지 않다는 데 있다. 결론적으로 민심 혹은 분위기를 파악해 전달하는 여론조사의 본래 기능에 충실하자는 것이다.

4·27 재·보선으로 돌아가 보자. 투표일을 하루 이틀 앞두고 분당을, 김해을, 강원도 등 세 곳 모두 승자를 예측할 수 없는 박빙이란 전망이 우세했다. 한나라당과 민주당 모두 3-0 패배를 말할 정도였다. (비록 보도되지 않았지만) 그런 예상을 하는 데 막판 여론조사가 크게 기여했다. 여론조사의 기능은 그 이상도 이하도 아니다. 다시 강조하지만 특정 후보가 1~2% 포인트 앞섰다거나 그것을 놓고 누가 더 잘 맞혔다고 주장하는 것은 선거 여론조사의 정확성 평가와 무관하다고 봐야 한다.

‘누구나 그리고 아무나’ 여론조사를 실시하고 있다. 전화자동응답시스템(ARS) 기계 한 대만 들여놓으면 혼자서도 가능하다고 생각한다. 여론조사에 대한 비판 역시 ‘누구나 그리고 아무나’ 한다. “여론조사 빗나갔다”는 사람들 역시 여기에 포함된다. 두세 시간 개표하면 당선자를 알 수 있는데, 결과를 맞히지도 못하면서 왜 돈 들여 여론조사를 하느냐는 사람들도 대개 그렇다. 이들 대다수가 여론조사의 정확성 환상에 빠져 있다고 감히 장담한다. 여기서 빠져나오는 것이 선거 여론조사 문제점 개선의 출발점이어야 한다.
Posted by inhana

댓글을 달아 주세요