- 여론조사 보도 바로 보기

홍영림
조선일보 오피니언부 차장

독자 입장에선 응답률이 정확히 기재됐는지와 응답률이 최소한 20% 안팎을 기록했는지 눈여겨볼 필요가 있다. 응답률이 낮으면 전화조사에 거부한 유권자들의 여론을 반영하기 어렵기 때문이다. 또 설문조사 방식과 내용의 차이도 결과에 영향을 줄 수 있다.



987년 13대 대선을 두 달가량 앞둔 10월 말. 김영삼 후보와 김대중 후보는 단일화 협상 결렬을 선언하고 각자 공식적으로 출마 의사를 밝혔다. 당시 여론조사로는 양김(兩金)의 독자 출마는 당선 가능성이 제로에 가까웠던 반면 단일화가 성사됐다면 두 사람 중 누구라도 당선됐을 것이란 분석이 지배적이다. 두 김 씨의 출마선언 며칠 뒤인 11월 15일 갤럽조사는 노태우(38.2%) 후보에 이어 김영삼(27.7%)·김대중(24.0%) 후보 순이었고, 한 달 뒤 투표 결과도 노태우(36.6%) 후보와 김영삼(28.0%)·김대중(27.0%) 후보의 차이는 그다지 줄지 않았기 때문이다. 하지만 당시엔 선거 여론조사 공표가 전면 금지됐기 때문에 이 같은 ‘족집게’ 수준의 여론조사를 일반 국민들은 전혀 몰랐다. 두 김 씨는 “각자 출마해선 승산이 없다”는 여론의 압력도 받지 않은 채 끝까지 뛰었다.

한 여론조사 회사에서 전화 여론조사를 하고 있다.

은폐형 부동층이 선거예측 교란 불러

10년 뒤인 1997년 대선 때에도 여론조사는 정확했다. 투표 직후 갤럽이 발표한 후보별 예상 득표율은 김대중 후보 39.9%, 이회창 후보 38.9%였는데 실제 투표 결과도 김 후보 40.3%, 이 후보 38.7%로 거의 오차가 없었다. 이 후 치러진 총선과 지방선거에서 여론조사는 몇 차례 정확성 논란이 있었지만, 2002년과 2007년 대선에서 정확성을 인정받으며 신뢰를 쌓아 왔다.

그러나 2010년 6·2 지방선거와 2011년 4·27 재·보선에서는 곳곳에서 여론조사와 선거 결과가 최대15~20% 포인트까지 오차가 발생하면서 여론조사에 대한 신뢰가 급속히 추락했다. 국민들뿐 아니라 여야 정치권에서도 “여론조사를 못 믿겠다”는 비난이 쏟아졌다. 여론조사가 빗나간 이유에 대해선 학계나 여론조사 업계에서 다양한 분석을 내놓고 있다. 그만큼 여론조사의 오류에는 여러 요인이 복합적으로 영향을 미친다는 의미다.

가장 많이 지적되는 것은 ‘숨은 표(票)’ 논란이다. 지지 후보가 있으면서도 여론조사에서 본인의 의사를 내비치지 않고 투표장에 나가서야 속내를 드러내는 ‘은폐형 부동층’인 숨은 표가 최근 각종 선거예측의 교란 요인이란 것이다. 숨은 표는 독일의 사회학자 노엘레 노이만이 자신의 의견이 사회적으로 열세라고 인식한 경우 침묵하려는 경향을 설명한 ‘침묵의 나선이론’(Spiral of Silence Theory)과 관련이 있다.

이 이론을 우리나라에선 2009년 구속된 인터넷 논객 박 모 씨 사건과 결부시켜 이명박 정부에서 표현의 자유에 대한 제약이 늘어나면서 응답자들이 속내를 드러내지 않게 됐다는 ‘미네르바 효과’가 여론조사 오류의 원인으로 지목되기도 했다.

하지만 유권자들의 전략적 답변, 즉 숨은 표가 실제로 있다면 지난 지방선거에서 선거 결과와 1% 포인트 안팎의 오차에 불과했던 출구조사의 놀라운 정확성에 대해선 설명할 수 없다는 주장도 있다. 전화 여론조사에서는 거짓으로 말하고 출구조사에서는 진실을 말한다는 가정은 설득력이 없다는 것이다. 여론조사 업계 측은 “여론조사 결과 공표 금지기간(선거 6일 전)에 ‘빅이슈’가 계속 발생해서 표심(票心)이 변하거나 선거 막판까지 부동층이 많을 경우엔 조사 결과가 맞지 않을 수 있다”고 한다.

또 “지방선거나 재·보선처럼 투표율이 낮은 선거에서 여론조사가 실제 투표자들의 선택까지 미리잡아내기는 매우 어렵다”고도 한다.

2010년 6월 2일 지방선거가 치러진 서울 용산구의 한 투표소 앞에서 출구조사 면접원들이 투표를 마친 주민들을 대상으로 출구조사를 하고 있다. ⓒ조선일보


응답률과 신뢰성은 연관성 없어

‘숨은 표’와 함께 여론조사의 오류 원인으로 자주 지적받는 것은 ‘낮은 응답률’이다. 특히 4·27 재·보선에선 많은 언론의 여론조사와 각 후보 측의 전화 홍보 공세 등에 지친 유권자들의 응답 거부로 인해 전화 여론조사 응답률이 10% 미만에 그치는 경우가 많았다. 1,000명을 조사하기 위해 1만 명 이상에게 전화를 걸어야 했다는 얘기다.

선거 여론조사 보도를 접하는 독자 입장에선 응답률을 정확히 기재했는지와 응답률이 최소한 20% 안팎을 기록했는지도 눈여겨볼 필요가 있다. 응답률이 낮을 경우엔 전화조사에 거부한 유권자들의 여론을 반영하기 어렵다는 문제가 발생하기 때문이다. 응답률과 관련해서도 조사의 정확성과 반드시 관련성이 큰 것은 아니라는 반론이 있다. 여론조사는 성·연령·지역을 기준으로 표본을 추출하기 때문에 인구통계적 할당만 잘 이뤄진다면 응답률이 낮아도 대표성 있는 표본을 구성할 수 있다는 것이다.

응답률에 대해 많은 연구가 이뤄지고 있는 미국조사협회(AAPOR)에서는 응답률과 여론조사의 신뢰성 간에는 연관성이 없다는 연구 결과를 내놓고 있다.

‘숨은 표’나 ‘응답률’ 문제와 달리 비슷한 시기에 실시된 조사에서 순위가 뒤바뀌는 들쭉날쭉한 결과에 대해선 여론조사 업계에서도 반론의 여지가 별로 없다. 지난 4·27 경기 분당을 보선에서도 4월 14~16일 A 조사기관이 실시한 조사에서 민주당 손학규(43.8%) 후보가 한나라당 강재섭(35.4%) 후보를 앞섰지만, 4월 15~16일 B 조사기관이 실시한 조사에선 정반대로 강재섭(43.0%) 후보가 손학규(38.8%) 후보보다 우세했다. 이는 대부분 조사방식과 설문방식 등의 차이에서 비롯된다. 당시 A 조사 기관은 600명, B 조사기관은 1,022명을 대상으로 조사했기 때문에 상식적으로는 표본 수가 더 많은 B 조사기관의 결과가 더 정확했어야 하지만 결과적으로 손 후보가 앞섰던 A 조사기관의 결과가 더 정확했다. A 조사기관은 전화 면접원을 이용한 조사, B 조사기관은 전화자동응답시스템(ARS) 조사였던 것이 결과의 차이를 가져왔을 가능성이 있다. 일반적으로는 ARS 방식의 조사가 응답률이 훨씬 낮다. 두 조사기관이 설문지를 자세히 공개하지 않아 확인은 어렵지만, 설문방식의 차이도 영향을 줬을 가능성이 있다.

예를 들어 후보 지지율에 앞서 정당 지지율을 물어봤다면, 정당 지지율이 높은 한나라당 후보가 유리해질 수 있다. 따라서 독자들은 조사방식과 설문 방식의 차이에 관심을 가질 필요가 있다.

최근엔 지역번호와 국번 이외의 마지막 네 자리를 컴퓨터에서 무작위로 생성, 전화를 걸어 전화번호부에 등록되지 않은 가구까지 조사하는RDD(Random Digit Dialing·임의번호 걸기) 방식이 주목을 받고 있다. 현재 우리나라에선 집에서 휴대 전화 또는 070 인터넷 전화만 쓰거나 유선 집전화가 있더라도 전화번호부에 등록하지 않은 가구가 70%에 달하는데 이들은 기존의전화번호부를 이용한 조사에선 표본에 원천적으로 포함되지 않기 때문이다.

최근 학계에서는 전화번호부에 집전화가 등록되지 않은 유권자들이 등록한 유권자보다 진보적 성향을 지니고 있다는 연구 결과도 나왔다. 독자들이 언론에 보도되는 여론조사 방식을 반드시 확인해야 하는 이유 중 하나는 RDD 등 새로운 방식의 조사가 개발되고 있기 때문이다.

최근 여론조사가 투표 결과와 빗나가는 경우가 잦아지면서 “여론조사의 시대는 끝났다”는 ‘무용(無用)론’까지 등장했다. 하지만 여론조사의 오류와 함께 언론 보도에서 해석의 오류도 많았던 것으로 보인다. 표본 1,000명 조사에 ±3.1% 포인트인 표본 오차를 고려하지 않고 단순 지지율로 순위를 매길 경우엔 예측이 틀릴 수 있다. 유권자들의 응답이 투표로 연결되는 변수를 찾아내어 여론조사 결과를 재해석하지 못할 경우에도 정확도가 떨어질 가능성이 있다.

정당 일체감, 적극적 투표 의사, 각종 이슈와 정책에 대한 태도, 과거의 투표 행위 등이 그러한 변수로 꼽힌다. 결국 여론조사는 있는 그대로의 수치가 아니라 추세로 읽어야 한다. 미디어의 책무는 여론조사를 면밀하고 신중하게 해석하여 독자들에게 추세를 읽을 수 있도록 하는 것이며, 이는 여론조사의 본질이기도 하다.


조사 정확성·해석 방법론 더 연구해야

미국 갤럽의 편집장 프랭크 뉴포트는 ‘여론조사’(Polling Matters)란 책에서 “여론조사의 역사는 여론조사에 대한 반대의 역사”라고 했다. 사람들은 다른 사람들의 생각을 알고 싶어 하면서도 정작 자신의 의견이 그들과 다르다는 사실을 인정하지 않기 때문에 여론조사에 대한 끊임없는 의문과 부정적 시각이 제기된다는 것이다. 다수의 전문가들은 여전히 여론조사는 ‘무용’한 것이 아니라고 주장한다. 선거 기간 중 유권자의 태도 변화를 측정할 수 있는 유일한 수단은 여론조사이며, 앞으로도 수많은 선거에서 활용될 것이기 때문이다.

여론조사의 유용성이 지속되기 위해선 여론조사 업계와 학계는 여론조사의 정확성을 높이는 기술적 방안을 강구하고, 미디어는 여론조사 결과를 해석하는 방법론 개발에 끊임없이 노력을 기울여야 한다.

언론의 여론조사 보도에서 해석의 오류도 있을 수 있다. 표본오차를 고려하지 않고 단순 지지율로 순위를 매길 경우엔 투표 결과 예측이 틀릴 수 있다. 다양한 변수를 찾아내 여론조사 결과를 재해석하지 못할 경우에도 보도의 정확도가 떨어질 가능성이 있다.
Posted by inhana

댓글을 달아 주세요