- 여론조사 회사 입장에서 본 선거 여론조사

김윤호
(사)한국조사협회 상근부회장



조사기관은 첫 통화에서 정해진 응답자와의 접촉에 실패하면 재통화를 시도하는 것이 아니라 곧바로 다른 표본으로 대체한다. 목적에 맞는 할당표집을 하는 것이 아니라 비용과 시간에 쫓겨 할당표집을 하는 셈이다. 가장 큰 이유는 조사비용과 조사기간이라는 현실적인 제약 때문이다.



선거 여론조사는 투표 이전에 유권자의 의견을 파악하는 방법으로 활용도가 커지고 있다. 선거 시점에서의 언론 보도, 선거 출마자의 전략 수립, 선거과정에 대한 학술연구뿐만 아니라 정당 후보자 선정 과정에서도 여론조사가 중요하게 활용되고 있다. 그러나 이런 활용도와 유용성에도 불구하고 선거 관련 여론조사에 대한 비판이 끊임없이 제기되고 있다. 선거 관련 여론
조사에 대한 비판은 크게 두 줄기에서 이루어진다. 그 한 줄기는 선거 여론 조사의 신뢰성과 과학성에 대한 문제제기이고, 또 다른 한 줄기는 선거 여론조사의 보도 양태에 대한 비판이다. 선거 여론조사가 조사의 정확성과 보도(정보 제공)의 공정성·객관성을 담보해야 하기 때문이다.


시간·비용 부족으로 ‘확률표집’ 힘들어

이런 비판적 관점이 있다는 것을 염두에 두고 여론조사 수행 기관의 입장에서 선거 여론조사의 신뢰성과 과학성을 침해하는 요인이 무엇인지, 문제점을 해소하기 위한 개선 방안이 있다면 어떤 것이 있는지 살펴본 후 여론조사 보도의 유의 사항에 대해 몇 가지를 짚어 보기로 하겠다.

우리나라 대부분의 선거 여론조사는 비확률적 표집 방법인 ‘할당표집(quota sampling) 방법’을 사용한다. 최근 활발하게 이용하는 RDD 방법을 사용하는 경우에도 여전히 ‘할당표집’을 이용한다. 확률표집에 의해 선정된 가구 내 응답자를 선정하는 과정에서 성별, 연령별,지역별 할당을 기준으로 조사를 수행하는 것이다. 조사 기관들이 가구 내 응답자 선정에서 생일법 등과 같은 확률표집 방법을 사용하지 못하는 가장 큰 이유는 아마도 시간과 예산의 절대적 부족 때문일 것이다. 생일법 등과 같은 확률표집으로 선정된 응답자에게 응답을 얻기 위해서는 3~5회 정도 반복적으로 선정된 응답자와 재통화를 해야 하는데, 그러기 위해서는 충분한 조사 기간과 비용이 전제돼야 한다.


설문 문항 내용 검토할 시간도 부족

결국 조사 기관은 최초 통화에서 정해진 응답자와의 접촉에 실패하면 재통화를 시도하는 것이 아니라 곧바로 다른 표본을 대체하는 방법을 사용한다. 목적에 맞는 할당표집을 하는 것이 아니라 비용과 시간에 쫓겨 할당표집을 하는 셈이다. 대부분의 조사기관들이 사용하고 있는 이런 할당표집 방식에 대해많은 선거 여론조사 관련 학자들이 비확률표집 방식이며, 정확성이 떨어지는 개연성이 있음을 경고한다(김형준·조성겸).

물론 국내의 많은 조사 기관들도 할당표집이 비확률표집 방식이란 점을 잘 알고 있으나, 저예산과 촉박한 시간이라는 현실적인 제약 때문에 통화 가정 내에서의 확률표집이 현실적으로 불가능하다는 입장이다. 충분한 예산과 시간이 주어지면 생일법이나 3~5회에 걸친 재통화 등을 통해 무작위 확률표집 방식에 의한 조사 수행이 가능하다는 것이다. 조사 비용과 조사 기간이라는 현실적인 제약이 걸림돌인 셈이다.

선거 조사에서 설문 문항은 단순한 것 같으면서도 매우 중요하고 민감한 부분이다. 2002년 대선 당시 새천년민주당의 노무현 후보와 국민통합21의 정몽준 후보 간 단일화 관련 여론조사를 보자. 대선막바지까지 단일화에 합의하지 못했던 두 후보는 대선을 불과 한 달여 남긴 11월 15일 여론조사로 단일 후보를 결정하기로 합의했다.

그런데 설문 문항을 두고 노무현 진영은 “노무현과 정몽준 가운데 누구를 더 지지하느냐”라는 설문 구조를, 정몽준 진영은 “이회창 후보와 겨뤘을 때 누가 더 경쟁력이 있느냐”라는 설문 구조를 고집했다. 노무현 대 정몽준 지지도 조사에서는 노무현이 앞섰지만, 이회창 후보와의 가상대결 구도에서는 정몽준 후보가 강했기 때문에 벌어진 투쟁이었다. 고심 끝에 양쪽이 합의한 설문 문항은 “이회창 후보와 견주어 경쟁력 있는 단일 후보로 노무현, 정몽준 가운데 누구를 지지하십니까”로 결정됐다. 두 후보의 주장을 절충한 설문 문항이었지만, 설문의 방점은 누가 봐도 마지막 부분의 ‘노무현, 정몽준 가운데 누구를 지지하십니까’이다.

결과는 노무현 후보가 4.6% 포인트 차로 승리했다. 설문 문항의 중요성이 가장 극명하게 도드라진 사례다. 이렇듯 설문 문항을 어떻게 만들고 설문 문항 간의 순서 배치를 어떻게 하느냐에 따라 조사 결과가 달라질 수 있다. 그렇기 때문에 선거 여론조사의 경우 설문 문항에 대한 충분한 검토와 논의가 수반돼야 함에도 불구하고 대부분의 언론에서 허용하는 설문 구성의 시간은 기껏해야 몇 시간에 불과하다. 조사 연구자가 자유스럽게 설문을 구성할 수 있는 권한도 제한돼 있다.



첫째는 비등재가구까지 표집틀을 확대한 RDD 방법으로 조사 결과의 편향 문제를 일부 극복할 수 있을 것으로 보인다. 그러나 RDD 방법 도입에는 많은 비용과 시간이 수반된다. 표본의 대표성을 강화하고 조사의 정확성을 확장할 수 있는 RDD 방법이 제대로 정착되기 위해서는 RDD 방법의 선거 여론조사에 대한 충분한 예산과 조사 시간이 확보되도록 언론사나 정치권이 적극 협조해 줘야 한다.

둘째는 여론조사 기관이 자구적 차원에서 여론조사의 품질을 높일 수 있는 제도적 장치를 마련해야 한다. 이를 위해 한국조사협회(KORA)는 조사 서비스 품질인증제 도입을 위한 조사 서비스 규격안을 만들어 기술표준원에 심의를 요청해 놓은 상태다. 이 인증제가 도입되면 무자격 조사 기관에 의한 비과학적인 조사 결과의 범람을 막고 조사의 품질을 끌어올려 선거 여론조사의 신뢰성을 확보할 수 있을 것이다.

셋째는 조사 비용에 대한 인식 제고다. 일반적으로 조사 비용은 표본 크기에 따라 산정된다. 이렇게되면 조사기관은 표본당 최소 비용이 드는 방법을 찾게 되고 조사의 품질을 확보하는 과학적 방법은 외면하게 된다. 예를 들면 등재가구 유선전화에 기초한 표본추출과 RDD를 이용한 표본추출 방법에는 커다란 비용 차이가 있다. 뿐만 아니라 1~2일 사이에 끝나는 할당표집과 4~5일이 걸리는 생일법에 기초한 확률표집 사이에도 커다란 비용 차이가 발생한다(전화번호 생성을 위한 전화비 증가, 조사 시일이 길어짐에 따른 면접원 인건비 상승). 이런 표본
추출의 상이성에 따른 추가 비용이 조사 비용에 반드시 반영돼야 선거 여론조사의 품질이 확보될 수 있다.


과학적 방법 사용하려면 비용 늘려야

넷째는 공직선거 및 국정 운영에 관한 여론조사의 정확성 위해 여론조사 기관이 유선전화와 인터넷 전화번호를 제공받을 수 있는 법안 장치를 만드는 것이다. 이미 홍준표 의원을 비롯한 여야 의원 61명이 상기 목적을 위해 휴대전화 번호를 사용할 수 있는 법안을 발의한 상태이지만, 휴대전화 번호는 개인정보와 밀접한 관련이 있어 반발이 클 것으로 판단된다. 그러나 유선전화와 인터넷 전화는 가구단위의 번호여서 상세 주소를 배제한 지역과 번호만 제공하면 되기 때문에 충분히 법안 마련이 가능할 것으로 생각된다. 이렇게 되면 비용과 시간이 많이 소요 되는 RDD 방법으로 하지 않고서도 정확한 여론조사 수행이 가능해질 것이다.

선거 여론조사는 정치적으로 후보 선정의 결정적인 키를 갖게 돼 우리나라 정치제도에서 강력한 지위를 확보하게 됐다. 이런 강력한 지위는 언론에서도 예외가 아니다. 선거 시기에 언론사는 선거 여론조사와 예측조사에 관심의 끈을 놓지 않고 경쟁적으로 여론조사 결과를 보도한다.

그 이유는 크게 두 가지일 것이다. 첫째는 유권자에게 선거와 관련한 객관적이고 유용한 정보를 제공해 유권자의 합리적 판단에 도움을 주기 위해서일 것이고, 둘째는 선거 정국에서 유권자가 갖고 있는 가장 본질적인 궁금증, 즉 누가 얼마만큼 앞서 있으며, 과연 누가 승리를 거머쥘 것인가와 같은 대중의 호기심을 충족시켜 주기 위해서일 것이다. 조사 결과가 맞든 틀리든 이런 궁금증을 해결해 줄 수 있는 유일한 도구는 선거 여론조사뿐이다. 선거 기간 동안 대중의 관심을 끄는 데 선거 여론조사는 더 없 이 좋은 재료가 아닐 수 없다. 어쨌든 언론사가 선거 여론조사를 보도할 때는 여론조사의 외형적 절차인 방법론 정보를 밝히도록 법적으로도 강제되고 있다. 예컨대 중앙선관위는 여론조사와 여론조사 보도의 정확성과 공정성을 확보하기 위한 방안으로 공직선거법 108조에서 여론조사 보도의 기준을 제시했다.


언론서 자료조사 해석할 땐 신중을

이 조항에 따르면 여론조사 결과를 공표 또는 보도할 때는 조사 의뢰자와 조사기관 및 단체명, 피조사자 선정 방법(표집 방법), 표본의 크기, 조사 지역 및 일시와 방법, 표본의 오차율, 응답률, 질문 문구를 공표 또는 보도하도록 규정하고 있다. 이것은 미국 여론조사협회에서 밝힌 여론조사 보도 지침과 거의 유사하다.

이런 방법적 절차에 대한 보도 의무 외에도 언론사가 여론조사 결과를 보도할 때 좀 더 신중을 기해야 할 것이 많이 있지만 여기서는 여론조사 자료의 해석과 관련해 두 가지 정도를 지적한다.

첫째, 언론사가 실시해서 보도하는 선거 여론조사 기사에서 빈번하게 발생하는 문제로, 하위표본을 따로 분류해 추가적인 분석을 하는 오류를 지적하지 않을 수 없다. 예를 들면 1,000명 규모의 전국 조사에서 특정 후보의 지지율이 표본 수 100여 명 안팎인 ○○ 지역에서 △△% 상승했느니 하락했느니하는 기사가 종종 눈에 띈다. 이는 위험한 분석 기사가 아닐 수 없다. 100명도 채 안 되는 표본의 오차한계는 매우 크다. 전체 표본 중 일부인 이런 소수의 응답자를 따로 분류해 추가적인 분석을 하는 것은오류를 범할 가능성이 높기 때문이다. 윤석홍은 하
위표본의 수가 400명 이하일 경우 이를 근거로 기사를 쓰는 것을 피해야 한다고 지적하기도 했다.

둘째, 조사 방식이 상이한 전화면접 방식의 선거 여론조사 결과와 ARS 방식에 의한 선거 여론조사 결과를 섞어서 보도하는 것에 신중을 기해야 한다. 예를 들면 특정 대선 후보의 지지율 변화 추이를 보도하는 과정에서 두 방식의 조사 결과를 혼용해 분석 보도하는 경우다. 두 방식은 표본추출 방식과 응답률, 무응답층의 규모 등에서 두드러지는 차이가 존재하기 때문에 두 조사 결과를 단순 비교한다든가 섞어서 시계열 추이를 분석하는 것에 주의를 기울여야 한다.
Posted by inhana

댓글을 달아 주세요