Одни и те же опросы, разрыв в 10 мандатов: почему выборки рисуют разную картину ситуации

Миллионы израильтян готовятся принять участие в выборах и решить, кто станет депутатами Кнессета и войдет в следующее правительство. Но те, кто прикован к экранам в попытке узнать результат уже сейчас, должны довольствоваться ответами, основанными на опросах всего нескольких сотен или до 1000 граждан. Эти люди, выбранные из всего населения различными методами, становятся в опросах представителями миллионов избирателей и предоставляют данные, на которых строятся заголовки, комментарии и политические прогнозы.

Суть в том, что опросы не опрашивают одних и тех же людей. Каждый институт строит свою собственную выборку, пытается охватить различные слои населения и использует разные методы, чтобы превратить небольшую группу в картину, представляющую все израильское общество. Результат заключается в том, что в одну и ту же неделю разные институты могут представлять совершенно разные картины распределения мандатов.

Так насколько опросы действительно способны представлять миллионы израильтян, которые придут на избирательные участки примерно через три месяца, и могут ли различия между опрашиваемыми группами объяснить большие разрывы между результатами, которые представляют различные каналы?

Акцент на пропорциях

Традиционно на каналах 12, 13 и 11, в отличие от каналов 14 и i24NEWS, заметна разница в окончательных результатах каждого опроса. Так, в последние недели, в то время как у первых «Ликуд» колеблется в районе 21-24 мандатов, а блок Нетаниягу значительно отстает, у последних «Ликуд» достигает 27-35 мандатов, и блок лидирует с комфортным отрывом.

По словам экспертов, такой разрыв — в десять мандатов и более между каналами, которые, по всей видимости, опрашивают одну и ту же общественность в один и тот же период, — проистекает, среди прочего, из структуры выборки каждого канала.

Д-р Менахем Лазар, директор института «Лазар Мехкарим» и социолог газеты «Маарив», объясняет, что прежде всего важно разделить два отдельных этапа построения выборки — саму выборку и метод сбора данных. «Исследовательские институты изучают группу от 500 до 1000 человек, которая должна состоять из смеси, представляющей общее население Государства Израиль. Когда речь идет о выборах, это все население в возрасте 18 лет и старше, евреи и арабы», — объясняет он. «Необходимо, чтобы по основным характеристикам — соотношение мужчин и женщин, возрастные группы, округа и т.д. — в выборке было соответствие пропорциям в населении. Социологи также делают выборку по уровню религиозности, например, одной из самых решающих переменных в поведении израильтян при голосовании, поэтому им нужен процент светских, традиционных, религиозных и ультраортодоксальных граждан, соответствующий ситуации в стране».

Таким образом, важный вопрос заключается не в том, сколько людей ответили, а в том, насколько точно они отражают всю общественность, которую стремятся изучить.

Общественность, которая не отвечает

К этому добавляется сам метод сбора данных. Телефонный опрос достигает людей одним способом, интернет-опрос или панель — совершенно другим, и каждый такой метод упускает разную аудиторию. Интернет-опрос удобен и быстр, но может упустить тех, кто менее активен в цифровой среде. Телефонный опрос достигает более широкой аудитории, но сталкивается с низкими показателями отклика — многие просто не отвечают на звонки с незнакомых номеров.

Интернет-панели, например, склонны изучать более молодое, более образованное и более светское население — людей, которые чувствуют себя комфортно с технологиями и готовы заполнять онлайн-анкеты. А кто остается за бортом? Пожилые люди, для которых интернет чужд, значительные части ультраортодоксального общества, некоторые из которых вообще не владеют смартфоном с доступом к открытому интернету. Таким образом, партия ШАС, например, почти традиционно получает больше мандатов в день выборов, чем в опросах.

Арабская общественность также создает проблему: языковые барьеры, подозрительность по отношению к незнакомым опросам и более низкие показатели отклика на телефонные звонки часто приводят к недопредставленности или необходимости «исправлять» результаты с помощью статистического взвешивания, которое пытается компенсировать нехватку данных.

Мано Гева, возглавляющий институт «Мидгам», который проводит опросы для «Новости 12», объясняет, как справиться с этой задачей. «Можно проводить выборку комбинированным способом, то есть часть данных можно собрать по телефону, через специальный колл-центр, а другую часть — через интернет, через интернет-панель», — говорит он. «Каждая платформа должна соответствовать населению, которое к ней имеет доступ. Ультраортодоксальное общество, арабское общество и более пожилое население страны — менее доступны через интернет, и их лучше опрашивать по телефону. Только так можно охватить все части страны».

Д-р Лазар больше полагается на интернет-панель и объясняет, почему это не обязательно является проблемой. «Интернет-панель включает сообщества из десятков тысяч людей, которые добровольно регистрируются для участия в опросах и при присоединении указывают свои демографические характеристики — возраст, пол, район проживания, доход, образование и религиозность», — говорит он. «Я умею делать выборку почти исключительно через панель, с которой работаю уже много лет, и знаю, как покрыть пробелы, которые у меня есть в определенных группах населения».

По поводу опасения, что те, у кого нет доступа к интернету, остаются за бортом, он говорит: «В большинстве случаев пожилые люди, которые менее «плавают» в интернете, также не ответят на телефонный звонок от социологов. Это проверялось в мире, и было обнаружено, что это не обязательно является определяющим фактором. В конечном счете, ничего не поделаешь, есть группы населения с недопредставленностью в опросах».

Чтобы попытаться сократить разрывы, он отмечает, что время от времени можно проводить калибровочную проверку: «Я делаю дополнения по телефону для ультраортодоксального и арабского населения, чтобы увидеть, что я нахожусь в правильном направлении в выборках».

Каждый метод создает свое собственное искажение, что всегда оставляет неопределенность. «Всегда есть люди, которые не отвечают, которые отказываются, до которых трудно добраться», — объясняет Гева. «Мы основываемся на данных Центрального статистического бюро (то есть, если 12% населения составляют люди в возрасте 65+, согласно Бюро, то и в выборке это будет их доля). Как только это распределение равно между выборкой и населением, мы можем предположить, что выборка репрезентативна».

Методология для каждого социолога

Когда доходит до вопроса о большом разрыве между каналами, Лазар честно признает границы своих знаний: «Когда я вижу, что «Ликуд», например, колеблется между 20 и 23 мандатами в разных опросах — для меня как социолога это один и тот же результат. Но когда речь идет о 10-15 мандатах в пользу определенной партии — нет сомнений, что опрос уже не основан на той же выборке».

По его словам, объяснение может проистекать из сочетания факторов: разный метод выборки, придание разного веса группам населения и даже то, как каждый институт относится к неопределившимся (данные, которые сегодня составляют около 15% опрошенных в большинстве опросов).

«Арабское общество составляет около 20% населения», — приводит пример Лазар. «Вы можете сказать — я дам им полный вес в выборке, то есть 20%, а можете сказать — это не будет 20% на самом деле в день выборов, поэтому я дам им вес 15% или даже 10%. В конечном счете, у каждого социолога есть своя методология, и это, по всей видимости, то, что создает разницу, которую мы видим на экране».

Состав выборки и метод сбора данных — это лишь часть картины, а не полное объяснение. Могут существовать дополнительные факторы разрыва между группами, которые здесь не рассматривались. Например, различия в модели статистического взвешивания, которую каждый институт применяет после сбора данных, разная формулировка вопросов или порядок их представления, время проведения опроса по отношению к политическим событиям на той же неделе и даже личность аудитории зрителей или пользователей каждого средства массовой информации, в случае если часть выборки набирается через его сайт или приложение.