Дослідження громадської думки щодо певної проблеми чи явища дають журналістам контекст, важливий для їхніх матеріалів. Проте медіа можуть неправильно інтерпретувати дані, що призводить до хибних висновків і вводить читача в оману.

Ми поспілкувалися із заступницею директорки Info Sapiens Інною Волосевич про те, що мають знати журналісти про дослідження, щоби правильно їх інтерпретувати, а також із дослідницею Media Development Foundation Оксаною Буць про опитування блогерів і журналістів.

Що потрібно знати про методи дослідження?

У соціології є кількісні та якісні методи дослідження. 

• Кількісні — це оцінки, які відображають думку або поведінку певної групи в цифрах. Їх проводять через онлайн-, телефонне й особисте опитування. Вони дають змогу виміряти й порівняти обсяги, частоти й залежності між різними чинниками. Наприклад, як змінилася частка фінансування незалежних локальних медіа в Україні до повномасштабного вторгнення, 2022 року та 2023 року. Дані, які зібрали кількісним методом, журналісти цитують частіше.
• Якісні — це індивідуальні оцінки, враження, досвід, історії, кейси, які збирають здебільшого через глибинні інтерв’ю й фокус-групи онлайн або офлайн, а також через якісний аналіз документів (наприклад, аналіз щоденників полонених, дискурс-аналіз (наприклад, аналіз наративів у виступах політиків). Такі дані доповнюють кількісну інформацію й допомагають зрозуміти контекст, в якому відбуваються певні явища. 

Інна Волосевич наголошує, що хороші статті мають містити і якісні, і кількісні дані. 

Крім опитування також існує метод експерименту. У ньому випадковим чином відбираються дві максимально схожі групи людей. З них одну групу піддають певному впливу, а іншу — ні. Так вимірюють ступінь впливу на людей, наприклад, певного меседжа.

Як використовувати якісні дослідження?

Оксана Буць додає, що якісні дані допомагають відповісти на запитання, які можуть виникнути після кількісного дослідження: «чому», «яким чином», «що спонукало», «а що, якщо», «якою була мотивація», «що з цим робити». Вони дають змогу об’єктивніше та глибше зрозуміти ситуацію чи проблему.

Буць зазначає, що журналістам корисно читати якісні дослідження і як джерело нових тем для матеріалів. Такі опитування не обов’язково публікувати окремим матеріалом — можна прочитати, щоб дізнатися ставлення людей до теми. Також можна використовувати цю інформацію як додаткову до коментаря експерта на якусь тему. 

Експертка радить так будувати матеріал з інформацією із досліджень: найкраще додавати до цифр і графіків коментар, який пояснюватиме їх. Наприклад, стаття про українців за кордоном може починатись історією біженки, яка планує повернення в Україну — в соціології такі історії збирають якісними методами дослідження (фокус-групами, глибинними інтерв’ю, кейс-стаді). Волосевич радить після цього наводити дані кількісного опитування — «згідно з опитуванням Info Sapiens, яке провели в січні 2024 року на замовлення Центру економічної стратегії, 52 % біженців планують повернутися в Україну, 23 % не планують і 25 % ще не знають». Далі пасуватимуть коментарі експертів про те, як повернути біженців.

Коли дослідження репрезентативне

Для кількісного дослідження використовують репрезентативний і нерепрезентативний метод.

Нерепрезентативне опитування — це опитування респондентів, яких обирають спеціально для дослідження. Воно може бути корисним для розуміння думок конкретних людей, але, ймовірно, не відображатиме думок інших груп.

Репрезентативне опитування — це опитування респондентів, які якнайточніше відображатимуть усю групу, яка досліджується. Заступниця директорки Info Sapiens Інна Волосевич наголошує, що запорука репрезентативності — випадковий відбір респондентів, де кожна людина у групі має однаковий шанс потрапити до вибірки. Такий підхід допомагає уникнути спотворень у результаті. Буць пояснює, що якщо ми обиратимемо випадково, то розподіл буде приблизно такий, як і в реальному суспільстві. У такому разі дослідники обирають зі списку, наприклад, усіх домогосподарств в Україні, кожного першого, шостого, одинадцятого і так далі. Тобто з певним кроком.

Волосевич додає: якщо опитати всіх українців, то їхня думка відрізнятиметься від результатів всеукраїнського опитування з репрезентативною вибіркою максимум на 1,2 %. З цієї ж причини результати виборів майже не відрізняються від передвиборчих репрезентативних опитувань. Інтрига виникає тільки тоді, коли різниця між кандидатами в межах похибки. 

У деяких країнах створюють репрезентативні онлайн-опитування. Для цього випадковим чином обирають людей, яких запрошують взяти участь. В Україні таких не існує. Від опитування на сайті чи в соцмережах професійні онлайн-опитування відрізняються тим, що відтворюють структуру населення за статтю, віком і місцем проживання. Заступниця директорки Info Sapiens Волосевич каже, що в онлайн-опитуваннях в Україні набирають всіх охочих, тому їхню надійність неможливо оцінити й через це можуть бути перекоси в будь-який бік.

Оксана Буць зазначає, що такі опитування корисні, проте нерепрезентативні, оскільки переважно охоплюють населення від 18 до 60 років у великих містах, тоді як насправді в Україні багато хто живе в маленьких містечках і є чимало людей, старших за 60 років. 

Телефонні опитування дослідниці називають переважно репрезентативними. Їх проводять через випадкове генерування номерів. Інна Волосевич пояснює, що якщо компанія не володіє цією технологією й телефонує через певну базу, то опитування нерепрезентативне. Адже не існує бази, яка включає номери всіх українців. Крім того, зазначає Оксана Буць, якась людина ймовірніше потрапить до вибірки, якщо в неї три телефонних номери.

У час війни перевагою телефонних опитувань над особистими є те, що під час особистого опитування інтерв’юери не доїжджають у небезпечні прифронтові або закриті прикордонні райони — телефоном легше сконтактувати з мешканцями цих районів.

Нерепрезентативність — добре чи погано?

Більшість досліджень у соціології — нерепрезентативні, проте дуже цінні, оскільки більшість із них вивчають вузькі групи населення. Наприклад, представників малого бізнесу, матерів із дітьми до трьох років, працівниць сфери обслуговування, мешканців сіл прифронтових регіонів України тощо.

Такі дослідження, зазначає Буць, не можуть бути репрезентативними, бо ніхто не знає точних обсягів і складу генеральної сукупності (наприклад, немає списку всіх новоспечених матерів). Але вони можуть давати цінні інсайти, показувати загальну картину.

Проте, якщо автори дослідження намагаються перенести результати нерепрезентативного дослідження на всю Україну — треба бути обережним і ставитися до цих даних як до таких, що стосуються тільки певної частини населення. 

Обмеження методів

Якщо йдеться про соціально значущі показники — рейтинги, частка переселенців, оцінка влади, ставлення до соціально-політичних питань тощо — Волосевич рекомендує цитувати тільки репрезентативні телефонні або особисті опитування.  

Якщо йдеться про споживання, то більшість компаній користуються онлайн-опитуваннями, оскільки:

• вони найдешевші;
• там переважно реєструються найактивніші споживачі — компаніям вигідно збирати дані саме про них, адже вони приносять найбільший прибуток і є трендсетерами для інших.

Волосевич каже, що в цьому випадку також потрібно застерігати про обмеження методу. Наприклад, якщо за даними онлайн-опитування Х % споживачів люблять новинки, то насправді їх менше, оскільки загальне населення не таке активне, як учасники онлайн-панелей. Також більшість таких опитувань охоплюють лише мешканців міст 50 000 + (а це менше ніж половина населення) та людей до 60 років (майже 30 % населення). Опитування в «Дії» ще менш надійні, ніж онлайн-опитування, тому що у професійних дослідженнях хоча б контролюють основні параметри населення (стать, вік, область, розмір населеного пункту). 

Опитування «на вулиці»

Запитання на конкретну тему від журналістів або блогерів до людей, яких «спіймали» на вулиці — популярний формат для Reels і TikTok. Але він точно не відображає загальну думку суспільства. Оксана Буць зазначає, що в такому випадку:

• немає ніякої процедури відбору респондентів (що є і в нерепрезентативних опитуваннях); 
• запитання поверхові, адже для якісного дослідження можна опитувати невелику кількість респондентів, проте це мусять бути глибинні інтерв’ю з певною методикою постановки запитань, а не швидкі коментарі;
• занадто маленька вибірка, бо зазвичай людей на відео опитують на якісь одній вулиці в конкретний період часу, наприклад, о 12:00 на Хрещатику;
• ці опитування неконфіденційні — людей знімають на камеру, що суперечить всім правилам соціології; 
• позиція інтерв’юера впливає на те, яку відповідь дасть респондент; люди бояться відповідати не так, як думають їхні опоненти, тому на відповідь може впливати навіть те, на якому каналі або медіа працює журналіст; 
• журналісти чи блогери в таких опитуваннях вибирають тільки найцікавіше — вони зазвичай не зацікавлені в тому, щоб показати всі думки.

Методи аналізу

Зазвичай журналісти використовують дані частотного аналізу (відсотки або середні значення відповідей опитаних) чи контент-аналізу (поширеність певних слів, ідей). Також цікавим для медіа є кластерний аналіз або сегментаційний — коли представники групи класифікуються за сегментами. 

Волосевич каже, що найскладнішим аналізом, який вона бачила в медіа, є регресійний. Він відображає ступінь впливу різних чинників на той чи інший результат. Наприклад, жіноча стать у стільки-то разів зменшує шанс отримати високу зарплату, а чоловіча — дожити до 80 років). Решту видів аналізу переважно використовують лише науковці.

Обов’язкові правила

У матеріалі обов’язково потрібно зазначати:

• хто й коли проводив опитування;
• яким методом (якщо соціологічні компанії це зазначають);
• серед кого;
• чи воно репрезентативне;
• розмір вибірки.

Крім того, висновки з дослідження потрібно подавати як думку дослідників, а не як аналіз журналіста. Інна Волосевич каже, що можна обмежитися покликанням на публікацію чи цитатою дослідника. 

Вона наголошує, що потрібно звертати увагу на дати дослідження: воно могло проводитися рік тому, а дані опублікували лише зараз. Також варто проаналізувати контекст відповідного періоду — які ключові події тоді відбувались, якими були топновини й що з того часу змінилось. 

«Наприклад, якщо ви порівнюєте дані 2013-го та 2014-го, потрібно пам’ятати, що у другій половині 2014 в опитуваннях вже не брало участь близько 15 % населення, що мешкало на окупованих територіях. Якщо ви порівнюєте дані 2021-го і 2022–2024 років, пам’ятайте, що в опитуваннях 2022–2023 роках не враховують думку біженців і мешканців окупованих під час повномасштабної війни територій», — пояснює Волосевич. 

Найпоширеніші помилки

Інна Волосевич зазначає, що найчастіше помилок припускаються, коли частку від конкретної групи трактують як частку від всього населення. 2022 року Info Sapiens виявили, що 5 % населення негативно ставляться до ВПО й запитали респондентів про причини.

«З них 58 % сказали, що вони [ВПО] “розважаються”, приблизно половина — що вони не хочуть працювати, не розмовляють українською тощо. Ця публікація викликала обурення, тому що люди прочитали це як “58 % українців вважають, що переселенці розважаються”. Тому ми додали відсоток від всього населення — в перерахунку на всіх українців лише 3 % ставляться до ВПО негативно, бо ті “розважаються”», — каже заступниця директорки Info Sapiens Інна Волосевич.

Інші поширені помилки:

• Дані опитування частини населення (наприклад, мешканців міст 50 000+ до 60 років) помилково поширюють на всіх українців. Про «українців» коректно говорити тільки якщо вибірка є репрезентативною щодо дорослого населення підконтрольних територій.
• Онлайн-опитування чи опитування в «Дії» прирівнюють до репрезентативних.
• Коли роблять висновки про різницю між групами на основі незначної різниці в межах похибки. Наприклад, некоректно писати, що перемагає кандидат Х, якщо в кандидата Y лише на 1 відсотковий пункт менше.
• Коли озвучують лише одну цифру. Наприклад, якщо озвучити, що «лише половина біженців планує повернутися в Україну», то складається хибне враження, що половина не планує. Або якщо «лише 23 % біженців не планують повертатись», то виглядає, ніби решта планує.
• Коли представляють дані в динаміці без порівняння досліджуваних груп. Якщо сьогодні 52 % біженців планують повернутись, а 2022-го таких було 74 %, некоректно це коментувати як «бажання повернутися серед біженців зменшується». Насправді так відбувається тому, що ті, хто найбільше хотів повернутися, вже повернулись, і що більше людей повертатиметься, тим меншим буде відповідне бажання серед тих, хто лишатиметься.
• Узагальнення. Волосевич каже, що не бачила опитувань, де б 100 % опитаних відповіли однаково, тому фраза «всі українці» в будь-якому разі є некоректною. Якщо показник більший за 50 % (і до цього додати значення похибки), то потрібно говорити про більшість. Якщо показник менший ніж 50 %, але є найпоширенішою думкою, коректно говорити про відносну більшість. 

Оксана Буць також додає, що неправильно подавати відповідь «важко відповісти» як середнє значення. Таким, наприклад, є варіант відповіді в опитуваннях «задоволена і незадоволена рівною мірою».

Порівняння між групами й категоріями

Волосевич пояснює, що найкраща ілюстрація некоректного порівняння — коли між одним і другим кандидатом відрив не більше 2 %. Ця різниця в межах похибки вибірки, тобто з великою ймовірністю виграти може і перший, і другий кандидат. Проте інколи таку невелику різницю трактують як великий відрив, чим користуються деякі замовники.

«Мені смішно, коли люди серйозно обговорюють такі крихітні відмінності та, якщо в компанії Х виграє перший кандидат, а в компанії Y — другий, трактують це, як “хто платить, той замовляє музику”. На жаль, у випадку недоброчесних компаній це може бути правдою, нам теж колись пропонували “додати 1 % у межах похибки”. Коли ми відмовилися, не образились і сказали, що знають, що за цим треба звертатися до інших”», — зазначає Інна Волосевич.

Серед іншого, щоб не робити в матеріалах необ’єктивних порівнянь між групами, треба додавати контекст до опису результатів.

«Наприклад, ми можемо дізнатися, що в Україні вступає в університети якийсь відсоток людей, а в Америці — інший. Проте університет в Америці — це не те ж саме, що університет в Україні чи в Європі. Якщо ми порівнюємо ці дані, потрібно надавати контекст», — говорить Оксана Буць.

Також Волосевич зазначає: щоб дізнатися, чи є значущою різниця показників між групами, потрібно знати розмір вибірки або підвибірки (скільки людей опитали в кожній групі) — це підраховують за допомогою математичної формули. У деяких звітах позначають статистично значущі відмінності (їх виділяють у дослідженні або позначають як «р<0,05» або «p-level є меншим або дорівнює 0,05»; це означає, що ймовірність того, що відмінності в показниках між двома змінними є випадковими — маленька, і становить до 5 %), що може допомогти інтерпретувати дані. 

Для чого потрібні великі вибірки?

Інна Волосевич припускає, що серед громадськості побутує уявлення, наче вибірка, яка складає менше ніж 2000 респондентів — недостатня. Через це, зазначає Буць, журналіст має наголосити на репрезентативності або нерепрезентативності дослідження, цитуючи його (навіть якщо вже вказав методологію).

Якщо говорити про дані для всього населення, важливо враховувати граничну похибку, яка залежить від розміру вибірки.

«Різниця у граничній похибці між вибіркою 2000 й 1000 невелика: для 2000 похибкою є 2,2 %, а для 1000 це 3,1 %. Похибка для вибірки у 800 респондентів — 3,5 %, 600 — 4 %, 400 — 5 %. Якщо вибірка менш як 400 респондентів, то похибка починає стрімко зростати: для 200 вона вже становить 7 %. Тому для надійного аналізу рекомендують опитувати не менше ніж 400 респондентів», — пояснює Волосевич. 

Похибку можна розрахувати тільки для випадкової вибірки, тому дані телефонного або особистого опитування 400 респондентів є надійнішими, ніж, наприклад, дані онлайн-опитування 20 000 респондентів. 

Також іноді нефахівці помилково застосовують граничну похибку вибірки для всіх значень, оскільки вона не всюди однакова. Зокрема для вибірки в 1000 опитаних похибка для 50 % становить 3,1 %, для 25 % або 75 % — 2,7 %, для 5 % або 95 % — 1,4 %, для 1 % і 99 % — 0,6 %. 

Візуалізація даних

Якщо в матеріалі використовують цифри, їх краще подавати графіком або таблицею — перераховувати всі відсотки в тексті нудно, а окремий показник чи показники можуть справляти хибне враження. 

На графіку завжди треба вказувати, від кого рахується показник — від всієї вибірки чи від певної групи. У останньому випадку коректно зазначати розмір цієї групи — якщо підвибірка складає менш як 50 осіб, ці дані можуть бути ненадійними.

Волосевич вважає оманливими графіки, які приховують частку «важко сказати» й перераховують дані від тих, хто дав змістовну відповідь, адже ця частка може бути великою. Коректно зазначити її в підписі до графіка, але тоді цей нюанс можна не помітити.

Крім того, графіки можуть бути непрофесійно або маніпулятивно побудованими: через різну шкалу різницю в кілька відсотків можна показати як величезною, так і мінімальною. Наприклад, 30 % можна показати як 80 % тощо. 

Оксана Буць зазначає, що якщо шкалу графіка візуально зменшують із якихось причин (наприклад, щоб зекономити місце на верстці), це також може скласти в читача хибну думку про результати чи дослідження загалом.

Інколи частини графіка, якщо це кругова діаграма, можуть виглядати однаковими — це помилка дослідників. Водночас якщо ці дані подали би стовпчиками, людина б чітко побачила, де 22 %, а де 15 %. 

Чиїм дослідженням можна довіряти?

Волосевич зазначає, що якщо компанії немає в базі псевдосоціологів та її працівників не ловили на недоброчесності, то немає підстав говорити про фальсифікації. Крім того, підвищує довіру до компанії належність до професійних спільнот: Соціологічної асоціації України, ESOMAR, WAPOR. Оксана Буць радить погуглити дані з минулих досліджень компанії.

Якщо журналіст працює з даними не від соціологічної компанії, потрібно перевірити, чи має ця організація публікацію про дослідження на сайті чи в соцмережах. Якщо ні — це може бути дезінформацією. У такому випадку потрібно звернутися до авторів за підтвердженням. Волосевич згадує, що в Info Sapiens також були випадки, коли поширювалися фейкові дані від їхнього імені, які команда мусила спростовувати. Якщо публікація є, її потрібно звірити із джерелом даних.

Також у дослідженні має бути вказаний метод, обсяг вибірки, дати (або хоча б місяць) проведення й цільова авдиторія (наприклад, доросле населення, що проживає на підконтрольних територіях України). Якщо щось не вказано — це ознака непрофесійної роботи. 

Що запитати в дослідника?

Щоб не витрачати даремними уточненнями часу як дослідника, так і авдиторії, яка їх читатиме, варто відразу питати про конкретні показники й що вони означають, а не змушувати дослідника їх наводити: «Як ви вважаєте, те, що половина біженців планують повернутися — це багато чи мало?» замість «Скільки біженців планують повернутись?».

Типовим, але майже завжди цікавим є питання: «Що найбільше вас здивувало в дослідженні?». Також корисним є питання про те, як змінювався показник у динаміці, та якими є його чи її прогнози на майбутнє. Оксана Буць також радить запитувати про найважливіші на думку дослідників показники, або що авдиторії треба запам’ятати з цього дослідження.

Серед іншого, хороше запитання — скільки людей та як довго працювали над дослідженням. 

Інна Волосевич також радить погуглити попередні чи подібні дослідження й попросити прокоментувати результати з урахуванням цих опитувань.