Як перевірити соціологічні дослідження: поради фактчекерки

Звідки ці дані? Алгоритм фактчекінгу, який вкаже на маніпуляції чи підробки соціологічних досліджень

Середа, 6 Березня, 2024

Середовище

Тропиніна Аліна

Соціологічними даними часто маніпулюють фейкороби та пропагандисти: беруть репрезентативні соціологічні дослідження й витягують із них вигідні для себе фрагменти, гублячи найважливіші висновки. Також можна побачити й відверті підробки, де вигаданими будуть не лише результати досліджень, а й компанії, що їх проводили. Як ідентифікувати подібні махінації розповіла аналітикиня та фактчекерка VoxCheck Аліна Тропиніна під час вебінару «Що за дані? Як перекручують соціологічні дослідження» в межах курсу «Це вам не клікбейт!» від EdEra.

Хибне трактування реальних соціологічних досліджень

Маніпуляція: Більш ніж 70 % німців проти збільшення військової допомоги Україні — опитування компанії DeutschlandTREND.

Скриншот публікації

Хто це сказав?

Будь-яку перевірку Аліна Тропиніна радить починати з пошуку першоджерела. Це базова порада під час підготовки чи споживання контенту: якщо сумніваєтеся в інформації, яку бачите, — перевіряйте першоджерело. І навіть якщо не сумніваєтеся — все одно перевіряйте. 

Так вдалося виявити, що насправді DeutschlandTREND — це назва щомісячних опитувань, а не компанії. Насправді ж опитування проводив відомий у Німеччині інституту Infratest Dimap. Це вже ознака хоча б того, що автор не був надто уважним, коли писав матеріал, і потенційно не володіє німецькою мовою. Тому збільшуються шанси зустріти помилки у трактуванні соціологічних даних.

З 31 жовтня до 2 листопада 2022 року компанія Infratest Dimap на замовлення телеканалу ARD справді провела опитування серед мешканців Німеччини щодо надання Україні допомоги. У опитуванні взяли участь понад 1300 учасників, відбувалося воно онлайн і телефоном. Тобто дослідження реальне й коректно проведене.

Достатньо не означає забагато

Наступним кроком є безпосередній аналіз даних дослідження. Розбір тексту оригінального опитування показав, що німців навіть не питали, чи варто Німеччині збільшувати військову підтримку України. Натомість респонденти оцінювали поточний обсяг підтримки. Лише третина респондентів назвали цей обсяг занадто великим. 

«Росія вторглася в Україну наприкінці лютого. Німеччина відреагувала на це різними кроками. Будь ласка, вкажіть нижче, чи є вони достатніми, занадто великими або недостатніми…». Результати такі:

41 % — підтримка достатня;

30 % — підтримка надмірна;

21 % — підтримка недостатня.

Що зробив автор? Він додав два результати: 41% і 30%, і отримав показник у 70 %. Нібито всі 70 % проти збільшення допомоги, бо ж не обрали такий варіант в анкеті. Те, що 41 % респондентів визнали поточний рівень підтримки достатнім, не означає, що вони проти збільшення обсягів допомоги. Це навмисне викривлення змісту.

Іноді буває так, що за результати соціологічних опитувань видають те, що насправді зовсім не є ними. Для того, щоб стверджувати, що результати опитування представляють думку населення в цілому, треба сформувати вибірку респондентів за спеціальною процедурою. Відкриті опитування в соцмережах не репрезентують громадську думку. 

Які бувають види соціологічних досліджень?


Основними методами проведення досліджень є кількісний і якісний. Різниця полягає в тому, що кількісні дослідження в результаті видають певне число як висновок і дають змогу транслювати цей показник на широку сукупність. Тоді як якісні досліджують більш суб‘єктивні поняття, і зібрана інформація часто не є числовою. 

Переважно маніпулюють саме числами. У кількісних дослідженнях головне — вибірка, вона має бути достатньою за розміром й обов‘язково включати різні групи населення, причому критеріїв поділу має бути кілька. Наприклад: вік, стать, рівень доходу й регіон проживання. 

Також статистична похибка має бути невеликою — 3–5 %. Усе це має зазначатись у методології дослідження.


Підробка результатів авторитетних компаній 

Загалом репутація для компанії, яка займається соціологічними дослідженнями, вкрай важлива — вона є гарантом якості їхньої роботи. Репрезентативним дослідженням довіряють, чим і користуються, наприклад, пропагандисти. Вони використовують імена знаних компаній для того, щоб в їхній фейк повірило більше читачів. І наступний кейс — саме про це. 

Фейк: 75 % користувачів інтернету в Україні стежили за прямою трансляцією Путіна

Скриншот публікації
Скриншот публікації

Пошук та аналіз першоджерела показав, що Euronews не публікували подібного відео й не писали про цю новину. Дослідження про перегляд пресконференції Путіна в Україні не з’являвся й на сайті Інституту Ґеллапа чи в його соцмережах (Twitter, Instagram, Facebook, Threads, YouTube).

Іноді для ідентифікації фейку достатньо критичного мислення: 14 грудня 2023 року Путін справді провів пресконференцію. Тоді як вперше відео про «дослідження» з’явилося вже наступного дня, 15 грудня. Тобто менш ніж за добу іноземні фахівці якимось чином (у відео нічого не сказано про методологію) мали б проаналізувати інтернет-трафік саме українських користувачів. Водночас відстеження подібної інформації не входить до переліку їхніх регулярних досліджень.

Як перевірити надійність соціологічної компанії?

Аби перевірити, чи можна довіряти українській соціологічній компанії, можна знайти, чи акредитована вона Соціологічною асоціацією України. Станом на початок 2024 року в Україні акредитовано 11 соціологічних компаній: 

  1. Громадська організація «Український інститут соціальних досліджень імені Олександра Яременка».
  2. Соціологічний факультет Харківського національного університету імені В. Н. Каразіна.
  3. Східноукраїнський Фонд соціальних досліджень.
  4. Київський міжнародний інститут соціології (КМІС).
  5. Дослідницька компанія «ГфК Юкрейн» (GfK Ukraine).
  6. Український центр економічних і політичних досліджень імені Олександра Разумкова (Центр Разумкова).
  7. ТОВ «Kantar TNS Ukraine» (Компанія ТОВ «Тейлор Нельсон Софрез Україна», TNS в Україні).
  8. «Центр соціальних та маркетингових досліджень SOCIS».
  9. Соціологічна група «Рейтинг».
  10. Дослідницька агенція «Fama».
  11. Громадська організація «Центр „Соціальний моніторинг“».

Як перевірити надійність українських і закордонних медіа?

Перевірити надійність українського медіа можна за допомогою наступних рейтингів:

Перевірити надійність іноземного медіа можна за допомогою ресурсу Media Bias/Fact Check. Він оцінює видання зокрема на фактологічність й упередженість. Оцінки High і Very high означають, що медіа здебільшого публікує матеріали, які базуються на перевірених фактах, і не маніпулює емоціями читача. Таке джерело можна вважати надійним.

Інші формати підробок:

Переважно після виконання своєї функції — поширення неправдивої інформації — ресурси стають неактивними. 

На що варто звертати увагу під час перевірки сайту соціологічної компанії:

Приклад:

Оригінальний сайт: https://isnasu.org.ua/

Фейковий сайт: https://iіsnasu.org.ua./

Крім того, вебархіви корисні для збереження оригінального джерела чи пошуку його попередньої версії, оскільки оригінальні сторінки можуть видалити або відредагувати.

Навчитися коректно трактувати соціологічні дослідження й посилювати свої матеріали валідними даними можна на безплатному онлайн-курсі «Це вам не клікбейт!» від EdEra. Курс викладає ректор Київської школи економіки Тимофій Брік. Він докладно пояснює доречність і види соціальних досліджень, чому не завжди потрібна похибка, як зрозуміти, якій вибірці можна довіряти й на що насамперед звертати увагу, якщо потрібні серйозні цифри для матеріалів. Курс містить 10 коротких відеолекцій і 25 практичних кейсів у тестах. Зареєструватися можна тут

дослідження | маніпуляції | соціологічні дослідження | фактчекінг