Як Texty.org.ua досліджували алгоритми YouTube в Україні та Польщі

У меню — конспірологія та дезінформація. Як Texty.org.ua досліджували алгоритми YouTube в Україні та Польщі

Середа, 17 Січня, 2024

Середовище

Вероніка Нановська

YouTube — одна з найпопулярніших соцмереж в Україні та Польщі, у якій алгоритми (як і в інших соцмережах), підхоплюють інтереси користувача й підсилюють їх, пропонуючи більше відповідних тем і думок. Такі добірки можуть бути корисними або, навпаки, пропонувати шкідливі твердження.

У листопаді 2023 року журналісти видання Texty.org.ua, яке працює з проєктами журналістики даних, опублікували дослідження про роботу алгоритму рекомендаційної системи YouTube в Україні та Польщі. Для нього видання навіть створило спеціальне розширення для браузера, яке збирає дані про перегляди користувача на платформі.

«Медіамейкер» поспілкувався з авторкою дослідження Юлією Дукач і розробником плагіна Владиславом Герасименком про те, як команда працювала з дослідженням і які висновки про YouTube вони зробили.

Як працювала команда?

Дослідження розпочалося з обговорення ідеї в редакції, де кожен розповів про свій досвід використання YouTube. Одна з основних гіпотез, яку команда потім спростувала, виникла ще на початку 2022 року — якщо користувач дивиться відео українською мовою, платформа однаково пропонує контент російською. Насправді є пряма залежність між тим, що користувач дивиться, й тим, що рекомендує платформа.

«Якщо в Telegram ми нібито самі обираємо, що читати, то YouTube — алгоритмічна мережа. Водночас у контексті війни Росії проти України рекомендаційний алгоритм платформи нечутливий до питання російської агресії. Для нас було важливо подивитися, що платформа може пропонувати користувачам і наскільки багато проблем виникає через недосконалу модерацію чи російські впливи», — каже Юлія Дукач.

Команда орієнтувалася на дослідження Mozilla Foundation 2019 року, в якому розглядали американський сегмент YouTube. Texty.org.ua цікавилися інформаційною війною, російськими впливами та пропагандою. Коли з’явилися кошти на дослідження, команда знову розпочала роботу. 

Оскільки це великий проєкт, до нього залучили багато членів редакції. Над дослідженням працювали:

Як Texty досліджували платформу?

Юлія Дукач каже, що обрали YouTube, бо це — одна з найпопулярніших платформ в Україні та Польщі. Згідно з дослідженням ОПОРИ 2022 року, двоє з трьох українців користувалися платформою як для споживання розважального контенту, так і для отримання новин із відео. Крім того, відеоконтент є більш емоційним і може сильніше впливати на поведінку та думки людей.

Дослідниця додає, що алгоритмічні соцмережі, як-от YouTube, досліджувати важче, оскільки способи просування контенту складніші. Тому зазвичай використовують дві основні стратегії дослідити це:

  1. Створити багато фіктивних, і нових користувачів, як це робили у своєму дослідженні The Wall Street Journal під час аналізу TikTok. Але так дослідники дуже сильно впливають на перебіг цього дослідження, зокрема тим, як саме програмують поведінку ботів.
  2. Співпрацювати з реальними користувачами. Це набагато складніше з організаційної точки зору, оскільки потрібно переконати людей ділитися своїми особистими даними. Крім того, нема впевненості у фінальному результаті, оскільки ми не знаємо, що ми отримаємо і наскільки ці дані якісні. Водночас так простіше виявити й оцінити реальні проблеми справжніх користувачів.

Команда обрала другий варіант для дослідження, яке тривало від червня до серпня 2023 року. Дослідницька агенція Info Sapiens на основі онлайн-панелі OnlineSapiens та за результатами скринінгового опитування залучила 205 українців. Рекрутингом 122 осіб із Польщі займалася дослідницька агенція MASMI Poland. Учасники встановили спеціальне розширення для десктоп-браузера Google Chrome і погодилися передавати інформацію про всі свої перегляди на платформі щонайменше кілька разів на тиждень. 

Програма фіксувала дані про відеоконтент, який переглядає користувач, і рекомендації, які надає йому платформа. Отримані результати проаналізували за допомогою методів описової статистики, визначення тем (topic modeling) та розпізнавання іменованих сутностей (Named-entity recognition, NER), імплементованих у Python-бібліотеках pandas, yt-dlp та BERTopic.

Як працюють алгоритми?

Під час дослідження виявили, що YouTube через рекомендації просуває конспірологію й антиукраїнську пропаганду — контент, загрозливий як для окремого глядача, так і для національної безпеки України. Крім того, політика платформи спрямована на розв’язання поточних проблем і не передбачає системної роботи з вилучення чи обмеження пропаганди.

YouTube намагається орієнтуватися на інтереси користувача. Є багато чинників, які визначають, яке відео рекомендувати користувачеві. Серед них:

Також платформа часто рекомендує контент, який переглядають інші користувачі зі схожими інтересами. 

Більше про це: Як YouTube рекомендує відео та чи правдиві теорії про ідеологічно заангажовані алгоритми

Особливості категоризації відео на YouTube

Раніше платформа просувала популярні канали та відео. Від 2017 року YouTube почав рекомендувати контент за схожістю. І маркування каналів та відео — одна зі змінних, яка на це впливає. 

Платформа аналізує метадані кожного відео: заголовок, опис, ключові слова, а також відеоряд. На основі цієї інформації відео зараховують до певної категорії, наприклад, «Новини й політика», «Ігри» або «Музика».

Категорія відео впливає на те, як система рекомендацій просуватиме ролик. Якщо користувач дивиться відео з категорії «Спорт», то YouTube навряд чи рекомендуватиме відео з категорії «Наука та технології». І навіть якщо людина дивиться нове відео, платформа просуває контент із каналів, які користувач переглядав раніше. Також якщо користувач переглядає відео з якоюсь особою, платформа рекомендуватиме йому значно більше контенту саме з цією особою, а не з іншими.

Із цього можна зробити висновок, що платформі зручніше проштовхувати «перевірені рекомендації». Це подекуди створює ефект бульбашки або циклічності. Якщо ви переглядаєте щось нове, не притаманне вашій історії переглядів, системі рекомендацій потрібен час для аналізу та пристосування до ваших нових уподобань.

Повернемося до категорій. Як ідеться в дослідженні, алгоритми їхнього визначення часом розмиті. Платформа часто припускається неточностей, зокрема некоректно категоризує цілком однозначні відео. Наприклад, деякі відео з відвертими пропагандистами категоризувалися як ігровий або розважальний контент. Автори дослідження виявили низку каналів, які по-різному маркують свої відео — від категорії «Education» до «Entertainment» — й емоційно виступають проти мобілізації в Україні.

YouTube просуває персон та організації, яких сама ж платформа і намагалася заборонити або зменшити їхній інформаційний вплив. Наприклад, 11 серпня 2023 року YouTube видалив два канали проросійського псевдоексперта зі США Скотта Ріттера. Однак платформа й надалі просуває його інтерв’ю або відео з нарізками. Те ж стосується топового російського пропагандиста Володимира Соловйова, якого платформа заблокувала. Водночас він також з’являється в різних відеонарізках або в матеріалах, де не вказано прямо, що в них присутній заборонений ведучий.

Який тип відео рекомендує YouTube після перегляду  — дослідження "ТЕКСТІВ"

Це контент із сірої зони — з часом платформа прибирає такі відео, однак чимало користувачів встигають перейти за рекомендацією та переглянути їх.

На платформі також присутні інтимні відео, які мімікрують під освітній контент. Це допомагає їм залишатися невидимими. Крім того, на перегляд таких роликів платформа реагує не менш непристойними рекомендаціями.

Це ж стосується антинаукового контенту. У рекомендації може потрапляти контент про лікування раку содою, чудодійне зниження холестерину без ліків, різні неперевірені дієти та голодування, боротьбу із зайвою вагою сумнівними методами, а також пряма реклама сумнівних медичних препаратів. Усі ці відео платформа маркувала як Education.

Що переглядають в рекомендаціях на YouTube  — дослідження "ТЕКСТІВ"

Читайте більше: Українські медіаменеджери — про болі та гріхи у веденні YouTube-каналів

Як мова впливає на рекомендації YouTube

Також YouTube чутливий до питання мови, якою людина дивиться контент: українською чи російською. Від цього залежатиме мова відео зі списку рекомендацій.

Більше переглядів російською = більше російськомовних рекомендацій. І навпаки.

Якщо користувача дратують російськомовні рекомендації, то імовірно, що один із найдієвіших способів — зменшити кількість переглядів російськомовного контенту. Також можна встановити спеціальний плагін, який його блокуватиме.

Мовні рекомендації YouTubе залежать від історії переглядів  — дослідження "ТЕКСТІВ"

Питання війни Росії проти України

Після повномасштабного російського вторгнення 24 лютого 2022 року багато українців змінило своє ставлення до Росії й відмовилося від перегляду російського контенту. Проте рекомендаційний алгоритм платформи нечутливий до війни Росії проти України. YouTube надає персоналізований контент, а не просуває «проукраїнські» чи «проросійські» відео. Тобто якщо людина активно взаємодіяла з проросійським контентом чи відео від росіян, алгоритм і далі пропонуватиме схожі відео без огляду на потенційну шкоду. Наприклад, глядачеві ведучої Діани Панченко платформа пропонуватиме «персоналізований» контент заборонених в Україні каналів «Страна.ua», «Ясно. Понятно».

YouTube багато зробив для вичищання російської пропаганди, проте, вважають дослідники, йому необхідно розпізнавати проросійський контент і виключати його з рекомендацій для України та для інших країн, а також врахувати внутрішньодержавні заборони поширювати контент від осіб, які загрожують національній безпеці України.


Підпишіться на нашу імейл-розсилку, щоб двічі на тиждень отримувати листи з найважливішим із медіасвіту: новинами, історіями, можливостями та прикладними порадами.


Чому вирішили дослідити YouTube в Польщі?

Основна мета дослідження — показати, що платформа пропонує своїм українським користувачам. Владислав Герасименко пояснює: те як YouTube працює з персоналізованою видачею в Україні може не відображати загальну картину про алгоритми на платформі.

Юлія Дукач каже, що команда вирішила порівняти отримані результати і з’ясувати, чи притаманні ці проблеми лише Україні. Крім того, пояснює дослідниця, там перебуває велика кількість українських біженців: «Політичні процеси, соціальні зміни сильно впливають і на постачання зброї, і на якість життя українців в Польщі. Ми доволі близькі й певним чином залежні одна від одної країни, тому нам було важливо подивитися, чим відрізняються алгоритми та які загрози залишаються в польському YouTube-просторі».

На відміну від українського сегмента YouTube, у Польщі автори зафіксували меншу кількість відео, які містять проросійські або антиукраїнські наративи, що в контексті війни часто одне й те саме. Та навіть у польському сегменті автори побачили, як рекомендації створюють пропагандистську воронку — варто людині переглянути сумнівне відео, як система автоматично підкидає їй багато схожих.

Крім того, маніпулювати навколополітичним контентом у Польщі складніше. Автори виділили три основні причини, чому це так:

  1. У Польщі мало хто розуміє російську мову, а тому не споживають російськомовний контент, що дійсно рятує їх від великої частки пропаганди та маніпуляцій.
  2. YouTube у Польщі менше використовують для споживання новин і оперативної інформації, а розважальним контентом маніпулювати набагато складніше. Зокрема, у дослідженні наголошують, що вибірка учасників не є репрезентативною, проте жоден із 50 найбільших польських каналів грудня за кількістю підписників не працює в категорії «Новини й політика». В Україні ж у рейтинг 50 найбільших каналів входить 12 новинних каналів.
  3. Польща перебуває у юридичній площині Європейського Союзу, де законодавство щодо модерування платформ найбільш жорстке.

І хоча запит на новинний контент у Польщі не такий великий, проте інформаційні блогери знаходять свою нішу. Там блогінг істотно відрізняється від новин. У таких відео більше емоцій і «особистої думки», але менше фактів. Польща має схожі практики годинного спілкування з нібито експертами, хоч і в менших обсягах.

Як розширення для браузера допомогло у дослідженні теми?

Команда розробила спеціальний плагін, який учасники встановлювали в браузері. Він збирав дані про відео, яке людина дивиться, зокрема покликання, заголовок та автор відео, тривалість, кількість переглядів і вподобань тощо. Також фіксували перелік рекомендованих поруч відео.

Владислав Герасименко розповідає: найбільша складність полягала у тому, що редакція не мала великого досвіду розроблення таких програм. До того ж таке розширення мусить пройти перевірку і затвердження від Google, щоб з’явитися в магазині Google Web Store. У цьому виданню допоміг волонтер Тарас, який відгукнувся на запит редакції в соцмережах. Спочатку команда намагалася використати вже готовий плагін, яке розробили дослідники з Італії. Але виявилося, що простіше створити свій продукт із нуля.

Це не перше розширення для браузера, яке робили Texty.org.ua. Раніше вони розробляли «Фейкогриз», де ввели базу сайтів-сміттярок. Програма надсилає сповіщення, якщо користувач заходить на маніпулятивний сайт або матеріал, який є маніпуляцією. Позначки генерує нейромережа, яку Texty.org.ua тренували на тисячах маніпулятивних новин.

Що далі?

Сьогодні за результатами цих досліджень команда розробляє політики й рекомендації, які поширюватимуть як для представників YouTube, так і для представників Верховної Ради та партнерів, зокрема Центру стратегічних комунікацій.

Рекомендації пояснюватимуть, як можна покращити роботу платформи, щоби зменшити обсяг деструктивного і зокрема проросійського контенту. Крім того, частину рекомендацій опублікують у мережі для українців, які хочуть споживати якісний контент.

«Будь-які соціальні платформи, які базуються на роботі алгоритмів, завжди мають недосконалості. Вони провокують ризики, від яких залежить наше інформаційне середовище й можливість інформаційного впливу, зокрема з боку Росії», — каже Юлія Дукач. Тож поки автори радять критично ставитися до рекомендацій і уникати російського контенту, навіть заради цікавості. 

Texty.org.ua | youtube | дослідження