Алгоритми все більше впливають на медіаконтент — наприклад, формують новинні стрічки, але часто залишаються непомітними для звичайного читача.
Як дізнатися, чи алгоритми працюють чесно та прозоро? У статті для Інституту журналістики Рейнольдса (RJI) дослідник алгоритмів Енді Лі Рот описав послідовність проведення DIY-аудиту (Do It Yourself — «Зроби це сам»). Переповідаємо його поради.
Що таке аудит алгоритмів?
Аудит алгоритмів — метод, за яким ви даєте йому різні вхідні дані, щоби перевірити, чи вплине це на вихідні дані (наприклад, рекомендації схожого контенту). Є багато типів аудиту алгоритмів, але майже всі вони мають одну або дві спільні цілі — зробити висновки про внутрішню роботу алгоритму та/або його потенційно проблемні результати.
Аудит, зроблений власними руками (DIY), характеризується як якісне оцінювання, що не вимагає технічних обчислювальних навичок і яке можна виконати самостійно.
Навіщо проводити аудит?
Як пише Енді Лі Рот, на основі аудиту алгоритмів можна вдосконалити дистрибуцію своїх матеріалів або створити матеріали про те, як алгоритми викривлюють значущість подій через упередження під час добору новин.
Попри заяви про прозорість, великі технологічні компанії, які розробляють алгоритми й керують ними, розглядають відповідальне використання як «питання дотримання правил за зачиненими дверима, а не як питання, що викликає занепокоєння громадськості». Водночас Alphabet, Meta та інші великі технологічні компанії навряд чи реагуватимуть на критику своїх алгоритмічних систем, якщо громадськість не чинитиме тиск на них.
Хоча аудит алгоритмів може бути самостійною основою для цікавого матеріалу, журналісти часто поєднують результати таких досліджень із традиційними інтерв’ю. Опитування не лише тих, хто розробив чи використовує певний алгоритм, а й тих, на кого він впливає — фундаментальний аспект матеріалів про алгоритмічну підзвітність, який допоможе краще зрозуміти, як працює алгоритм і які наслідки він має.
Як самостійно провести аудит алгоритмів
1. Визначте фокус вашого дослідження
Виберіть предмет, який піддається дослідженню. Тобто для дослідження ви маєте отримати доступ до алгоритму й могти маніпулювати вхідними даними, щоб задокументувати вихідні. Зазвичай це означає вибір однієї або кількох найвідоміших пошукових систем, новинних агрегаторів або платформ соцмереж — тобто систем, призначених для публічного використання, які використовують алгоритми.
Ви маєте визначити, чи можна виміряти відмінності в результатах. Наприклад, відмінності між групами, якщо ви прагнете дослідити упередження на основі статі, раси, сексуальної орієнтації чи інших форм ідентичності. Або відмінності між категоріями контенту, якщо ви хочете визначити, як системи рекомендацій впливають на поширення новин.Також визначтеся, як виглядатиме нормальний або неупереджений результат роботи алгоритму.
2. Часові межі
- Коли почнеться і закінчиться збір даних?
- Як часто ви збиратимете дані?
Від відповідей на ці запитання залежатиме обсяг проєкту, зокрема скільки часу й людей знадобиться для його проведення. В умовах обмеженого часу й самостійної роботи значущі результати можна отримати вже за тиждень збору даних, хоча на аналіз і опис піде більше часу .
Для деяких аудитів важлива подія, наприклад, ухвалення закону, може слугувати часовим орієнтиром для визначення початку та завершення збору даних.
3. Налаштування системи
Конфігурація вашої пошукової системи та браузера може вплинути на ваші результати. Щоб мінімізувати персоналізацію, є кілька варіантів:
- веббраузер без історії користувачів і входу в систему;
- Tor — браузер, який блокує всі трекери й рекламу;
- VPN допоможе уникнути результатів, пов’язаних із фактичним географічним розташуванням або попередньою історією переглядів.
Навіть якщо ви використовуєте VPN, то все одно регулярно очищайте кеш, файли cookie та історію браузера, щоб уникнути їхнього впливу на результати пошуку.
4. Пошукові терміни
Розроблення пошукових термінів є ключем до проведення ефективного аудиту алгоритмів. Незалежно від того, чи зосереджені ви на тому, як певні групи людей представлені на платформах новинних агрегаторів, як часто шкідливі стереотипи з’являються в результатах пошуку або як пошукові системи пріоритизують певні типи контенту чи джерела над іншими, ваші пошукові терміни мають узгоджуватися з вашими цілями.
Для початку варто використовувати широкі пошукові терміни:
- враховуйте типи слів, які може використовувати широка авдиторія під час пошуку інформації в інтернеті, а також синоніми й пов’язані з ними поняття;
- запустіть запити на платформі, щоби краще зрозуміти, як пошукова система або платформа організовує, розставляє пріоритети та видає інформацію користувачеві.
Зверніть увагу на упередженість або закономірності, які можуть з’явитися під час розроблення та тестування запитів. За потреби розширюйте чи звужуйте пошукові терміни. Навіть незначні зміни можуть виявити стереотипи або інший проблемний контент, пов’язаний з історично маргіналізованими групами, або контент, який може підпадати під онлайн-фільтрацію.
Задокументуйте процес і обґрунтування ваших пошукових термінів, щоб забезпечити прозорість і відтворюваність.
5. Збір даних
Найпростіша форма збору даних передбачає надсилання запитів вручну та збереження результатів, наприклад, у вигляді скриншотів для подальшого аналізу. Для кожного результату також необхідно занотовувати пошукові терміни, які ви використовували, дату й час доби, якщо ви збирали дані кілька разів на день.
Наступною рекомендацією є створення кількох тек для збору даних — однієї для скриншотів видачі, а іншу для детальнішого контенту, пов’язаного з кожним результатом. Збирання більшої кількості даних, ніж ви можете використати в кінцевому підсумку, простіше, ніж на пізнішій стадії процесу аудиту шукати деталі, які, як ви вважали, не знадобляться для аналізу.
Іноді для автоматизації збору даних можна використовувати інтерфейс прикладного програмування (API), але багато з цілей для аудиту алгоритмів не мають загальнодоступних API або створені так, щоби протистояти вилученню даних. Деякі дослідження показують, що API неточно відображають реальний досвід користувачів, що є ще однією причиною використовувати їх вибірково.
Вибрані категорії кодування з дослідження рекомендацій новинних агрегаторів щодо історій
6. Аналіз даних
Для початку вам необхідно проаналізувати обґрунтовані кейси для порівняння.
Далі створити категорії кодування, щоб упорядкувати зібрані дані. Кожен кейс має відповідати лише одній категорії кодування. Але на практиці це не завжди можливо.
Можуть зʼявлятися кейси, які є викликом для вашої категоризації. Не підлаштовуйте їх під наявні категорії, натомість розглядайте їх як «граничні» випадки, які допоможуть вам уточнити ваші категорії кодування і підвищити правдивість ваших висновків.
Робіть кодування в електронній таблиці. Зверніть увагу на закономірності результатів, які відхиляються від встановленої вами базової лінії або суттєво відрізняються від вашого порівняльного кейсу.
Зробіть висновки
Після завершення аудиту можна робити висновки, але з обережністю — уникайте надмірного узагальнення. Ефективність алгоритму в одному конкретному контексті не виправдовує узагальнень про те, як він буде працювати в інших випадках. Пам’ятайте, що алгоритми потрібно відстежувати протягом тривалого часу, щоби повністю зрозуміти, як вони змінюються і розвиваються.
Раніше ми писали про те, як налаштувати під себе стрічку контенту в різних соцмережах.
