Як автоматизувати моніторинг новин через IFTTT

Сам собі технічний спеціаліст: як мережа гіперлокальних медіа автоматизувала пошук новин на пошті, сайтах і в соцмережах громад

Четвер, 29 Лютого, 2024

Продукт

Захарченко Віктор

Гіперлокальні медіа — особлива ніша. Вкупі із браком кадрів і складним пошуком цікавих для громади тем обмежене фінансування може зупиняти розвиток видань, яких місцеві мешканці насправді дуже потребують. Щоб розв’язати ці проблеми для своєї малої батьківщини, співзасновник мережі «Місцеві медіа» Віктор Захарченко взявся автоматизувати роботу своїх видань.

Захарченко також працює в індустрії венчурних інвестицій, а в «Місцевих медіа» забезпечує технічну роботу редакцій. Для «Медіамейкера» підприємець розповів про власний практичний досвід використання інструментів автоматизації та як вони можуть допомогти регіональній журналістиці з невеликими ресурсами витягувати максимум із різних джерел.

Маленьке медіа для рідного міста

Мережа видань «Місцеві медіа» почалася 12 років тому з інтернет-видання «Менщина», яке ми із Сергієм Лавським започаткували в рідному для нас містечку Мена на Чернігівщині. Сергій — колишній журналіст, герой АТО — та я — технологічний підприємець — прагнули створити відкриту платформу для спілкування громадян, побудовану на принципах доступності інформації та свободи висловлення думок. Наразі в нас більше ніж 20 000 підписників на всіх популярних платформах, що переважає населення Мени. Нас також читають меняни, які переїхали в інші міста, або й за кордон.

Успіх «Менщини» підштовхнув нас до спроби запустити схожі видання в сусідніх громадах. Зараз у мережу входять:

Ми почали експеримент із розширенням восени 2023 року, і все тільки починається. Тепер це «Місцеві медіа». Тут можна трохи більше дізнатися про нас і про наші видання.

Редакція “Менщини”. Ми з Сергієм - по краях.
Редакція «Менщини». Ми з Сергієм — по краях.

Навіщо нам автоматизація?

Чесно? Я часто сам ставлю собі це питання. Особливо в ті моменти, коли намагаюся започаткувати новий технологічний процес і сумніваюся: чи це взагалі потрібно, чи може я просто «вигадую» собі роботу.

Я працюю в індустрії венчурних інвестицій (я є партнером українського фонду Flyer One Ventures) і чітко усвідомлюю важливість інструментів автоматизації та штучного інтелекту в роботі регіональних медіа. Перефразовуючи популярну фразу: 

ШІ не вбʼє маленькі видання, але вбʼє ті з них, які не будуть використовувати ШІ.

Одна з головних проблем місцевих медіа — кадрова. Талановиті журналісти прагнуть «зачепитися» за великі міста, тож наша редакція побудована на аматорах, яких ми вчимо журналістики, залучаючи професійних коучів і стимулюючи участь у різних освітніх програмах. Але проблема не стає від того менш болючою. Тому одне з важливих завдань автоматизації — розвантажити редакторів, журналістів і дописувачів від рутинної, механічної роботи, яку вже зараз може робити програмне забезпечення без втрати якості.

Щоб опублікувати стандартний матеріал в одному виданні із зображенням на всіх платформах, випусковий редактор донедавна витрачав 23 хвилини. Застосувавши автоматизацію, ми зменшили кількість помилок і скоротили час публікації до 4 хвилин.

Основні переваги автоматизації для медіа:

Саме останній пункт тут є ключовим. Ми хочемо, щоб наші співучасники — а саме так ми називаємо членів команди — займалися творчими завданями: шукали нетривіальні теми, розширювали мережу контактів, починали громадські ініціативи. Тобто робили саме те, що в людини виходить краще, ніж у «бездушних» алгоритмів.

Три напрями для автоматизації: знайти, створити, опублікувати

Я себе жартома називаю СТО «Місцевих медіа». Маючи освіту викладача математики та фізики, останні 20 років я жалкую, що не пірнув у нетрі програмування й зупинився на вивченні HTML4.

Знання HTML4 дало мені змогу 2001 року успішно скласти екзамен із… психології в педагогічному університеті. Розроблений вебсайт розтопив серце викладача, який отримав повноцінне вебпредставництво.

Зараз я насолоджуюсь інструментами no-code та low-code, які допомагають швидко реалізувати різні бізнес-процеси без навичок програмування. No-code та low-code інструменти — це платформи, за допомогою яких можна створювати програмне забезпечення без глибоких знань у програмуванні або з мінімальним їх використанням. Історія цих термінів починається з кінця XX століття, коли з’явилася потреба спростити процес розроблення програм для швидшого й ефективнішого вирішення бізнес-завдань. No-code інструменти допомагають користувачам створювати застосунки через графічний інтерфейс, використовуючи перетягування компонентів. Тоді як low-code платформи вимагають мінімального написання коду для більш специфічних завдань.

Місцеві медіа переважно не мають змоги тримати у штаті технічного спеціаліста чи замовити розроблення на outsource. Описані нижче інструменти автоматизації є зручним способом задовольнити свої потреби майже без видатків.

Я для себе визначив три напрями автоматизації:

  1. Моніторинг новин і тем.
  2. Створення матеріалів.
  3. Дистрибуція контенту.

Звісно, ви можете перерозподілити ці позиції за власним бажанням. Я ж намагався чітко виділити умовно незалежні елементи, які хоч і поєднані між собою, але водночас дають простір для пошуку покращень.

У цьому матеріалі я розповім про найпростіші автоматизації моніторингу, які я побудував за допомогою сервісу IFTTT. Його дуже просто освоїти, і водночас він має доволі функціональний безплатний пакет — ідеально, щоби спробувати.

Назва IFTTT означає «if this then that», що буквально описує принцип роботи його аплетів: якщо сталося Х, то зроби Y. Так ви авторизуєте потрібні вам сервіси й будуєте автоматизації: сервіс бере інформацію з пошти чи Facebook і надсилає сповіщення, наприклад, у Telegram.

Відео про створення аплетів

На радарах новин

Ми в роботі «Місцевих медіа» (сподіваюся, що ви не заплутались: «Місцеві медіа» — мережа видань, місцеві медіа — усі маленькі медіа, які виходять у сотнях українських громад) розподіляємо новини на два простих типи за походженням: «чуже» та «наше». «Наше» — це ексклюзивні новини, про які ми дізналися першими і є надалі першоджерелом, на яке покликаються інші медіа. «Чуже» — новина, яку ми десь побачили, після чого створили власний матеріал: інколи з ексклюзивними доповненнями, інколи «як є» (коли цього, наприклад, вимагає оперативність).

Моніторинг полягає у відстежуванні зовнішніх джерел, куди ми зараховуємо і коментарі на наших платформах: інколи коментар стає продовженням теми, або й новою темою.

«Про це все село говорить» — це влучний вислів, який буквальний описує матеріал, що став популярним у «Місцевих медіа». Такі обговорення на відкритій платформі краще розкривають тему, особливо коли до її обговорення залучаються, наприклад, мер ОТГ і його опоненти.

У коментарях можна запросто поспілкуватися з міським головою Корюківки Ратаном Ахмедовим
У коментарях можна запросто поспілкуватися з міським головою Корюківки Ратаном Ахмедовим

Якщо ви ще не втомилися від категоризації, то зовнішні джерела ми теж розподіляємо на типи. Кожен із них потребує свого процесу автоматизації:

Моніторинг «зливає» всі потоки в закритий канал у Telegram. Останнім часом ця платформа викликає багато питань, зважаючи на походження засновників і чутки про можливий доступ російських спецслужб до ключів шифрування. Ми стежимо за ситуацією та розглядаємо міграцію, наприклад, у Slack. Telegram-канали ми не моніторимо, тому що в роботі наших видань інформація звідти — нечасті випадки, моніторинг яких немає сенсу ставити на потік.

Далі я розповім, як це працює в кожному з випадків.

«Вам прийшов лист»: моніторинг електронної пошти

Ми підписуємося на всі регіональні джерела інформації: від різного роду департаментів до ДСНС і поліції. Часто вони шлють нам відверті «порожняки», але фільтрація — то вже інше завдання. Первинний фільтр — моніторинг. Ніхто не сидить і не перевіряє пошту кожні 5 хвилин. Тому автоматизація працює так:

  1. Після отримання першого листа від відправника я створюю автоматичний фільтр у Gmail (ми активно користуємось інструментами Google Workspace) за відправником: усі листи від нього позначатимуться тегом «monitor». Відтепер такий тег додаватиметься автоматично.
  2. Налаштовую простий аплет в IFTTT: «якщо» ти «бачиш» на пошті новий лист із тегом «monitor» — то відправ у канал моніторингу повідомлення з текстом теми та першими 150 символами листа, включно з покликанням на лист.

IFTTT «перевіряє» пошту залежно від вашого пакета послуг. У моєму випадку це раз на 15 хвилин. Як тільки там зʼявляється лист із тегом «monitor», автоматично створюється повідомлення та відправляється в Telegram-канал. Далі вже редактор оцінює, чи варте воно уваги. Якщо є інтерес, то треба перейти за покликанням і відкрити листа з деталями.

Як це виглядає покроково:

  1. Створюємо фільтр у Gmail: якщо приходить лист від X — то ставимо такому листу тег Y.

Уся електронна пошта, яка приходить на редакційну адресу, автоматично пересилається на мою приватну, тож фільтр я налаштовую за відправником (редакційна адреса). Фільтрація доступна за різними параметрами, наприклад, за наявності в темі листа певних слів. Але я раджу налаштувати фільтри саме за відправником. 

  1. Авторизуємо доступ IFTTT до нашої пошти.
https://ifttt.com/gmail/settings — ось тут ми підключаємо Gmail. Авторизація максимально проста. 
https://ifttt.com/gmail/settings — ось тут ми підключаємо Gmail. Авторизація максимально проста. 
  1. Підключаємо вашу групу (чи приватний канал) у Telegram, куди хочете збирати інформацію, до IFTTT

Для цього використовуємо бот IFTTT у Telegram. Там виконуйте інструкції. 

Отже, у нас є три базові речі:

  1. Усі необхідні листи автоматично фільтруються на пошті з тегом monitor.
  2. Пошта підключена до IFTTT, тож платформа автоматизації може «перевіряти» появу листів із потрібним тегом.
  3. Telegram-чат приєднаний до IFTTT, і платформа автоматизації може надсилати повідомлення про новий лист у необхідний чат. До речі, якщо ваша редакція хоче зразу обговорювати потенційну новину — обирайте саме чат, бо канал працює в один бік, як радіо.
  4. Скласти автоматизацію «якщо — то».

Ви налаштовуєте «Куди» відправляти повідомлення і «Що» відправляти. Наприклад — адресу відправника, тему чи текст листа тощо.

Ось і все. Тепер раз на 15 хвилин IFTTT перевірятиме вашу пошту й надсилатиме повідомлення в Telegram, коли у скриньці з’являться потрібні листи.

«Як повідомляє вебсайт…»: моніторинг сайтів

Більшість державних установ мають власні офіційні сайти. Зокрема й керівництво територіальних громад, яке є чи не головним джерелом новин для місцевих медіа. Ми прагнемо дізнаватися таку інформацію до їхнього оприлюднення. Але, зважаючи на те, що наші публікації чи коментарі читачів часто «кусючі» для влади, вони не поспішають співпрацювати.

Типова відповідь представників влади на наші уточнення — «пишіть запит». Ок, запит так запит.

Тож офіційні джерела ми моніторимо завдяки RSS.

RSS (Rich Site Summary або Really Simple Syndication) — це формат даних, який використовується для публікації часто оновлюваної інформації, такої як новини, блогові пости, аудіо- або відеоподкасти. Він дає змогу користувачам підписуватися на потоки контенту з різних вебсайтів й автоматично отримувати оновлення через спеціальні програми-зчитувачі RSS чи інші сумісні з RSS сервіси.

Оскільки багато сайтів зроблено основі CMS WordPress, RSS-стрічку вони мають у себе, як то кажуть, «із коробки». І покликання на неї або публікується в явному вигляді, або його можна доволі легко встановити.

Утім, RSS не завжди є на сайтах. Особливо коли вебресурс розробляв якийсь двоюрідний племінник мера, що обрав екзотичну систему управління й за обслуговування якої йому щомісячно платять. Вихід є — сервіс fetchrss.com. Додаєте до нього покликання на сайт та отримуєте на виході той самий RSS, створений спеціально під вас. Інколи система не може розпізнати оновлювані новини. Тоді вас попросять розмітити їх вручну, щоб далі fetchrss робив це самостійно. Працює на 4–/5. Доволі дорогий платний тариф. У безплатному вам «віддаватимуть» повідомлення з великою затримкою. Проте моніторить непогано.

Після того, як ми отримали RSS, — створюємо аплет в IFTTT: «Якщо» ти «бачиш» нове повідомлення в RSS, «то» відправ повідомлення в закритий Telegram-канал.

Так виглядає аплет в інтерфейсі IFTTT. «Кроків» може бути більше ніж 2. Головне — тригер, подія, від якої запускається аплет.
Так виглядає аплет в інтерфейсі IFTTT. «Кроків» може бути більше ніж 2. Головне — тригер, подія, від якої запускається аплет.

«Зависаємо» в соцмережах: моніторинг Facebook

Парадокс, але сторінки у Facebook останніми роками стали головним джерелом інформації від тієї ж таки місцевої влади. Більшість серйозно ставиться до їхнього наповнення, розробляє фірмовий стиль — для самої сторінки та для публікацій — робить відеопости й опитування. Це, звісно, не страхує вас від «порожніх» публікацій про те, що «депутати обговорили…», але очищення новин від піару може принести тему окремої статті. Тут теж є місце для автоматизації, але зараз ми говоримо про збір новин із Facebook-сторінок.

Тут потрібно весь час стежити за обмеженнями, які накладає сама компанія Мета (власник Facebook) — час від часу моніторинги падають. Утім, під’єднати моніторинг власних сторінок легко. А щодо «чужих» — знову звертаємося до fetchrss, який витягує оновлення з «нутрощів», себто з HTML-коду сторінки. Є ще кілька альтернатив, але я не прихильник обкладатися купою сервісів, тож сторінки у Facebook ми моніторимо лише за допомогою fetchrss. 

Далі вмикається алгоритм, подібний до попереднього: аплет в IFTTT, який від нової публікації в RSS надсилає повідомлення в Telegram-канал.

Налаштування повідомлення в Telegram. Спершу вам треба підключити до Telegram-чату бот IFTTT, щоб сервіс міг туди відправляти повідомлення. Ви можете налаштувати їхній вигляд, використовуючи базові html-теги
Налаштування повідомлення в Telegram. Спершу вам треба підключити до Telegram-чату бот IFTTT, щоб сервіс міг туди відправляти повідомлення. Ви можете налаштувати їхній вигляд, використовуючи базові html-теги

«Та що ви кажете?»: моніторинг коментарів

У цьому випадку все легко та складно одночасно. Легко, бо принцип такий самий: з RSS-стрічки в Telegram. Складно, бо моніторинг коментарів «падає» частіше, ніж моніторинг сторінок. 

Я довго перебирав різні сервіси, поки не попросив знайомих програмістів зробити нам парсер (програму, що аналізує інформацію з вільного доступу в інтернеті, — ред.). Каюся, це зовсім вже не no-code. Але запит у Google «Facebook page comments monitoring» видасть вам купу сервісів. Знайдіть той, який задовольнить вас.

Чому саме IFTTT?

Повернуся до вибору сервісу. Зазначу, що це не випадок «або-або». Я користуюсь одразу трьома сервісами автоматизації та ще два планую тестувати найближчим часом.

З IFTTT я починав — думаю, що був серед першої тисячі його користувачів. Тому частина аплетів так на ньому й залишилася, бо працюють і досі. На жаль, коли Zapier та Make (раніше називався Integromat) почали різко рости базою підключених сервісів і гнучкістю налаштувань, IFTTT довго залишався сервісом для гіків, які, наприклад, автоматизують свій «розумний дім».

Останній рік вони почали «наздоганяти потяг» і запустили інтеграції з ШІ та збільшили число платних планів. Тож я рекомендую почати саме з нього. Тим паче, що в мережі багато відео від ентузіастів, які описують свої аплети. Також ви можете використати готові аплети, які автори виклали на сайті.

Тарифні плани IFTTT
Тарифні плани IFTTT.

Складніші налаштування допомагають «Місцевим медіа» оперативно «бачити» публікації національних видань, які стосуються локальних подій, фільтрувати за ключовими словами тощо. Але це вже наступний крок.

Читайте також: «Продюсуємо історії впливу».  Як агенція медійного росту «АБО» диджиталізує локальну журналістику

автоматизація | гіперлокальні медіа | моніторинг