Що таке A/B-тестування і як воно допомагає медіа зростати

Неділя, 27 Листопада, 2022

Продукт

Тетяна Боць

Онлайн-журнал для медіабізнесу Digiday і SaaS-компанія Piano опублікували «Посібник видавця з A/B-тестування». У ньому автори покроково описують, чому медіавласникам варто досліджувати реакцію аудиторії на зміни за допомогою цього методу.

Навіщо це потрібно

Олександр Крейбіг, директор зі стратегічних послуг у Piano, переконує, що поступове впровадження змін після тестування A/B — одне з основних джерел зростання для медіавидавців. Розуміння поведінки аудиторії, як вона реагує на конкретні типи контенту чи пропозиції підписки, допомагає сформувати ефективну стратегію передплати. А визначити, що потрібно кожній групі читачів, допоможе A/B-тестування.

Також, за словами Олександра Крейбіга, A/B тестування зменшує ризик і дає змогу перевірити, чи принесуть зміни статистично переконливі результати.

Як це працює

A/B або спліт-тестування порівнює та досліджує результати двох чи більше елементів на вебсторінці видання. Аудиторію випадково ділять на групи, щоби визначити, яка версія сторінки матиме кращий результат і для кого спрацюють зміни.

Це виглядає так: у команди є гіпотеза, що поведінка аудиторії зміниться через ті чи інші нововведення. Її намагаються підтвердити через експеримент над аудиторією. Наприклад, якщо змінити колір кнопки «підписатися» з 🔵синьої на 🔴червону, читачі почнуть більше підписуватися на видання. A/B-тестування ділить аудиторію на групи, де А — головна вибірка, яка бачитиме далі синю кнопку. Вибірка В бачитиме її у новому кольорі. Після визначеного періоду зібрані реакції на зміну кольору порівнюють з іншими групами, й виводиться результат — чи вигідно змінювати колір елементу на сайті.

Олександр Крейбіг пояснює, що A/B-тестування допомагає вирахувати фокус руху медіабізнесу із найвищим відсотком успіху: «Уявіть, що ви тестуєте ціну, і водночас варіант має ще й інший колір. Тоді ви здобуваєте кращі результати… Утім, ви отримали їх через зміну ціни чи зміни кольору? Є багато таких прикладів, коли кінцевий результат просто не розуміють».

Етапи А/B-тестування

Змінних у тестуванні буває більше (A, B, C… N), а гіпотези можуть стосуватися будь-яких пріоритетних для видавця KPI. У підручнику зауважується, що успішні бренди та видавці не обмежують своє тестування, адже будь-яка змінна, якою б малою вона не була, може вплинути на враження читача.

Перед тим, як проводити тестування, маркетологи чи самі видавці розробляють гіпотези на базі стратегічних KPI. Якщо основним KPI є кількість нових підписок, видавець не захоче підвищувати ціну, оскільки це може призвести до зменшення нових підписок, навіть за умов зростання доходу. Тому головне — чітко визначена ціль, якої видавець хоче досягти.

Також дуже важливим є період дослідження, а особливо — розуміння, коли настав час припинити тестування та використовувати статистичні дані для оптимізації стратегії підписок і переходу до наступного тесту. Автори радять проводити тести не довше, ніж 2 тижні, аби швидко перехопити користь від отриманих даних і рухатися далі.

Моделі тестування

Є різні моделі A/B тестування. Найпопулярніший — Баєсівський метод статистичного оцінювання висновків. Зібрані дані використовують для оцінювання ймовірностей. Утім, немає єдиного «правильного» способу проведення тестів A/B. Єдина вимога полягає в тому, щоби тестувальник вибрав методологію тестування.

Видавцям не потрібно знати тонкощі методологій A/B-тестування на сучасних платформах. Потрібно лише визначити показники, на які видання орієнтуватиметься у зростанні, та виділити дійсно значущі висновки зі звіту. Такими дослідженнями займаються компанії з маркетингу та аудиту. За словами Крейбіга, важливо шукати фахівців із попереднім досвідом A/B-тестування.

Щоби зрозуміти, як виглядає тестування, можна зайти на блог Google. Тут докладно розповідають, як можна самому створити A/B-тест для певної сторінки чи облікового запису.