Адреса:
Одеса, вул. Катерининська, 35
Уявімо, ви вирішили запустити рекламну кампанію. Маєте відразу декілька ідей, як натиснути на болі своєї аудиторії і не знаєте який із них буде кращим, більш робочим. Із цим питанням допоможе AB-тестування — ви порівняєте реакцію аудиторії відразу на 2 гіпотези, які могли б зачепити вашого клієнта. Інструмент простий і зрозумілий. Але таких варіантів тестування (спліт-тестів) є багато — деякі з них можуть здатися складнішими, більш затратними по часу та фінансах, але в кінцевому результаті — ефективнішими! Як це зрозуміти? Дізнатися специфіку кожного. А особливо рекомендуємо звернути увагу на AAB-тестування. Тож розберімося, що це таке і для яких цілей підійде.
Зі статті ви дізнаєтесь:
- Для чого потрібні та які є види спліт-тестів.
- Що таке ААВ-тестування та чим воно відрізняється від АВ-тестів.
- Як працює та що дає ААВ-тестування.
- Які мінімальні значення потрібні для оцінювання результатів AAB-тестування.
- Які фактори можуть вплинути на вірогідність результатів AAB-тестів та як зменшити цей вплив.
Які є види спліт-тестів та навіщо їх проводити
Тестування дозволяє нам зрозуміти достовірність гіпотези, протестувати ідею рекламної кампанії витрачаючи бюджет саме на той матеріал, що показує більшу ефективність у тестуванні.
Наприклад AB-тест розділяє трафік між двома змінними — різними рекламними матеріалами, креативами тощо. Цей спосіб дозволяє проаналізувати, який із варіантів пропонованих варіантів більше імпонує вашій аудиторії та дає розуміння, у якому напрямі краще рухатися.
AA-тест — за логікою це тест, у якому два рекламні матеріали ідентичні. У чому його суть? Даний тест повинен показати одинакові результати у двох кампаніях, бо якщо вони матимуть відмінність — показникам та сервісу, де відбувається тестування не можна довіряти. Тобто це тестування надійності самої системи тестування. Чи робить він щось крім трати ваших коштів? Навряд чи, але попри те існує.
AAB-тест — алгоритм полягає в тому, що два рекламні матеріали будуть однакові, а третій змінний. Детальніше про нього розповідаємо нижче.
AABB-тест — ідея тестування в тому, що воно є більш точним, або перевірочним варіантом A/B-тестування. Якщо ваш проєкт того вимагає — користуйтесь. Але ми рекомендуємо більш детально звернути увагу на попередній варіант — AAB-тест.
Що таке ААВ-тестування та чим воно відрізняється від АВ-тестів?
Як і в АВ-тестуванні у варіанті ААВ А — це контрольна група, а В — змінна. Тільки тут ми маємо дві контрольні групи. Це потрібно для того, щоб отримати більш достовірні контрольні показники.
Звідси виходить, що АВ-тестування — це базовий, потужний інструмент визначення ефективності рекламних, маркетингових та інших кампаній, що потребують тестування гіпотез. А ААВ-тестування — більш просунутий варіант тестування, що окрім порівняння ефективності двох гіпотез, тестує достовірність контрольної групи і, відповідно, кампанії загалом.
Як працює та що дає ААВ-тестування?
ААВ-тестування проводиться за допомогою спеціальних сервісів, наприклад Google Optimize, Unbounce, Convert.com. Там ви можете додавати та відстежувати потрібну кількість метрик.
ААВ-тести вимагають більше часу та коштів ніж АВ-тестування, але дають якісніші результати, а саме:
- показують неревалентність системи тестування, якщо така є;
- дають більш ґрунтовні підстави для вибору тої чи іншої гіпотези;
- дозволяють детальніше проаналізувати показники, що впливають на конверсію.
Які мінімальні значення потрібні для оцінювання результатів AAB-тестування?
Кожен проєкт має свої, індивідуальні значення. Визначте їх до початку AAB-тестування.
У випадку, якщо немає потрібної кількості значень радимо скористатися наступними порадами:
- додатково використовуйте інші методи перевірки гіпотез: оцінка поведінки користувачів, опитування, дослідження конкурентів;
- мінімізуйте спотворення в майбутніх тестах;
- не припиняйте роботу тестів для збору статистики.
Які фактори можуть вплинути на вірогідність результатів AAB-тестів та як зменшити цей вплив?
Щоб результати AAB-тестування були «чистими», врахуйте фактори, які можуть суттєво на них вплинути:
- Пристрої користувачів.
Від цього залежить, який вигляд матимуть зміни. Наприклад, на великих екранах невеликі деталі практично непомітні.
- Ефект новизни.
Користувачі помітять новий елемент на сайті, що на початку принесе хороші результати. Але незабаром вони звикнуть та перестануть звертати увагу на нього. Тобто виникне
- Ефект звикання.
Він безпосередньо випливає з попереднього — користувачі звикнути до певного елементу та перестануть реагувати на нього.
- Купівельний цикл.
Перш ніж зробити покупку, користувачі можуть пройти певний шлях:
- усвідомлення потреби
- вибір
- намір придбати продукт
- покупка.
Тому період тесту не повинен закінчитися швидше кінцевого етапу цього циклу. Адже якщо не дотримуватися цього правила ви отримаєте некоректні результати тестування.
- Кросбраузерність.
Це властивість сайту однаково відображатися та працювати у всіх часто використовуваних браузерах. Під час AAB-тестування ви можете зіткнутися з тим, що в одному з них зміни функціонуватимуть неправильно.
- Ротація.
Система або скрипт, який займається ротацією, може не давати очікуваного та рівномірного розподілу між блоками тесту.
- Невелика кількість трафіку або потрібних операцій.
Оцінювання на недостатній кількості даних буде неревалентним.
- Поява інших змін на сайті.
Контролюйте всі зміни на сайті під час проведення AAB-тестування, адже вони можуть мати вплив на показники тесту.
- Сезонність, розпродажі, зміна товарних залишків та інші фактори.
Зменшити їх вплив допоможе наступне:
- налаштовування тестування на нових або на старих користувачів окремо;
- використання кількох систем контролю;
- вибирати для тестування тільки одне джерело трафіку.
Висновок
АВ — класичний спосіб проведення тестування в маркетингу. Але результати АВ-тестування можуть бути викривлені через ряд таких факторів як:
- пришвидшення отримання висновків із боку клієнта, маркетолога або іншого фахівця;
- мала кількість даних для достовірності аналізу результату і, як наслідок
- передчасні висновки.
Щоб уникнути цього та детальніше перевірити надійність отриманих даних, варто використовувати ААВ-тестування.
ААВ-тести не користуються високою популярністю в порівнянні з АВ-тестуванням. Причина в тому, що АВВ зазвичай вимагає більших часових та фінансових затрат, що не завжди можуть забезпечити невеликі проєкти.
Тож цей метод тестування стане в пригоді для арбітражників. А особливо тих, які працюють із великими об’ємами трафіку для тестування.
