У роботі я часто стикаюся з ситуацією, коли з десятків гіпотез у беклозі потрібно вибрати всього одну-дві, які принесуть максимум результату за короткий проміжок часу. На ретельну перевірку всіх гіпотез просто немає часу і ресурсів – але як тоді вибрати найперспективніші і не помилитися? Розберу на прикладах.
Ситуація: на кнопку натискають 5% користувачів, і потрібно збільшити цю конверсію
Припустимо, ви працюєте продакт-менеджером і відповідаєте за конверсію в заявку на сайті. Зараз тільки 5% відвідувачів натискають кнопку “залишити заявку”. Ваше завдання – виростити конверсію, щоб отримувати більше лідів із сайту. У вас в арсеналі є кілька гіпотез:
- Зробити кнопку “Залишити заявку” більшою.
- Змінити місце кнопки “Залишити заявку”: розмістити її на 2 блоки сайту вище.
- Змінити ціннісну пропозицію вашого продукту на сайті.
- Додати лід-магніт.
Як вам здається на перший погляд, що найсильніше вплине на конверсію? Запам’ятайте свою відповідь – зараз я коротко розберу кожну з ідей і поясню, як можна оцінити їхній вплив.
Щоб прикинути вплив гіпотез на метрику, потрібно зробити багато припущень, тому розрахунки будуть приблизними. Але це все одно цінно: так ми зможемо порівняти потенціал гіпотез і визначимо їхню пріоритетність.
Гіпотеза 1: Зробити кнопку більшою
Перш ніж перевіряти гіпотезу, важливо зрозуміти, на якій проблемі вона заснована. У цьому випадку вона звучить так:
Ми вважаємо, що користувачі не помічають кнопку на сайті.
Щоб переконатися, що ця проблема існує, потрібно провести юзабіліті дослідження. Якщо проблема підтвердиться на дослідженні, можна оцінити потенціал гіпотези.
Щоб оцінити вплив такої гіпотези на конверсію, шукайте бенчмарк – дані про аналогічну ситуацію, на які можна орієнтуватися. У нашому випадку потрібно знайти кнопку більшу, ніж поточна, і подивитися на її конверсію. Припустимо, у продукті вже є така кнопка і її конверсія становить 5,2%.
Якщо у вас немає даних, шукайте бенчмарк на ринку
Попросіть орієнтир у більш досвідчених колег, дивіться виступи продактів із кейсами, гугліть, спілкуйтеся з людьми з інших компаній.
Припустимо, щомісяця на сайт заходить 10 000 відвідувачів. Тоді, спираючись на бенчмарк, ми можемо прикинути, що після збільшення розміру кнопки кількість заявок зросте на 20 штук:
Конверсія: 5% → 5,2%
Кількість заявок на місяць: 500 → 520
Якщо ми отримуватимемо по 20 нових заявок щомісяця, на рік їх стане на 240 більше – це +4% заявок до року.
Гіпотеза 2: Підняти кнопку вище
Можна змінити місце кнопки на сайті – підняти її на два блоки вище. Схема підрахунку така сама: спочатку шукаємо або прикидаємо бенчмарк, потім – оцінюємо приріст заявок.
Припустимо, на одному з інших сайтів з нашим продуктом уже зустрічаються кнопки на два блоки вище. Але конверсія у них нижча – лише 2%. Тоді після переміщення кнопки результати будуть такі:
Конверсія: 5% → 2%
Кількість заявок на місяць: 500 → 200
Щомісяця ми отримуватимемо по 200 заявок, на рік це 2 400 заявок замість 6 000. Підсумок – втрачаємо 60% заявок до року.
Тут напрошується питання: а чи точно кнопка на два блоки вище даватиме менше заявок, ніж поточна?
Щоб верхньорівнево оцінити потенціал гіпотези, можна спиратися на бенчмарк. Але щоб достовірно дізнатися, як зміниться конверсія, якщо кнопку пересунути вище, потрібно провести A/B тестування. З мого досвіду, це найточніші тести мотивації – наприклад, мотивації завантажити застосунок або залишити заявку.
Ще можна вивчити попередні тести колег або дослідження аналогічних ситуацій, щоб визначити, які зміни в дизайні сайту і положенні кнопок найсильніше позначаються на конверсії.
Перші дві гіпотези – не найкращі з точки зору продуктового досвіду. Робота над кнопками, безумовно, може дати вам зростання метрик, але незначне. Фокусуйтеся на розв’язання проблем користувачів, а не на розмірі кнопок – наступні дві гіпотези будуть якраз про це.
Гіпотеза 3: Змінити ціннісну пропозицію продукту
А ось це вже цікава і складна гіпотеза, яку буде не так просто порахувати. Тут однозначно напрошується дослідження – важливо дізнатися, як користувачі зараз розуміють, про що ваш продукт, виходячи з даних на сайті.
Ціннісні пропозиції – складна штука. Вони можуть підвищити конверсію за рахунок того, що ви доступніше розповісте користувачам про продукт. А можуть і знизити її, якщо користувачам, навпаки, стане менш зрозуміло, що ви пропонуєте.
Після того як ви дізнаєтеся, наскільки нова ціннісна пропозиція підвищить знання про продукт, можна складати модель. Припустимо, ми сформулювали нову пропозицію і перевірили її ефективність. У старому вигляді ядро продукту розуміли 33% користувачів, у новому – 67%.
Робимо припущення, що зростання розуміння продукту = зростання конверсії
У прикладі вище ми впевнені в наявності причинно-наслідкового зв’язку: якщо користувач розуміє ціннісну пропозицію, то з високою часткою ймовірності сконвертується в клієнта.
Виникає пропорція:
- Рівень розуміння продукту – 33%, конверсія кнопки – 5%.
- Рівень розуміння продукту – 67%, конверсія кнопки – Х%
Тоді нова конверсія складе:
67 × 5 / 33 ≈ 10%
Але з досвіду можна сказати, що це нереалістично багато: 10% – це вдвічі більше, ніж зараз. Такий апліфт свідчить про те, що тут є великий потенціал для зростання, але ми не зможемо взяти його як мету. Будемо вважати, що конверсію вдасться виростити не у 2 рази, а хоча б на 30% – до 6,5%. Тут можна взяти будь-яке число, в яке ви вірите, ґрунтуючись, наприклад, на результатах минулих А/В тестів. Тоді розрахунок такий:
Конверсія: 5% → 6,5%
Кількість заявок на місяць: 500 → 650
Тобто щомісяця ми отримуватимемо на 150 заявок більше, це +30% заявок до року.
Гіпотеза 4: Додати на сайт лід-магніт
Насправді це не просто гіпотеза, а нова воронка у вашому продукті. Вона діятиме на тих користувачів, які вже мають проблему, але поки не готові залишити заявку.
Конверсія кнопки на сайті збережеться на рівні 5%, але додадуться нові заявки з лід-магніту. Припустимо, з досвіду колег ми знаємо, що його скачують приблизно 5% відвідувачів сайту, а з них лише 1% залишають заявки. З огляду на те, що до нас заходить 10 000 осіб, ми отримаємо всього 5 нових лідів:
10 000 × 5% = 500 завантажили лід-магніт
500 × 1% = 5 залишили заявку
Тоді загальний розрахунок виглядає так:
Конверсія: 5% → 5%, і ще 5% × 1% з лід-магніту
Кількість заявок на місяць: 500 → 500, і ще 5 з лід-магніту
На рік це дасть на 60 заявок більше, тобто +1% заявок до року.
Аналізуємо результати і вчимося виділяти MVP гіпотези, щоб перевірити її дешевше і швидше
Зведу разом оцінки за гіпотезами:
Збільшити кнопку → +4% заявок на рік
Зсунути кнопку вище → -60%
Змінити ціннісну пропозицію → +30%
Додати лід-магніт → +1%
Найвищий потенціал у гіпотези про зміну ціннісної пропозиції. Вона найскладніша з точки зору трудовитрат, тому тестувати її ризиковано. Можна працювати над нею 3 місяці, запустити довгоочікуваний А/В тест наприкінці кварталу, але не побачити результату і даремно витратити час.
Щоб такого не сталося, тестувати потрібно не повноцінну зміну, а її головну частину – MVP гіпотези. Це буде дешевше, швидше і дасть вам змогу зрозуміти, чи справді вона має потенціал.
Щоб виділити MVP зі складної гіпотези, треба визначити критично важливі функції або механіки, необхідні для досягнення основної мети продукту. Ось як знайти їх у нашому випадку:
Необхідно провести якісне дослідження з наявними клієнтами і з’ясувати, як користувачі розуміють цінність вашого продукту – того, що вони вже купили.
Необхідно провести кількісне дослідження і зрозуміти, яку ціннісну пропозицію користувачі вважають найпривабливішою.
Як я вже писала вище, найефективніше перевіряти мотивацію через А/В тестування. У контрольній і тестовій групі потрібно використовувати різні ціннісні пропозиції – це і буде перевіркою MVP гіпотези. Якщо у вас немає своєї платформи для A/B тестів, можна використовувати Google Optimize або Optimizely.
Зверніть увагу: ми змогли прикинути потенціал чотирьох різних гіпотез буквально за 20 хвилин, спираючись на бенчмарки і мій досвід.
Підіб’ємо підсумки
Ресурси продакт-менеджера обмежені – він не зможе перевірити всі гіпотези з беклогу. Тому важливо навчитися оцінювати вплив гіпотези на ключову метрику ще до тестів – так можна вибрати найперспективніші і не витрачати час на перевірку слабких ідей.
Як це зробити:
- Заглибтеся в проблеми. Перш ніж брати гіпотезу в тест, перевірте, чи існує проблема, на якій вона заснована. Часто для цього потрібно провести додаткове дослідження: це забере ресурси, але вийде дешевше, ніж тестувати безперспективну гіпотезу.
- Спирайтеся на бенчмарки. Попросіть орієнтир у більш досвідчених колег, дивіться виступи продактів із кейсами, гугліть, спілкуйтеся з людьми з інших компаній. Якщо бенчмарк виглядає нереалістичним, адаптуйте його на основі свого досвіду.
- Робіть припущення: краще порахувати верхньорівнево, ніж зовсім не рахувати. У вас вийдуть приблизні розрахунки, але навіть їх часто вистачає, щоб тверезо поглянути на гіпотезу і порівняти її потенціал з іншими.
- Пріоритезуйте гіпотези за важливістю та легкістю впровадження. Регулярно порівнюйте гіпотези між собою, щоб раціонально витрачати ресурси.
Якщо гіпотеза складна, тестуйте її MVP. Виділіть головну сутнісну частину гіпотези – ту зміну, яку вона привнесе в продукт – і тестуйте тільки її. Це дасть змогу отримати точнішу оцінку потенціалу гіпотези.
