Даємо кейс. У нас є класифайд, який вміє тільки публікувати картки товарів і показувати телефони продавців. Щоб побачити номер, покупцеві потрібно клікнути на кнопку “зателефонувати” – це називають контактом. Контакти – головна метрика компанії, усі команди мають її ростити.
Менеджера продукту просять додати на картки інформацію про продавців – так хочуть користувачі і вже роблять конкуренти. Він проводить якісні тести і підбирає оптимальне технічне рішення.
Ставимо запитання: як провести A/B-тест, щоб переконатися, що інформацію варто додати на картки? Яка метрика має змінитися і яким чином, щоб вважати рішення успішним?
Що відповідають найчастіше.
Компанія ростить контакти. Отже, щоб вважатися успішним, нове рішення теж має ростити контакти.
Це невдала відповідь, і я скажу кандидату, що A/B-тест показав падіння контактів – у реальності так би і сталося. Зрозуміло, що правильних відповідей тут бути не може, але ось логіка розповіді має бути точно правильна.
Що чекаємо від мідла.
Інформація про продавців скоротить трудовитрати покупців, тому що вибирати стане простіше і швидше. Покупці будуть обдзвонювати менше продавців. Тож рішення можна вважати успішним, якщо контакти впадуть.
Що чекаємо від сеньйора. Тих самих міркувань, що й від мідла, а ще ідей, що робити далі і як вести переговори з менеджментом. Як аргументувати необхідність тесту, в якому головна метрика компанії падатиме? Як придумати нову метрику і чи потрібно це? Зазвичай за годину інтерв’ю не вдається розібрати всі питання, але кандидату важливо показати, що він знає, звідки взагалі беруться метрики в бізнесі.
