Тож, ось перелік досить типових помилок:
- Помилка кореляції. Спільна зміна двох змінних у динаміці не свідчить про наявність причинно-наслідкового зв’язку між ними.
Приклад із бізнесу: що ближче літній сезон, то більше компанія витрачає на ремаркетинг і то більше у цієї компанії замовлень.
Як уникнути пастки?
Єдиний спосіб встановити причинно-наслідковий зв’язок між двома змінними – провести керований експеримент (AB-тест).
- Мультиколінеарність. Це окремий випадок помилки кореляції, яка пояснюється наявністю третьої змінної, що пов’язана з обома досліджуваними ознаками.
Приклад із бізнесу: було помічено, що ті, хто залишає гнівні відгуки в застосунку, мають набагато більший LTV, порівняно з іншими. Почали народжуватися гіпотези про те, що це клієнти, які емоційно залучені в продукт…
Або ж ті, кому важливий продукт, будуть його критикувати, бо часто користуються і щиро хочуть, щоб сервіс змінився… Справжнє пояснення виявилося, як із розміром міста: що довше клієнт “живе” з компанією, то більша ймовірність, що рано чи пізно він залишить гнівний відгук.
Як уникнути пастки?
Потрібно зафіксувати фактор часу константою для обох груп. Для цього порівняємо LTV клієнтів, які залишали відгук за перші 7 днів з тими, хто не залишав відгук, але точно користувався продуктом перші 7 днів
- Неоднорідні групи. Під час проєктування експериментів використовувати випадкове перемішування і квоти, спільні для контрольної та тестової груп. Перевіряти, що тестова і контрольна група мають однорідний склад. Якщо тестова група від самого початку наповнена так, що містить сприятливішу аудиторію, то метрики за нею будуть вищими, але не через вплив досліджуваного чинника, а через перевагу контрольної групи за своїм складом.
Приклад із бізнесу: сервіс із доставлення їжі вирішив перевірити, як сюрпризи на 8 березня вплинуть на LTV клієнток. Логічним контрольним сегментом можуть здатися чоловіки (оскільки вони не отримують сюрпризів на 8 березня)… Але порівнювати LTV між такими групами буде помилкою. Чоловіки в середньому більше їдять і багатші (тимчасово, несправедливо, але факт), а отже, і замовляють більше їжі та мають більший LTV.
Як уникнути пастки?
Під час проєктування експериментів використовувати випадкове перемішування і квоти, спільні для контрольної та тестової груп. Перевіряти, що тестова та контрольна група мають однорідний склад.
- Малі вибірки. У вибіркових дослідженнях (коли за частиною об’єктів судимо про всю сукупність) часто виявляється сегмент, у якому метрика вища або нижча, ніж у середньому. Може виникнути спокуса робити далекосяжні висновки, але такі висновки будуть помилковими без розрахунку довірчого інтервалу.
Приклад із бізнесу: під час чергового виміру метрик здоров’я бренду засікли зростання спонтанного знання серед старшої аудиторії, відсвяткували на корпоративі та виписали премію колегам, які співпрацюють із газетами. На наступному вимірі метрика серед старшої аудиторії відскочила до стандартних значень, хоча на газети витратили ще більший бюджет.
Як уникнути пастки?
Завжди дивитися на середнє по вибірці з оглядкою на довірчий інтервал
Помилка підглядання. Якщо постійно підглядати на проміжні результати експерименту, то одного разу ми отримаємо бажані результати, і спокуса зупинити експеримент у цей момент буде занадто великою.
Приклад із бізнесу: ви запустили A/B-тест і вам так цікаво, що заходите перевіряти результати щодня. Уже три дні поспіль показники тестової групи були кращими, ніж у контрольної, тому ви вирішили достроково закрити експеримент, визнавши його успішним.
Як уникнути пастки?
Розраховувати достатній розмір вибірки і не підглядати поки вона не накопичиться.
