Існують прості правила проведення спліт-тесту:
- Не зупиняйте тест, поки ви не досягнете мінімального розміру вибірки, який зробить результати статистично значущими.
- Не зупиняйте тест, поки не пройде хоча б один повний бізнес-цикл. Наприклад, якщо середній час від першого входу до першої покупки в онлайн-магазині становить три тижні, то виділіть на тест три тижні.
- Окрім цього, важливо не заглядати у “вікно” і не робити поспішних висновків. У ситуації, коли “варіант B” впевнено лідирує протягом кількох днів і повністю відповідає очікуванням, дуже хочеться скоріше його впровадити.
- Мінімальний період тестування – тиждень (це необхідно для достовірності результатів, адже конверсія в будній день може відрізнятися від конверсії у вихідні);
- Рівень значущості під час аналізу тесту має бути не більшим за 5% (розрахувати її можна за допомогою спеціальних формул, але простіший варіант – використовувати сервіси для спліт-тестування, в яких розрахунок показника здійснюється в автоматичному режимі).
