Тема A/B тестування для мене зараз як ніколи актуальна, проводимо з різними командами три великі експерименти, пов’язані безпосередньо з моїм продуктом. Була можливість подивитися як працює процес у різних командах всередині OLX Group. Тому хочу повернутися до серії постів, яку я написав після вебінару Lukas Vermeer – одного з творців “машини експериментів Booking”.
У нього в презентації була чудова таблиця для розуміння поточного стану і встановлення цілей для розвитку культури експериментів у компанії. Розберемо її докладніше. Оцінка відбувається за кількома критеріями, де етап розвитку культури оцінюється за шкалою: Crawl (повземо), Walk (йдемо), Run (біжимо), Fly (летимо) – CWRF.
- Метрики.
C: окремі метрики для кожного експерименту
W: стандартний набір метрик успіху, ручне опрацювання даних
R: success і health метрики, автоматизація обробки результатів
F: єдина система збору, створення та управління метриками для всіх команд
- Платформа для експериментів.
C: немає платформи
W: базові функції, використання зовнішнього рішення або власна розробка
R: паралельні експерименти, підтримка архіву результатів у ручному режимі
F: єдина система управління та зберігання результатів
- Проникнення експериментів.
C: кілька експериментів для демонстрації цінності A/B тестів
W: регулярні експерименти для важливого функціоналу
R: більшість релізів через експерименти
F: усі релізи через експерименти
- Самостійність команд.
C: для запуску потрібен зовнішній аналітик
W: команда сама може запустити експеримент
R: команда сама запускає і підтримує більшість експериментів
F: участь аналітика не потрібна для запуску та аналізу експерименту
- Команда експериментів.
C: немає виділеної команди
W: централізована команда
R: розподілена по продуктових командах експертиза
F: команда експериментів як центр компетенцій і культури тестування
- Система оцінювання результатів.
C: своя для кожного експерименту
W: загальний набір метрик успіху
R: система оцінки успіху перевірена великою кількістю експериментів
F: стабільна система оцінювання зі зміною не частіше ніж раз на рік
- Важливість для компанії.
C: всередині команди
W: результатами експериментів діляться з іншими командами
R: загальний план експериментів для всіх команд
F: результати експериментів важливі для всієї компанії, топ-менеджмент залучений до аналізу результатів
Спробуйте оцінити свою компанію за цією шкалою.
Яких оцінок за CWRL у вас більше?
