Часть экосистемы Forge DevKit
◇ forge-ab
Тестируй с точностью, а не по наитию
Проблема
Тесты запускаются без статистической строгости
Команда запускает A/B-тест на 3 дня, объявляет победителя. Размер выборки: 47 посетителей. Это шум, не сигнал.
Нет предварительно зафиксированной гипотезы
Меняют цвет кнопки, измеряют всё, находят что-то значимое. Классический p-hacking под видом эксперимента.
Результаты тестов не документируются
Никто не помнит, что тестировали в прошлом квартале. Одни и те же эксперименты повторяются. Знания испаряются.
Как это работает
Установка
Одна команда добавляет forge-ab в ваше окружение.
Настройка
3-гейтовый визард читает аналитический контекст и устанавливает принципы экспериментирования.
Эксперимент
Структурированная гипотеза, предварительно зафиксированные выборки, изолированные переменные, документированные результаты.
Обучение
Каждый тест создаёт структурированный документ: гипотеза, результат, уровень уверенности и следующее действие. Победа или поражение - всё доступно для поиска.
Ключевые возможности
◇3 режима экспериментов
Hypothesis (структурированное если/тогда/потому что), design (расчёт выборки + длительности), analyze (тест значимости + документированное знание).
◇Предфиксация размера выборки
Расчёт необходимого размера выборки до запуска. Без ранней остановки, без p-hacking.
◇4 психологических предупреждения
Привязка к первым результатам, confirmation bias в анализе, novelty effect - предупреждения при экспериментах.
◇Документированные знания
Каждый эксперимент создаёт структурированную документацию. Победа или поражение - знания компаундятся.
Для кого это
Продакт-менеджер
Запускайте статистически строгие эксперименты с предфиксированными гипотезами и выборками.
Growth-лид
Документируйте каждый результат эксперимента - победы и поражения компаундятся в организационные знания.
Data-driven разработчик
Получите конкретные спеки экспериментов с расчетом выборки вместо тестирования по наитию.
forge-ab vs Ad-hoc A/B тестирование
| Критерий | Ad-hoc A/B тестирование | Forge DevKit |
|---|---|---|
| Статистическая строгость | Запустить на неделю, выбрать победителя | Предфиксированный размер выборки, порог значимости |
| Гипотеза | Менять, измерять всё подряд, найти что-то значимое | Структурированная: Если [изменение] то [метрика] потому что [причина] |
| Сохранение знаний | Результаты в Slack-треде, потом забыты | Документированные знания, компаундящиеся между экспериментами |