Симулятор A/B-тестов

Научитесь проводить A/B-тесты, приносящие пользу бизнесу, на симуляторе.

• Сможете распознавать ситуации, когда рост сводной метрики обманчив. Выстраивать порядок рассуждения при интерпретации дельты CTR в условиях колебаний. И на основе этого разграничивать корректные и некорректные объяснения смены лидера в A/B‑тес
• Будете подбирать набор метрик под продуктовую гипотезу, разрешать конфликты между ними и проверять защитные метрики. А затем сможете аргументированно принять решение о «выкате».
• Сможете определять соотношение сигнал/шум по готовым числам. Выявлять случаи, когда наблюдаемая разница объясняется случайной нестабильностью среднего. И объяснять, как размер выборки и окно агрегации влияют на стандартную ошибку.
• По описанию продуктовой задачи сможете выбрать корректную единицу рандомизации, распознать в типовых кейсах spillover и сетевые эффекты. А также освоите отличие причинного вопроса от корреляционного.
• Корректно сформулируете нулевую и альтернативную гипотезы до запуска теста. Сможете интерпретировать p‑value без типичных ошибок и оценивать риски ошибок I и II рода в контексте конкретной бизнес‑задачи.
• Сможете рассчитать необходимый размер выборки и длительность теста под заданный минимальный эффект (MDE). Применять sequential‑подход для легитимного промежуточного анализа и предотвращать подглядывание (peeking). И определять ситуации, когда
• По типу метрики и характеристикам распределения выберите подходящий критерий: t‑test, Welch, z‑test, χ², Манна-Уитни или bootstrap. Сможете применять дерево решений для выбора теста в типовых кейсах и выявлять ситуации, в которых выбранный кри
• Сможете классифицировать метрику по типу: доля, поюзерная, ratio. Корректно рассчитывать дисперсию для ratio‑метрик через delta‑метод. И применять линеаризацию для CTR и аналогичных метрик.
• Проверите баланс групп и SRM до начала анализа. Попробуете выявить смещение при распределении (assignment bias) в структуре эксперимента. А также заполните чек‑лист дизайна эксперимента перед его запуском.
• Сможете интерпретировать результаты A/A‑теста и распределение p‑value под нулевой гипотезой. Формулировать корректную интерпретацию доверительного интервала для размера эффекта. И разграничивать статистическую и бизнес‑значимость при принятии
• Примените стратификацию и пост‑стратификацию, реализуете метод CUPED с историческими ковариатами и попробуете скомбинировать его со стратификацией. Потренируетесь в очистке данные от выбросов перед анализом.
• Сможете по числу одновременных тестов выбирать корректную поправку на множественные сравнения: Бонферрони или Бенджамини-Хохберга. Определять ситуации, требующие switchback или geo‑эксперимента. И выявлять нарушения ортогональности слотов.
• По описанию продуктовой задачи попробуете выбрать между классическим A/B‑тестом и многоруким бандитом. Сможете интерпретировать апостериорное распределение (P (B>A)) для принятия решений и распознавать паттерны поведения Thompson sampling и UC
• Сможете подобрать метод квазиэксперимента под задачу: Diff‑in‑Diff, Causal Impact или PSM. А затем применить их к реальным данным. Сможете оценивать пределы достоверности полученного причинного вывода.
• Проведете эксперимент end‑to‑end: проверите SRM и баланс, выберите метрики и критерий, рассчитаете эффект и доверительные интервалы для ratio‑метрик. Будете интерпретировать результаты с учётом защитных метрик и аргументированно обосновывать р
• Познакомитесь с архитектурой автоматизированной системы оценки A/B‑тестов. Узнаете, как с помощью ИИ-инструмента генерировать аналитический пайплайн под типовые шаги анализа. Сможете проектировать прототип системы от загрузки данных до отчёта.