[karpov.courses] Симулятор A/B тестов, продвинутая практика (Александр Сахнов, Валерий Бабушкин, Николай Назаров)

Расскажем всё о проведении экспериментов в компаниях. На симуляторе вы отработаете на практике сложные и нестандартные ситуации, чтобы избежать ошибок в реальной работе.
В бизнесе ежедневно принимаются сотни решений. Часто сложно понять, какое решение будет оптимальным, но цена ошибки при этом высока. Компании, применяющие A/B-тестирование, ошибаются реже и благодаря этому опережают своих конкурентов.
Именно математическая статистика предоставляет нам обоснованные критерии для проверки гипотез и даёт уверенность в правильности полученных результатов.
Вам может казаться, что A/B-тестирование — это просто. Но это ровно до того момента, пока вы не наткнётесь на первые подводные камни, которые приведут вас к неоптимальному решению, а значит, и потерям в бизнесе.
Для кого этот курс:
1. Продакт-менеджер
Работаете над развитием продукта и хотите научиться принимать решения на основе data-driven подхода.
2. Аналитик
Занимаетесь анализом бизнес-метрик и хотите на практике разобраться во всех тонкостях A/B-тестирования.
Как проходит обучение:
1. Решайте настоящие задачи бизнеса

• Пройдите путь начинающего аналитика
• Запускайте A/B-тесты, анализируйте их результаты и помогайте бизнесу принимать оптимальные решения на основе данных
• Получайте обратную связь от практикующих специалистов

2. Работайте с реальной инфраструктурой

• Практикуйтесь в боевых условиях, учитесь не допускать типичные ошибки при проведении экспериментов
• Работайте на настоящей платформе A/B-тестирования, созданной для симулятора
• Разрабатывайте дизайн экспериментов и анализируйте результаты

Чему Вы научитесь:
1. Разрабатывать оптимальный дизайн онлайн и офлайн экспериментов
2. Применять современные методы повышения чувствительности A/B-тестов
3. Проверять гипотезы со сложными метриками, для которых стандартные тесты не работают
4. Проводить множество экспериментов параллельно
Какие задачи будем решать:
1. Дизайн эксперимента
Разработчики провели рефакторинг кода и подготовили обновление бэкенда сайта. Ожидается, что новая версия будет более надёжной и масштабируемой. Подготовь дизайн эксперимента для проверки скорости ответа бэкенда на запросы клиентов.
2. Анализ метрики отношений
Менеджеры хотят заменить транспорт курьеров, чтобы ускорить доставку. В качестве метрики будем использовать среднее время доставки, для которой обычные тесты не работают. Выбери подходящий метод и проанализируй полученные результаты.
3. Чувствительные тесты
Есть несколько гипотез, которые вряд ли сильно повлияют на наши метрики, но даже небольшие улучшения для нас важны. Попробуй с помощью разных методов повысить чувствительность тестов, чтобы они могли замечать маленькие эффекты.
4. Множественное тестирование
У нас накопилось очень много гипотез, но проверять их отдельно слишком долго. Придумай, как запустить несколько экспериментов одновременно, иначе мы до них никогда не доберёмся.