Данил Валгушев на HighLoad++ 2024

Real-time A/B: как получать метрики по экспериментам на больших объемах данных здесь и сейчас

Архитектура

2 декабря, 10:15, Зал «02. Пекин+Шанхай»

Google Outlook Apple

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Как быстро понять, что эксперимент не алё, и вырубить его? Как постепенно увеличить процент пользователей, но при этом не ждать сутки до каждого увеличения? Как сделать всё это, когда у тебя в системе одновременно идёт тысяча экспериментов? Кто занимался, тот знает, насколько эти вопросы острые.

Целевая аудитория

Разработчики, Data Driven-компании.

Тезисы

Скачать презентацию Все презентации конференции

Через A/B-эксперименты принимается огромное количество внедрений в Яндексе, поэтому процесс анализа метрик стоит на критическом пути.

На больших объемах данных классические подходы расчета метрик A/B через MapReduce дают большие задержки — часы и дни.

В докладе я расскажу, как мы построили систему подсчета метрик в режиме реального времени под большой нагрузкой и на большом объеме данных. Поговорим о том, зачем это нужно, как это устроено под капотом и какие трудности мы решали.

Данил Валгушев

Яндекс

Руководитель группы разработки A/B-экспериментов.

Яндекс

Яндекс – технологическая компания, которая создает инновационные продукты и сервисы на основе машинного обучения и нейронных сетей. Компания объединяет более 85 пользовательских сервисов. Основные бизнес-направления компании – поиск и портальные сервисы, электронная коммерция, сервисы объявлений, фантех, сервисы онлайн-заказа такси и заказа еды, автономный транспорт. Яндекс также предлагает продукты для рекламодателей и владельцев бизнеса.