HighLoad++ 2024 - Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем

Real-time A/B: как получать метрики по экспериментам на больших объемах данных здесь и сейчас

Архитектура

2 декабря, 10:00, Зал «02. Пекин+Шанхай»

Google Outlook Apple

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Как быстро понять, что эксперимент не алё, и вырубить его? Как постепенно увеличить процент пользователей, но при этом не ждать сутки до каждого увеличения? Как сделать всё это, когда у тебя в системе одновременно идёт тысяча экспериментов? Кто занимался, тот знает, насколько эти вопросы острые.

Целевая аудитория

Разработчики, Data Driven-компании.

Тезисы

Через A/B-эксперименты принимается огромное количество внедрений в Яндексе, поэтому процесс анализа метрик стоит на критическом пути.

На больших объемах данных классические подходы расчета метрик A/B через MapReduce дают большие задержки — часы и дни.

В докладе я расскажу, как мы построили систему подсчета метрик в режиме реального времени под большой нагрузкой и на большом объеме данных. Поговорим о том, зачем это нужно, как это устроено под капотом и какие трудности мы решали.

Данил Валгушев

Яндекс

Руководитель группы разработки A/B-экспериментов.

Яндекс

Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.

Видео

Другие доклады секции

Архитектура

Кто сможет в 1M RPS? В забеге участвуют: Valkey, Redis, Memcached, PostgreSQL, MySQL ;)

Алексей Рыбак

devhands.io

Добавляем ++ в Prometheus

Владимир Гурьянов

Deckhouse

Как мы в Авито анализируем 5 миллионов трейсов и проводим архитектурный надзор

Иван Нещадин

Авито

Как масштабировать защиту от DDoS-атак на десятки миллионов RPS. Опыт Яндекса

Иван Тямгин

Яндекс

PHP-FPM, (g)unicorn, Puma и uWSGI — будут больше не нужны

Валентин Бартенев

Web Server LLC

Миллионы часов: поиск копий в VK Видео

Никита Кочетков

VK, ВКонтакте

Новый виток построения аналитики на встраиваемых базах

Александр Боргардт

bigdataduck

System Design Interview: казнить нельзя помиловать

Владимир Невзоров

Servicepipe

Корпоративное обучение в области высоких нагрузок: подход devhands

Алексей Рыбак

devhands.io

Масштабирование в условиях неопределенности, или Как мы обновляли СберСпасибо

Мария Насырова

Сбер

Развивать B2C-сервис или сделать SaaS? Мы решили не выбирать — добавляем мультитенантность в «Яндекс Лавка»

Павел Подколзин

Яндекс Лавка

Выделение микросервиса из 15-летнего монолита. Приключение на 1 год

Станислав Кондратьев

hh.ru

Как KION формирует в Realtime персональные рекомендации и витрины

Алексей Жиряков

KION, МТС Диджитал

Как эволюционировала доставка данных для рекламного движка Яндекса: снижаем задержки от часов к минутам

Даниил Гавриловский

Яндекс

Архитектура национального видеохостинга RUTUBE: как мы раздаем 5 Тбит/с со своего CDN

Эльдар Ниязов

RUTUBE

От NSX к OVN: 4 года подготовки и успешная миграция облака «на лету»

Владислав Одинцов

K2 Cloud

Можем ли мы с базой, но без кэш-слоя в 2024 году?

Алексей Рыбак

devhands.io

Быстрые Open Loop- и Closed Loop-симуляторы для автономного транспорта

Николай Поливанов

Яндекс

Быстрые кешбэки для быстрых платежей

Константин Гузаров

Мир Plat.Form (НСПК)

Финтех: причины моей ненависти

Екатерина Лысенко

Независимый эксперт

AppHost: как Яндекс организует взаимодействие сотен микросервисов

Константин Вуколов

Яндекс

Как управлять мегаполисом без СМС и регистрации. История одного пилота АСУДД

Арсений Сазанов

ИП Сазанов А.М.

Apache Kafka как единственное хранилище. Использование, проблемы, боль и последствия

Дмитрий Емельянов

Altenar

Карта роста бэкендера

Алексей Рыбак

devhands.io

От 45 до 450 Gbit/s, или 10 лет эволюции архитектуры сетевых stateful-приложений

Павел Иващенко

TrafficSoft

Надежность на масштабе в 45 млн клиентов — инструменты и практики цифрового банка

Алексей Мерсон

Т-Банк

Артефакты архитектуры. Какие, зачем и как их организовать

Наиль Миннахметов

МТС

Проектируем свою inhouse Feature Platform

Алина Баймашева

Домклик

Как применить перколятор по назначению и не только

Владислав Сикач

Авито

Как проезжать миллион километров в YTsaurus

Владислав Долбилов

Яндекс Автономный транспорт

Архитектура видеозвонков Т-Банка

Евгений Фирстов

Т-Банк

Легко ли раздать больше миллиона скидок за два дня? Как мы строили архитектуру промоакций на Яндекс Маркете

Анна Кустарева

Яндекс Маркет

Как не деградировать сервису подбора рекламы, когда мир сходит с ума

Артем Букин

VK Реклама

wrk2/wrkx: особенности использования, coordinated omission и способы компенсации

Алексей Рыбак

devhands.io

Распределённые системы без «зауми»

Алексей Рыбак

devhands.io

Как устроена Алиса нового поколения

Руслан Ахтариев

Яндекс.Технологии

WASM: цель, устройство, перспективы

Владимир Хомутов

ВебСервер

Точный адрес — вечная боль! Адресный путь геораспределённого агрегатора курьерской доставки

Михаил Колосов

Газпромбанк.Тех

Эволюция пайплайна метрик. Как менялась архитектура с ростом нагрузки

Руслан Боярский

T-Банк

Гибридный поиск на базе OpenSearch и Qdrant

Егор Прохоренко

Т-Банк

Как мы увеличили пропускную способность поиска картинок с помощью ML и изменения архитектуры

Денис Сахнов

Яндекс

Поиск и рекомендации Wildberries: почти миллион RPS, ML, персонализация и большинство запросов не через индексы

Александр Сидоров

Wildberries

Мобильные платежи «Мир»

Дмитрий Викулов

Мир Plat.Form (НСПК)

WebAssembly: от браузеров до хайлоада

Алексей Комисов

Positive Technologies

Resource EXpress: как мы построили общую шину динамических ресурсов в Яндексе

Николай Гайворонский

Яндекс

API Gateway в Авито

Александр Данковцев

Авито

Машины состояний для товарных данных из YDB и очередей

Виталий Московкин

Яндекс Еда