От реалтайм-метрик А/Б к платформе RT-сигналов: как устроен CORTe

1 декабря, 13:30, «Дели-Калькутта»

Средняя сложность

Доклад принят в программу конференции

Метрики

Фреймворки

C/C++

A/B-тестирование

Приёмочные и функциональные тесты

YTsaurus

Метрики

Фреймворки

C/C++

A/B-тестирование

Приёмочные и функциональные тесты

YTsaurus

Мнение Программного комитета о докладе

Как решение для реалтайм-метрик А/Б выросло в платформу сигналов для экспериментов, мониторинга и приёмки релизов. Разберём архитектуру, автогенерацию конфигов YT Flow, масштабирование и границы стриминга свыше 300K RPS. Дадим паттерны автоматизации приёмки и отключения неудачных экспериментов.

Целевая аудитория

Инженеры, техлиды и тимлиды, которые строят потоковые и реалтайм-системы обработки данных; Специалисты по A/B-экспериментам, приёмке релизов, продуктовой аналитике и мониторингу продуктовых метрик.

Тезисы

Мы научились считать метрики А/Б-экспериментов в реалтайме (об этом был прошлый доклад) — и этот подход вырос из решения одной задачи в платформу реалтайм-сигналов. CORTe (COllector RunTime) на едином коде и методологии закрывает сразу три задачи — A/B-тестирование, онлайн-мониторинг продуктов и приёмку релизов. Сегодня на CORTe работают процессинги для Рекламы, Алисы, Маркета и других продуктов, а потоки доходят до >300K RPS на источник. Когда сигналы считаются в одном месте по единой методологии, метрики перестают расходиться между задачами — уходит проблема кросс-валидации и рассинхрона, когда одну и ту же метрику по-разному считают в экспериментах, мониторинге и приёмке. Использование CORTe даёт масштабируемое и интегрированное в инфраструктуру компании решение.

Спикеры

Ставро Гаязов

Яндекс

15 лет в IT. Разрабатывал системы обработки, хранения и мониторинга данных для экспериментов в физике высоких энергий, CAD системы для проектирования в электроэнергетике. Сейчас занимаюсь RT процессингами в Службе проведения экспериментов в Яндекс. Люблю эксперименты и проектирование больших и сложных систем.