От реалтайм-метрик А/Б к платформе RT-сигналов: как устроен CORTe

Архитектура и масштабируемость

Фреймворки
C/C++
A/B-тестирование
Приёмочные и функциональные тесты
Метрики
YTSaurus

Программный комитет ещё не принял решения по этому докладу

Целевая аудитория

Инженеры, техлиды и тимлиды, которые строят потоковые и реалтайм-системы обработки данных; Специалисты по A/B-экспериментам, приёмке релизов, продуктовой аналитике и мониторингу продуктовых метрик.

Тезисы

Мы научились считать метрики А/Б-экспериментов в реалтайме (об этом был прошлый доклад) — и этот подход вырос из решения одной задачи в платформу реалтайм-сигналов. CORTe (COllector RunTime) на едином коде и методологии закрывает сразу три задачи — A/B-тестирование, онлайн-мониторинг продуктов и приёмку релизов. Сегодня CORTe работают процессинги для Рекламы, Алисы, Маркета и других продуктов, а потоки доходят до >300K RPS на источник. Когда сигналы считаются в одном месте по единой методологии, метрики перестают расходиться между задачами — уходит проблема кросс-валидации и рассинхрона, когда одну и ту же метрику по-разному считают в экспериментах, мониторинге и приёмке. Использование CORTe даёт масштабируемое и интегрированное в инфраструктуру компании решение.

15 лет в IT. Разрабатывал системы обработки, хранения и мониторинга данных для экспериментов в физике высоких энергий, CAD системы для проектирования в электроэнергетике. Сейчас занимаюсь RT процессингами в Службе проведения экспериментов в Яндекс.
Люблю эксперименты и проектирование больших и сложных систем.

Видео

Другие доклады секции

Архитектура и масштабируемость