Как мы заменили сотни Join’ов на один РТ процессинг с 1kk RPS
Доклад принят в программу конференции
Целевая аудитория
Тезисы
Привет!
Я расскажу про то, как мы построили систему, которая держит миллионны RPS и позволяет во всех частях рекламы, в режиме реального времени, иметь точную и актуальную информацию о рекламном событии со всей его многодневной историей изменений.
Таким образом мы решили проблему того, что в MapReduce мире обогатить событие информацией из всех предшествовавших ему в течении 100 дней шагов - долго и дорого, особенно когда счет этих событий идет на миллиарды. А ещё мы нашей системой решили проблему того, что в разных частях рекламы одни и те же статистики показывали разные значения, что осложняла жизнь аналитикам и вызывало вопросы у наших пользователей.
Но в нашей стройке не все было гладко, я расскажу как новый рекламный продукт заставил нас пересмотреть модель работы и о том, как мы придумали, способ чинить во всей рекламе инциденты на данных через наш процессинг.
Приходите, будет интересно!
Данные и автомобили - это моя страсть. Я работаю в области обработки данных уже более 10 лет. За это время успел поработать в государственных структурах, в банка, в IT гигантах Mail.Ru и Yandex. Считаю, что если машинное обучение - это паровоз на котором мы въедем в будущее, то данные - это уголь на котором он работает.
Yandex
Видео
Другие доклады секции
BigData и инфраструктура машинного обучения (data engineering)
