Конференция завершена. Ждем вас на HighLoad++ в следующий раз!

Чем мы смотрим на прод Яндекса, и как это вам поможет

Мониторинг

Доклад принят в программу конференции

Тезисы

Расскажу о том, как решение одной частной проблемы выросло в систему, с которой работает сотня команд и которая позволяет в режиме реального времени ответить на большинство вопросов про то, что происходит с продакшном. Мы объединили разбор ошибок клиентов и бэкендов, клиентскую скорость, телеметрию видео, клики по элементам интерфейсов, access_log сервисов, логи балансеров, CSP, CDN статики, CDN видео в общий набор инструментов, который позволяет навигироваться по более чем 150B событий в сутки. И еще фильтровать данные по произвольным срезам, строить графики, считать метрики, сравнивать сегменты, настраивать алерты.

Я поделюсь рецептом того, как мы собирали такую систему, а также приведу технические характеристики текущих кластеров. Хочу показать, что создание подобной системы внутри компании возможно и может быть сделано силами небольшого числа людей.

Иван Карев

Яндекс

Больше 10 лет в Яндексе. Занимался разработкой главной страницы, Эфира, Дзена. Любит понимать то, что происходит в продакшне, с помощью метрик. Руководит несколькими командами разработки. Последние несколько лет изучает работу видео — от создания до воспроизведения.

Яндекс

Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах. Основные бизнес-направления: поиск и электронная коммерция, сервисы объявлений, медиасервисы, онлайн-заказ такси и еды, беспилотные автомобили, продукты для рекламодателей и владельцев бизнеса. Яндекс также активно развивает проекты с открытым исходным кодом, например, библиотеку машинного обучения CatBoost.

Видео