Мнение Программного комитета о докладе
В докладе вы узнаете про особенности построения хранилища YDB на HDD на примере архитектурного кейса крупнейшей системы веб-аналитики в РФ.
Петабайт в YDB over HDD в процессингах Яндекс.Метрики
Доклад принят в программу конференции
Целевая аудитория
Разработчики распределенных систем.
Тезисы
В докладе вы узнаете про особенности построения хранилища YDB на HDD на примере архитектурного кейса крупнейшей системы мобильной аналитики в РФ.
* Кратко расскажем про процессинги аналитических продуктов и как устроен в них стейт.
* Нагрузки и требования.
* Как мы пришли к порядковому росту размера стейта (с 100 терабайт до петабайта).
* Как мы на этом сэкономили.
* Какие были варианты.
* Какие были трудности при записи и при чтении.
* Ложка дегтя в смысле загрузки ресурсов.
* Как мы выбираем, куда поместить данные, и как именно мы это делаем.
* Как мы управляем этим стейтом.
* Как мы справляемся с нагрузкой (12 gbit/sec).
Более 15 лет занимается разработкой распределенных отказоустойчивых систем. За это время успел позаниматься почтой, поиском, антиддос-защитой и фильтрацией трафика. В данный момент руководит службой ядра аналитических продуктов, в области ответственности которой лежат в т.ч. конвейеры обработки данных метрики и аппметрики.
Яндекс
«Яндекс.Метрика» — бесплатный интернет-сервис компании Яндекс, предназначенный для оценки посещаемости веб-сайтов и анализа поведения пользователей. По данным w3techs.com, в 2019 году Яндекс. Метрика являлась третьей по размеру системой веб-аналитики в Европе. По данным «Лаборатории Касперского», в 2021-2022 годах она была самым распространенным трекинговым сервисом в России и странах СНГ.
Видео
Другие доклады секции
Архитектуры и масштабируемость
