Resource EXpress: как мы построили общую шину динамических ресурсов в Яндексе

Архитектура

Организация доступа к базам данных, ORM, собственные драйвера
Архитектурные паттерны
Отказоустойчивость
Распределенные системы
Микросервисы

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Спикер из Яндекса расскажет о том, как объединить десяток велосипедов обновления сервисов без перезагрузки в одно решение для всей компании. Задача, которая выглядит несложной, имеет множество подводных комней и граничных случаев, особенно на масштабах Яндекса.

Целевая аудитория

Разработчики продуктовых и инфраструктурных команд.

Тезисы

Перед некоторыми сервисами спустя время встаёт задача быстро релизить свои ресурсы, например, новые версии ML-модели или шарды поисковой базы. Задача сложна тем, что пользовательский процесс может долго перезапускаться из-за десятка гигабайтов нетривиального состояния в памяти, и релиз даже мегабайтного ресурса окном на сотни подов может затянуться на часы. Всё усложняется тем, что система должна быть надёжной — нужно предусмотреть как минимум отказ источника ресурсов, проблему некорректной версии ресурса и откат на стабильную версию.

Мы написали REX — multitenant-сервис доставки динамических ресурсов, который умеет обновлять ресурс, не требуя пересборки контейнера / перезагрузки процесса. Мы уже отмасштабировали его на большинство сервисов Яндекса.

В этом докладе мы расскажем:
* как организовать обновление версии ресурса без перезагрузки процесса в контейнере;
* предоставить удобную, надёжную и масштабируемую архитектуру для решения задачи обновления динресурсов за единицы минут.

Руководитель группы в Яндекс.Поиск. Интересуется С++ и архитектурой распределённых систем.

Яндекс

Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.

Видео

Другие доклады секции

Архитектура