TTL данных в Яндекс Доставке: где закончился PostgreSQL и что вместо него

Базы данных и системы хранения

PostgreSQL
Хранилища
Обработка данных

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Оффер в терминологии Яндекс Доставки — это когда мы видим в приложении, что нам доставят 10 товаров через 30 минут и по такому-то адресу. Так вот таких офферов каждую секунду генерится и отправляется клиентам ~10к. Об эволюции нагруженного сервиса офферов нам расскажет Валерий Кондаков!

Целевая аудитория

Мидл-бэкенд-разработчики.

Тезисы

Яндекс Доставка — высоконагруженный сервис, считающий 10 000 офферов в секунду (каждый оффер — JSON ~30 КБ). Нам нужно укладываться в 20 мс на сохранение и при этом сохранять персистентность данных. В своем докладе я дам выжимку нашего трехлетнего пути:
* PostgreSQL под write-heavy и TTL: с какими ограничениями мы столкнулись и почему масштабирование упирается в архитектуру базы.
* Переход к Redis/Valkey: почему in-memory-хранилище подходит под эту задачу и как мы не потеряли гарантии.
* Хранение офферов на клиентах Ya Go вместо собственной БД: когда это оправдано, какие подводные камни и что важно учесть при внедрении.

Валерий Кондаков

Яндекс Доставка

6 лет в Яндексе, лид команды разработки прайсинга, пишет бэкенд на С++.

Видео

Другие доклады секции

Базы данных и системы хранения