Как в MongoDB сделать распределённую очередь

Базы данных и системы хранения

Доклад отклонён

Целевая аудитория

backend, java-backend, data engineers

Тезисы

Распределённая очередь на базе MongoDB используется в Яндекс Толоке как буффер для эффективной записи в ClickHouse. Она обрабатывает 1000 RPS на вставку и через неё прошло 1.5 ТБ данных. В докладе спроектируем распределённую очередь и отметим сильные стороны MongoDB. И представим нашу opensource-библиотеку для Java.

Сергей Волков

Яндекс, Толока

TDB

Яндекс, Толока

Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах. Основные бизнес-направления: поиск и электронная коммерция, сервисы объявлений, медиасервисы, онлайн-заказ такси и еды, беспилотные автомобили, продукты для рекламодателей и владельцев бизнеса. Яндекс также активно развивает проекты с открытым исходным кодом, например, библиотеку машинного обучения CatBoost.

Видео

Другие доклады секции

Базы данных и системы хранения