Мнение Программного комитета о докладе
Доклад принят в программу конференции
Cassandra является основным хранилищем (мета)данных в Одноклассниках. У нас развёрнуты сотни высоконагруженных кластеров из сотен узлов и тысяч клиентов, распределённых по нескольким дата-центрам. Мы используем и активно развиваем собственный форк Cassandra 2.x. Помимо фиксов множества багов и многочисленных оптимизаций, мы реализовали глобальные индексы (которые работают), поддержали партиционированные транзакции (NewSQL), полностью автоматизировали эксплуатацию в production и многое другое. Но в этом докладе мы сконцентрируемся на подходе FatClient, который используется в наших системах повсеместно.
Подход FatClient переносит роль координатора запросов на клиента, который становится полноценным участником кластера Cassandra. Это позволяет устранить лишние сетевые задержки, разгрузить ноды Cassandra от сетевых задач координации и значительно повысить производительность и стабильность поведения всей системы. Но несмотря на все достоинства подхода, мы столкнулись с неэффективностью и ограничениями существующего транспорта Cassandra на масштабах кластеров, состоящих из тысяч участников: узлов, хранящих данные, и клиентов, работающих с этими данными.
В докладе мы подробно рассмотрим собственную реализацию асинхронного транспорта Cassandra, которая позволила нам существенно сэкономить ресурсы и упростить жизнь разработчиков. Новый транспорт основан исключительно на Java SDK и лаконичной, но эффективной реализации Actor Model. Помимо устройства нашего решения, поговорим про различные оптимизации, возникшие по пути проблемы, а также переключение на асинхронный транспорт нагруженных кластеров Cassandra в production.
Начал свой путь в IT/CS в 2004 с создания систем гидроакустики и исследовательских проектов по статическому анализу кода на C/C++. Затем переключился на распределённые системы и разрабатывал высоконагруженные распределённые сервисы на Java/Scala в Яндекс.Вертикалях. Сейчас в роли ведущего разработчика Платформы Одноклассников продолжает распределённое дело. Попутно ведёт курсы по NoSQL и Highload-системам.
Одноклассники
Базы данных и системы хранения
Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем
Варианты участия
Офлайн-участие
Стоимость конференции постоянно растет — чем ближе к мероприятию, тем дороже.
Текущая стоимость билета — 65000 ₽
Онлайн-участие
Все потоки с докладами (но не потоки с митапами) будут транслироваться нами онлайн.
Текущая стоимость билета — 32500 ₽
Корпоративное участие (от 10 билетов)
Для заказа от 10 билетов на очное или онлайн-участие, свяжитесь с нами по partners@ontico.ru.
Оставить заявкуПередумали покупать?
Расскажите, почему
Благодарим вас за ответ!
Видео, доступные к покупке
Видео FrontendConf 2022
7 и 8 ноября 2022
28000 ₽
Видео HighLoad++ 2022
24 и 25 ноября 2022
32500 ₽
Видео TeamLead Conf 2023
27 и 28 февраля 2023
32000 ₽
Видео DevOpsConf 2023
13 и 14 марта 2023
32000 ₽
Видео Saint HighLoad++ 2023
26 и 27 июня 2023
32000 ₽
Видео Saint TeamLead Conf 2023
29 и 30 июня 2023
32000 ₽
Видео "Как сделать шоу из обычного доклада"
2 и 3 октября 2023
100000 ₽