HighLoad++ 2024 - Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем

Архитектура хранилища ВКонтакте

Базы данных и системы хранения

Отказоустойчивость

Распределенные системы

Хранилища

2 декабря, 10:00, Зал «01. Конгресс-холл»

Google Outlook Apple

Доклад принят в программу конференции

Мнение Программного комитета о докладе

В докладе рассматривается эволюция хранилища ВКонтакте. Особое внимание уделяется отказоустойчивости, репликации и избыточности. Описываются особенности работы с большими объёмами данных и методы распределения данных для предотвращения потери в случае выхода из строя одного из дата-центров.

Целевая аудитория

Для тех, кто интересуется, как работают распределённые базы данных с большими нагрузками.

Тезисы

Во ВКонтакте мы храним несколько триллионов фото, аудио и прочих файлов на тысячах серверов. Из-за такого объёма невозможно пользоваться нашими обычными подходами к разработке движков. Я расскажу, как менялась архитектура хранилища за 18 лет, что используется сейчас, как мы обеспечиваем отказоустойчивость.

Денис Дерюгин

VK, ВКонтакте

Занимается разработкой распределённых баз данных ВКонтакте, основной проект — хранилище фото-, аудио- и других файлов.

VK, ВКонтакте

ВКонтакте — крупнейшая социальная сеть в России и странах СНГ. Миссия ВКонтакте — соединять людей, сервисы и компании, создавая простые и удобные инструменты коммуникации. VK — это более 200 технологичных проектов, больше 15 000 сотрудников и миллион возможностей проявить себя. Делают современные и быстрые интернет-сервисы, доступные каждому.

Видео

Другие доклады секции

Базы данных и системы хранения

Picodata Dev Room. Введение в Picodata

Евгений Митин

Пикодата

Динтаблицы YTsaurus — и ещё одна СУБД от Яндекса

Руслан Савченко

Яндекс

Опыт использования Rust в разработке СУБД Picodata. В чём он нам помог и с какими сложностями мы столкнулись

Егор Ивков

Picodata

Стоимостный оптимизатор в YDB — как, зачем и почему?

Павел Велихов

Yandex Cloud

Путь к стабильным и быстрым дискам в Yandex Cloud

Даниил Татьянин

Yandex Cloud

Как на самом деле работает Apache Iceberg

Владимир Озеров

Querify Labs

Лес Меркла, или Как мы уменьшили объём метаданных на 83% и заодно ускорили поиск дубликатов в 10 раз в СХД TATLIN.BACKUP

Сергей Ли

YADRO

Демонстрация Redis/Valkey Cluster

Алексей Рыбак

devhands.io

Почтовые приключения с PostgreSQL: как приручить 650+ шардов и выжить

Кирилл Григорьев

Яндекс 360

Dev Room Picodata. Шардирование с Picodata

Дмитрий Кольцов

Пикодата

Плагины для Picodata

Дмитрий Кольцов

Пикодата

Транзакционная работа с топиками. Архитектура и сравнение решений в Apache Kafka и YDB

Алексей Николаевский

Яндекс

Аномалии под нагрузкой в PostgreSQL 2.0

Михаил Жилин

Postgres Professional

Архитектура хранилища рекламных объектов Яндекс.Директ

Булат Гайфуллин

Яндекс.Технологии

Как нагрузить СУБД без нагрузочного тестирования в рамках миграции на PostgreSQL

Ярослав Киселёв

К2Тех

Основы сопровождения Пикодата

Дмитрий Кибирев

Picodata

Итак, вы решили надежно записывать данные на диск

Дмитрий Родионов

Picodata

Picodata: много маленьких данных

Константин Осипов

Picodata

Нетворкинг-зона «Базы данных и системы хранения»

Алексей Рыбак

devhands.io

Работа с топологией кластера Пикодата

Дмитрий Кибирев

Picodata

Движок распределённого SQL в СУБД Picodata: принцип его работы, принятые архитектурные решения и сравнение с аналогами

Эмир Вильданов

Picodata

О геораспределённых транзакциях

Владимир Комаров

СберТех

Valkey 8 — релиз форка Redis про performance

Евгений Дюков

Yandex Cloud

Как я удалил clickstream, но его восстановили из небытия

Дмитрий Немчин

Т-Банк

Valkey: что это за зверь и потеснит ли он Redis?

Алексей Рыбак

devhands.io

Как объединять данные из разных СУБД и делать это эффективно

Виталий Исаев

Яндекс

Инкрементальные бэкапы в PostgreSQL при помощи Ptrack и Walsummarizer, или Bloom filter vs. roaring bitmap

Алексей Дарвин

Postgres Professional

WebAssembly и хайлоад: история о том, как Tarantool стал полиглотом

Максим Кокряшкин

VK Tech, Tarantool

Cloud-native-подход при работе с Ceph, или Как перестать бояться и начать деплоить

Игорь Шишкин

Рунити