- Главная
- →
- Базы данных и системы хранения
Мастер-класс "Логическая репликация и Avito" Базы данных и системы хранения
Главный архитектор X5 FoodTech.
EX DBA Unit Leader Avito.
Активно участвует в жизни PostgreSQL community.
Предприниматель в сфере обработки и анализа данных; до недавнего времени – главный системный архитектор Avito.
Один из первых PostgreSQL разработчиков и ведущий администратор БД в Avito. Многопрофильный специалист; поддержка и развитие внутренней платформы.
Тезисы
В Avito объявления хранятся в базах данных Postgres. При этом уже на протяжении многих лет активно применяется логическая репликация. С помощью неё успешно решаются вопросы роста объема данных и количества запросов к ним, масштабирования и распределения нагрузки, доставки данных в DWH и поисковые подсистемы, меж-базные и меж-сервисные синхронизации данных и пр.
За годы эксплуатации репликации PgQ мы наработали обширный опыт, многое переосмыслили, реализовали собственные надстройки и расширения.
В данном докладе мы раскроем следующие темы:
1) Необходимость логической репликации вообще и кейсы Avito.
2) Эволюция и принцип работы триггерных решений с версии Postgres 7.0: RServ Вадима Михеева (Vadim Mikheev, автор MVCC), Слоны (Slony), Слоник "Londiste" (PgQ) от Skype.
3) Архитектура логической репликации "из коробки": Logical Replication in PostgreSQL 10 & PGLogical.
4) Примеры использования репликации и её расширений в Avito.
5) Вопросы и пожелания, адресуемые комьюнити!
Мастер-класс на два часа.
К мастер-классу можно будет подготовиться заранее. Вот образ виртуальной машины (https://drive.google.com/open?id=0B3sJNe3Xc7V-djB3MzByR3dsaE0), на которой проводится практическая часть. Накануне мероприятия материалы для мастер-класса будут доступны https://github.com/avito-tech/dba-docs. И вот ещё пара ссылок:
- версия skytools Avito c undo и еще несколькими плюшками https://github.com/avito-tech/skytools;
- RPC на основе PgQ https://github.com/avito-tech/xrpcd.
