Как мы управляем кластером PostgreSQL на 650+ двухтерабайтных шардов с помощью собственного сервиса шардирования.

Яндекс Почта — высоконагруженный сервис, который держит 300 000+ RPS и хранит информацию о миллиарде пользователей. Для хранения всей метаинформации мы используем PostgreSQL на 650 шардов. Чтобы справляться с такими нагрузками, мы реализовали собственный сервис шардирования — шарпей.

В докладе подробно расскажу:
1. как мы пришли к реализации сервиса шардирования;
2. как устроено основное хранилище информации о распределении пользователей по шардам и в самих шардах;
3. какие технические подходы мы используем, чтобы максимально уменьшить время получения информации из основного хранилища;
4. разберем историческое развитие сервиса, и какие оптимизации нам понадобились после переезда в Облака;
5. разберем преимущества такого решения, и как эти преимущества помогают многим сервисам Яндекс 360.