Как мы управляем кластером PostgreSQL на 650+ двухтерабайтных шардов с помощью собственного сервиса шардирования

Яндекс Почта — высоконагруженный сервис, который держит 300.000+ RPS и хранит информацию о миллиарде пользователей. Для хранения всей метаинформации мы используем PostgreSQL на 650 шардов. Чтобы справляться с такими нагрузками, мы реализовали собственный сервис шардирования — шарпей. В докладе подробно расскажу:

1. Как мы пришли к реализации сервиса шардирования

2. Как устроено основное хранилище информации о распределении пользователей по шардам и самих шардах

3. Какие технические подходы мы используем, чтобы максимально уменьшить время получения информации из основного хранилища

4. Разберем историческое развитие сервиса и какие оптимизации нам понадобились после переезда в Облака

5. Разберем преимущества такого решения, и как эти преимущества помогают многим сервисам Яндекс 360;