Профессиональная конференция разработчиков высоконагруженных систем

Как научить почтовый сервер Exim под нагрузкой 1 000 000 писем/мин переживать отказ ЦОД без простоя с помощью FUSE и Tarantool, а также развернуть такую систему в K8s

Архитектуры и масштабируемость

C/C++
Электронная почта
Tarantool
Отказоустойчивость
Распределенные системы
Поддержка и развитие legacy систем
Надёжность продакшена
Расширение кругозора

Доклад принят в программу конференции

Целевая аудитория

- Backend-разработчики stateful-приложений ≥ Middle - SRE stateful-приложения ≥ Middle

Тезисы

В Почте Mail.ru стояла задача: научить бэкенд на основе почтового сервера Exim с нагрузкой 1 000 000 писем/мин переживать отказ ЦОД без простоя и потери писем. Основная сложность была в том, что почтовый сервер использует локальный диск для хранения очереди писем в процессе доставки.

Для решения проблемы мы построили отказоустойчивую распределённую очередь на основе Tarantool и in-house объектного хранилища. Чтобы не менять логику почтового сервера, мы написали свою файловую систему в userspace на Tarantool и FUSE, которая инкапсулирует взаимодействие с распределенной очередью.

В своем докладе я покажу, как на уровне архитектуры очереди мы гарантируем отсутствие потерь писем, покажу Tarantool с новой стороны - как движок для реализации асинхронных приложений на C, немного расскажу о базовых концепциях файловых систем и поделюсь опытом эксплуатации FUSE в K8s на продакшене.

Работаю в Mail.ru над инфраструктурой доставки электронной почты уже 4 года, за это время прошёл путь от стажёра на полставки до старшего программиста. Последние 2 года занимаюсь проектом распределённой почтовой очереди.

Работаю, в основном, на чистом C и на Lua под Tarantool, реже на Go. Люблю хардкорную низкоуровневую разработку и хайлоад - сложные задачи всегда интереснее простых.

Хочу делиться опытом с сообществом и получать обратную связь о своей работе. У меня есть некоторый опыт публичных выступлений, но для меня это первый большой доклад.

VK, Mail.ru

Mail.ru (бизнес-юнит в составе VK) - самый крупный сервис электронной почты в России. В компании много интересных задач и технических вызовов. Наш опыт разработки и эксплуатации высоконагруженных сервисов может быть востребован в сообществе.

Видео

Другие доклады секции

Архитектуры и масштабируемость