Архитектура почтовой системы Рамблер Основная секция
Доклад принят в Программу конференции
Тезисы
Почта – это больше, чем обычное web-приложение. Много данных, много протоколов, много событий в единицу времени. С проблемой масштабирования сталкиваешься, даже создавая почтовую систему масштаба предприятия. В публичной почте всё должно хорошо масштабироваться и работать (или хотя бы пытаться) вне зависимости от аппаратных проблем.
Из чего состоит почта Рамблера? Подсистемы – минимальная информация о пользователях (directory), данные (storage), доступ по http, клиентский smtp/pop3, входящий smtp. Дополнительные подсистемы – фильтрация спама, фильтрация вирусов. Слабая связанность подсистем как средство упрощения разработки.
Подробнее о…
- Directory. Хранит минимальные знания о пользователе (сервер, на котором живет пользователь + ещё немного), MySQL + master-slave репликация.
- Storage – хранение данных. Внутренние сервера с IMAP/POP3/SMTP доступом.
- Доступ по HTTP. Фронтенды на nginx. CGI – apache+mod_perl, доступ к содержимому почтового ящика по IMAP'у, доступ к directory – по необходимости (на чтение к репликам, если нужна запись – на master'а). Хранение временных данных и кеширование в memcached.
- Клиентский SMTP/POP3 – nginx, авторизация через cgi cluster, прямое проксирование авторизованных POP3 соединений на нужный пользователю storage backend, проксирование авторизованных SMTP соединений на реальный SMTP-сервер.
- Лирическое отступление: зачем нужен nginx для SMTP.
- Входящий SMTP. Ходят к репликам directory и подсистемам фильтрации, при наличии соединения со storage backend'ами отдают им почту. Могут легко разбиваться на географически раздельные блоки, связность не критична.
Подводя итоги: проблемы решённые и проблемы остающиеся. Масштабируется и резервируется практически всё.
Другие доклады секции Основная секция
Один из крупнейших IT-холдингов в России, в котором работают более 23 000 сотрудников из более чем 250 городов. В числе ключевых продуктов компании: «DION», «AIR», «Сфера» и «Мирион».
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Крупнейший частный банк.
Altenar is a leading sports betting software provider delivering best-in-class solutions for licensed operators around the world. Ranging from a standalone sportsbook product to the provision of a turnkey sportsbook solution, Altenar offers proven stability coupled with a flexible and personalised service.
RoboGate — это разработчик и поставщик IT-решений в сфере FinTech. Компания сосредоточена на создании и развитии удобной и безопасной инфраструктуры для институциональных и частных участников финансовых рынков. Клиенты RoboGate получают доступ к профессиональным торговым платформам и инновационным разработкам компании.
Последние несколько месяцев я "счастливый безработный". Занимаюсь своим open source проектом, сообществом (https://vk.cc/cvAlE8) и выступаю с докладами
Команда Т-банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает ИТ-индустрию, поддерживает комьюнити и делится экспертизой.
Последние несколько месяцев я "счастливый безработный". Занимаюсь своим open source проектом, сообществом (https://vk.cc/cvAlE8) и выступаю с докладами
Cloud.ru облачный провайдер, предоставляющий облачные решения и экспертную поддержку для бизнес-задач. Атмосфера стартапа, создание инноваций, клиентоцентричный подход –– это все мы, люди Cloud.
X5 Tech — IT-компания и основной цифровой партнер торговых сетей и бизнесов X5 Group. Команда из более 4500 специалистов разрабатывает решения, которые помогают десяткам миллионов покупателей быстро и удобно покупать свежие продукты каждый день. Сейчас команда сфокусирована на разработке решений, которые не зависят от вендоров.
Postgres Professional — разработчик российской системы управления базами данных Postgres Pro. СУБД входит в Единый реестр российского программного обеспечения и выпускается в редакциях: Postgres Pro Enterprise, Postgres Pro Standard, Postgres Pro Shardman, их сертифицированные ФСТЭК версии. Специалисты компании оказывают поддержку полного цикла: аудит, помощь в миграции, техподдержку 24х7 и SLA, обучение, заказные разработки, сертификацию специалистов. По данным исследования ЦСР за 2022 год, компания возглавляет рейтинг российских разработчиков СУБД. Команда Postgres Professional также активно развивает свободно распространяемую СУБД PostgreSQL. Занимает 1 место в России и 2 — в мире по вкладу в открытый код PostgreSQL.
Практические методики нагрузочного тестирования, опыт тестирования производительности веб-приложений
X5 Tech — IT-компания и основной цифровой партнер торговых сетей и бизнесов X5 Group. Команда из более 3500 специалистов разрабатывает решения, которые помогают 325 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты.
Лидер трайба Цифровых Ассистентов в B2C.
Positive Technologies создаёт продукты в области кибербезопасности. Уже 20 лет основная задача компании — предотвращать хакерские атаки до того, как они причинят неприемлемый ущерб бизнесу и целым отраслям экономики. Продукты и сервисы Positive Technologies используют более 2300 компаний по всему миру.
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
VisionLabs — один из мировых лидеров в области создания продуктов на базе компьютерного зрения и машинного обучения. Компанией реализовано более 500 проектов в 37 странах для клиентов из финансового, телекоммуникационного, транспортного, энергетического секторов и розничной торговли. Более 1,7 млн камер по всему миру используют программное обеспечение VisionLabs.
VisionLabs — один из мировых лидеров в области создания продуктов на базе компьютерного зрения и машинного обучения. Компанией реализовано более 500 проектов в 37 странах для клиентов из финансового, телекоммуникационного, транспортного, энергетического секторов и розничной торговли. Более 1,7 млн камер по всему миру используют программное обеспечение VisionLabs.
Российское решение для защиты контейнеров и Kubernetes
Altenar is a leading sports betting software provider delivering best-in-class solutions for licensed operators around the world. Ranging from a standalone sportsbook product to the provision of a turnkey sportsbook solution, Altenar offers proven stability coupled with a flexible and personalised service.
МТС — одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. Штат IT-специалистов компании превышает 8 000 человек.
Яндекс Доставка - это сервис, который помогает людям и бизнесу решать разные логистические задачи более чем в 1000 городов: от курьерской доставки по городу и за его пределами до грузовой доставки. Мы меняем рынок логистики с помощью технологий и данных: учим сервис эффективно подбирать курьеров на заказы, прогнозировать спрос и оптимизировать маршруты в реальном времени.
Компания Enapter производит электролизеры — устройства для производства водорода. Также мы создаем энергосистемы из разного набора оборудования. Моя команда занимается созданием софта для управления устройствами и объединения их в энергосистемы.
Крупнейшая геораспределенная сеть дата-центров Tier III в России.
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает ИТ-индустрию, поддерживает комьюнити и делится экспертизой.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
VK Tech — команда из 1400 специалистов в России и Казахстане. Разрабатывают и продвигают облачные платформы и сервисы VK Cloud, in-memory СУБД Tarantool, коммуникационные решения — от почты VK WorkSpace до супераппа VK Teams и решения для автоматизации HR и финансов. Внутри: C++, Python, Go, Java, Javascript, Lua.
Техлид команды разработки со сложным направлением "Оценка недвижимости"
Altenar is a leading sports betting software provider delivering best-in-class solutions for licensed operators around the world. Ranging from a standalone sportsbook product to the provision of a turnkey sportsbook solution, Altenar offers proven stability coupled with a flexible and personalised service.
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает ИТ-индустрию, поддерживает комьюнити и делится экспертизой.
В Nexign пишут на Java, Gо, C# и С++, создают микросервисы и используют собственную СУБД. В команде 2000 экспертов, которые всегда знают, как сделать лучше. Они доказывают это в каждом проекте, будь то внедрение биллинговой платформы крупнейшим телеком-операторам или создание кастомизируемой HRM-системы.
Positive Technologies — ведущий разработчик продуктов, решений и сервисов для результативной кибербезопасности, позволяющих выявлять и предотвращать атаки до того, как они причинят неприемлемый ущерб бизнесу и целым отраслям экономики. Технологический портфель компании охватывает большинство категорий средств защиты информации и продолжает расширяться. Мы создаем метапродукты — новое поколение инструментов для достижения результативной кибербезопасности с минимальным участием человека. Кроме того, Positive Technologies — первая и единственная компания из сферы кибербеза на Московской бирже.
Ozon — ведущий e-com России. В их IT-команде уже 5 000 специалистов, которые создают продукты для миллионов людей по всей стране и за рубежом. Ozon Tech разрабатывает собственные решения, контрибьютит в Open Source и использует современный стек: Go, C#, Kotlin, Swift TypeScript, Vue.js, Kubernetes и Kafka. Продолжают расти, чтобы повышать доступность сервисов и быть ещё ближе к пользователям.
ГК «Иннотех» — это современная высокотехнологичная быстроразвивающаяся ИТ-компания. Мы разрабатываем инновационные решения для цифровизации бизнеса.
Бюро Розетка — это команда экспертов в образовании: мы выстраиваем корпоративное обучение, проводим конференции, организуем стажировки и формируем профессиональные сообщества с вниманием к людям и результату
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает ИТ-индустрию, поддерживает комьюнити и делится экспертизой.
Построение системы, которая может отвечать на вопрос вроде «с какими генами коррелирует выживаемость пациента при такой-то болезни и таком-то лечении» для редких заболеваний, при которых ни в одном биобанке данных не хватает. Система объединяет данные нескольких биобанков без фактического копирования данных.
ИСП РАН — ведущая научная организация в области системного программирования, специализирующаяся на исследованиях, разработках и подготовке высококвалифицированных кадров. Основные направления работы: кибербезопасность, анализ данных и искусственный интеллект. Создали несколько исследовательских центров, включая центр доверенного искусственного интеллекта и технологический центр безопасности ядра Linux.
SberDevices — это компания полного цикла. Мы создаём идеи, самостоятельно разрабатываем продукты, занимаемся прототипированием, конструированием, придумываем дизайн, программные решения, контролируем качество на фабриках и создаём инструменты для аппаратного тестирования.
Kinescope — видеоинфраструктура для интернета. Помогают бизнесу раскрыть потенциал профессиональных видеорешений для своих задач. Объединяют все необходимое для хранения, обработки, CDN-доставки и защиты видео в одном месте. Продукты Kinescope подходят как для стартапов, так и для компаний из списка РБК500 и государственных предприятий с высокими нагрузками и сложной логикой.
