Построение современного почтового узла Основная секция
Доклад принят в Программу конференции
Звук — это аудиостриминг c музыкой в HiFi-качестве, подкастами, аудиокнигами, эксклюзивными плейлистами и разделом для детей. Это продуктово-инженерная компания из 700+ экспертов. Более 450 инженеров, разработчиков и продактов, 6 продуктовых стримов и 19 продуктовых команд каждый день делают стриминг надежнее и наполняют его полезными фичами.
Тезисы
Тезисы
I. Общая концепция
1. Зачем я вообще рассказываю эти прописные истины, и почему буду строить всё на простых доступных вещах, не прибегая к каким-то ноу хау.
2. Значимость электронной почты в современной электронной индустрии. Почему от неё никогда не откажутся.
3. Проблемы современной почты. Ошибки, кодировки, большие файлы, битые адреса, спам, вирусы, почтовые бомбы, шифрование, электронные подписи, гарантия доставки.
4. Общая концепция построения современного почтового узла. Картинка с отдельными узлами авторизованной почты, почтового хаба, почтового релея, сервера приёма почты с серверов (submit), сервер приёма почты из вне (MX), сервер хранения почты. Тезисно: задачи каждого функционального узла. Почему именно так (изоляция функциональных узлов, большая философская речь).
II. Службы почтового узла.
1. Почта от программ
1.1. Проблемы. Вирусы, спам, ошибки, скорость, возвраты.
1.2. Возможные решения. Очередь, эвристический анализ (From: <>, наличие "правильного" количества
Received, "правильный" X-Mailer, верный Message-Id, firewall), баланс между анализом и скоростью, подстановка адресов.1.3. Правила хорошего тона. Правильный обратный адрес, чтение возвратов, 8-битные заголовки и т.д.
1.4. Списки рассылки.
2. Авторизованная почта
2.1. Проблемы. Вирусы, спам, взлом, проверки.
2.2. Возможные решения. Антивирус, автоматическая блокировка аккаунта, анализ статистики отправок.
2.3. Правила хорошего тона. 8-битные заголовки, HELO, PTR, чёрные списки, информеры о проблемах.
3. Приём почты извне
3.1. Особенности. Анонимность.
3.2. Проблемы. Спам, вирусы, бомбы, ошибки, баунсы, нагрузка.
3.3. Возможные решения. Антиспам, антивирус, автоматические блокировки по следящему анализу, чёрные списки, скорость, анализ входа (From:, From: <>, битые HELO, Mesage-Id ...), квитанции, сброс соединения, обратные адреса.
3.4. Правила хорошего тона. Вирусы от провайдеров, прямой субмит, Microsoft.
4. Отправка почты
4.1. Особенности. Кривые контрагенты, борьба с коллегами.
4.2. Проблемы. Чёрные списки, грейлистинг, сексуалная ориентация, очереди, баунсы, вирусы.
4.3. Возможные решения. Очереди, каскад fallback'ов, "скажи нет маринаду почты", проверка на вирусы, следящая блокировка на входе по невозможности выхода.
4.4. Правила хорошего тона.
P.S. Весь доклад делается в применении к опыту полученному при внедрении почтовой системы peterhost'а, использовании этого опыта в почтовой системе efind.ru (считай, почтовый сервер маленького офиса).
О докладчике
Phil KulinКонтакты: schors@gmail.com
Другие доклады секции Основная секция
DDoS-Guard — cпециализированный провайдер защиты от DDoS-атак на базе собственных разработок. Им доверяют тысячи клиентов по всему миру, среди которых ISPsystem, Selectel, Reg.ru, hh.ru и другие. За 2023 год система защиты DDoS-Guard отразила 1.4 млн атак.
Команда Тинькофф — это разработчики, продакт-менеджеры, дизайнеры, маркетологи, аналитики, тестировщики, SRE-инженеры и другие специалисты. Вместе они создают новые и развивают существующие финтех-продукты, которыми пользуются 25 миллионов клиентов и каждый из нас.
Data Egret
IT-компания и основной цифровой партнер торговых сетей и бизнесов X5 Group. Команда из более 3500 специалистов разрабатывает решения, которые помогают 325 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты.
ITentika (ранее российский центр разработки DataArt) - разработчик ПО с 25-летним опытом создания ИТ-решений для ведущих международных компаний и крупнейших экосистем РФ. Мы проектируем и разрабатываем технологически сложные решения на стыке информационных технологий и бизнес-консалтинга, позволяющие нашим клиентам кратно увеличить прибыль и стать лидером отрасли. ITentika входит в ТОП-20 крупнейших разработчиков ПО (Рейтинговое агентство RAEX).
SberDevices — IT-компания полного цикла в экосистеме Сбера, R&D-центр экспертизы в области искусственного интеллекта: речевые технологии, понимание естественного языка, компьютерное зрение, лицевая и голосовая биометрия. Производит умные устройства — от лампочек до телевизоров. В портфолио SberDevices — ruGPT-3, ruDall-E, RuSBERT и другие масштабные ML-проекты, высоконагруженные системы и технологии обработки Big Data.
QIWI — международная группа компаний, которая предоставляющая платежные и финансовые сервисы в России и в других странах.
Hilbert Team — системный IТ‑интегратор. Отраслевой эксперт в области DevOps, DataOps, DevSecOps и FinOps.
Грамант
Технологический партнер с комплексной экспертизой в области построения и развития инфраструктуры, внедрения информационных систем, разработки программных решений и сервисной поддержки. КРОК реализует проекты, которые задают тон индустрии: от крупнейшего ЦОДа в стране до «умной» инфраструктуры спортивных объектов.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
«Перкона» (Percona)
«Платформа Сфера» — универсальная экосистема продуктов для производства технологических решений, которая включает в себя более 40 инструментов для управления разработкой, тестированием, эксплуатацией программного обеспечения, а также инженерных инструментов для работы с исходным кодом и инструментами мониторинга рабочих станций и анализа бизнес-процессов.
СберМаркет (ООО «Инстамарт Технолоджис») — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда СберМаркета создает один из самых сложных высоконагруженных e-commerce-проектов в России и делает это с любовью.
Badoo
Руковожу платформой, DWH и ML Ops
Яндекс Еда – это про скорость, про быструю доставку из кафе, ресторанов и любых магазинов.
С 2023 года я самостоятельный бизнес-тренер. Работаю с физическими лицами и корпоративными клиентами. Мои корповые клиенты - это лидеры своих отраслей (банки из ТОП-3, ритейлеры из ТОП-5, ИТ-компании из ТОП-50 по мнению hh.ru). Cайт:
Samokat.tech создает IТ для ретейла реального времени. От доставки продуктов и товаров для дома за 15 минут, до развития нового слоя городской инфраструктуры для быстрой доставки любых товаров — с помощью технологий. Большая цель компании — сделать e-commerce-сервис №1 в России и собрать в одном месте всё лучшее, что может предложить онлайн-торговля.
Команда Яндекс 360 создает продукты, которые решают повседневные задачи миллионов пользователей: от хранения воспоминаний до деловой переписки. В Яндекс 360 входят Почта, Диск, Документы, Телемост, Календарь, Заметки и Мессенджер
Газпромбанк — один из крупнейших банков России. Они не просто банкиры: создают искусственный интеллект, придумывают новые цифровые продукты и поддерживают профессиональное комьюнити. Планируют стать самым дата-центричным и диджитализированным банком страны.
Топ-3 производителей пива России
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
Последние несколько месяцев я "счастливый безработный". Занимаюсь своим open source проектом, сообществом (https://vk.cc/cvAlE8) и выступаю с докладами
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
Крупнейшая российская IT компания с самой большой долей поиска в РФ.
Сибирские нейросети - молодая, но быстро развивающаяся компания, которая занимается продуктами в области обработки естественного языка и речевой аналитики.
Дзен — контентная платформа, которой каждый месяц пользуются 32,5 миллиона человек. Рекомендательные алгоритмы отбирают контент для персональных лент пользователей от 100 тысяч авторов из почти 5 миллионов возможных вариантов.
«Перкона» (Percona)
SiteGround
IT Test — команда по разработке, тестированию и дизайну сложных отраслевых IT-решений. Делаем компании более эффективными за счет цифровизации процессов. 8+ лет на рынке digital-услуг, 200+ реализованных проектов, 70+ проверенных партнеров, 85+ наград в ключевых рейтингах digital-агентств. Занимаемся не только заказной разработкой, но и создаем собственные продукты: наша TMS DoQA увеличивает эффективность процессов тестирования, усиливает аналитику и стандартизирует документацию.
Компания «ЭвоКарго» разрабатывает автономные логистические решения. «ЭвоКарго» предлагает принципиально новую экономически эффективную логистическую услугу по сервисной модели с применением автономного транспорта собственного производства на складских и производственных площадках. За три года компания стала одной из первых в мире, успешно запустивших полностью автономный логистический сервис грузоперевозок. Сервис позволяет снизить расходы на содержание флота до 30%.
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
Звук — это музыка в HiFi-качестве, а также подкасты, аудиокниги, эксклюзивные плейлисты и раздел для детей. Звук можно послушать в приложении, доступном во всех популярных сторах, на сайте zvuk.com, а также в автомобилях с поддержкой CarPlay и AndroidAuto.
Wildberries — онлайн-платформа с 18-летней историей. География присутствия площадки охватывает 7 стран мира, в том числе Россию, Белоруссию, Казахстан, Армению, Киргизию. Ежедневно на площадке оформляется 8 млн заказов, а 90% её продавцов — представители малого бизнеса.
Российский исследовательский институт Huawei обеспечивает цифровыми технологиями каждого человека, каждый дом и каждую компанию, чтобы создать объединенный мир высоких технологий, в том числе с использованием технологий искусственного интеллекта. Для этого мы изучаем интеллектуальное будущее вместе с ведущими партнерами с целью обеспечить, чтобы продукты, решения и сервисы полного цикла Huawei были конкурентоспособны и отвечали современным требованиям безопасности.
На Авито каждый может найти что-то свое среди миллионов частных объявлений и предложений компаний по всей России: от квартиры и автомобиля до работы и кандидатов на вакансии. Сервис делают более 1300 инженеров. В Авито небольшой монолит на PHP, несколько сотен микросервисов на Go и Python, фронтенд на JavaScript, базы данных PostgreSQL, MongoDB и Redis, автоматические тесты, обученная на данных система модерации и поисковый движок Sphinx. Продуктом каждый месяц пользуется треть населения России.
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
Orion soft – российская ИТ-компания, разработчик реестровых инфраструктурных ИТ-решений. В экосистему продуктов Orion soft входят защищенная среда виртуализации zVirt, платформа контейнеризации Nova Container Platform, CMP-платформа Cloudlink, СУБД на базе PostgreSQL Proxima DB, а также платформа терминального доступа Termit. Все продукты экосистемы Orion soft совместимы между собой и включены в Реестр российского ПО.
Центр удаленной разработки. Специализируемся на предоставлении программистов 1С, MS Dynamics 365, Python, Java на проекты заказчиков на full time. Наши разработчики дистанционно работают на проектах заказчиков. 200+ сотрудников,
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
Одно из ключевых подразделений Сбера, занимающееся искусственным интеллектом.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Авито, Sphinx
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Развитие инженера
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У нас десятки тысяч rps к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
