HighLoad++ 2015 завершён! Ждём вас в 2016 году!

Профессиональная конференция разработчиков высоконагруженных систем

2 и 3 ноября 2015 Крокус-Экспо МОСКВА
Профессиональная конференция разработчиков высоконагруженных систем

Построение современного почтового узла
Основная секция

Доклад принят в Программу конференции
Звук — это аудиостриминг c музыкой в HiFi-качестве, подкастами, аудиокнигами, эксклюзивными плейлистами и разделом для детей. Это продуктово-инженерная компания из 700+ экспертов. Более 450 инженеров, разработчиков и продактов, 6 продуктовых стримов и 19 продуктовых команд каждый день делают стриминг надежнее и наполняют его полезными фичами.

Тезисы

Тезисы

I. Общая концепция

1. Зачем я вообще рассказываю эти прописные истины, и почему буду строить всё на простых доступных вещах, не прибегая к каким-то ноу хау.

2. Значимость электронной почты в современной электронной индустрии. Почему от неё никогда не откажутся.

3. Проблемы современной почты. Ошибки, кодировки, большие файлы, битые адреса, спам, вирусы, почтовые бомбы, шифрование, электронные подписи, гарантия доставки.

4. Общая концепция построения современного почтового узла. Картинка с отдельными узлами авторизованной почты, почтового хаба, почтового релея, сервера приёма почты с серверов (submit), сервер приёма почты из вне (MX), сервер хранения почты. Тезисно: задачи каждого функционального узла. Почему именно так (изоляция функциональных узлов, большая философская речь).

II. Службы почтового узла.

1. Почта от программ

1.1. Проблемы. Вирусы, спам, ошибки, скорость, возвраты.

1.2. Возможные решения. Очередь, эвристический анализ (From: <>, наличие "правильного" количества

Received, "правильный" X-Mailer, верный Message-Id, firewall), баланс между анализом и скоростью, подстановка адресов.

1.3. Правила хорошего тона. Правильный обратный адрес, чтение возвратов, 8-битные заголовки и т.д.

1.4. Списки рассылки.

2. Авторизованная почта

2.1. Проблемы. Вирусы, спам, взлом, проверки.

2.2. Возможные решения. Антивирус, автоматическая блокировка аккаунта, анализ статистики отправок.

2.3. Правила хорошего тона. 8-битные заголовки, HELO, PTR, чёрные списки, информеры о проблемах.

3. Приём почты извне

3.1. Особенности. Анонимность.

3.2. Проблемы. Спам, вирусы, бомбы, ошибки, баунсы, нагрузка.

3.3. Возможные решения. Антиспам, антивирус, автоматические блокировки по следящему анализу, чёрные списки, скорость, анализ входа (From:, From: <>, битые HELO, Mesage-Id ...), квитанции, сброс соединения, обратные адреса.

3.4. Правила хорошего тона. Вирусы от провайдеров, прямой субмит, Microsoft.

4. Отправка почты

4.1. Особенности. Кривые контрагенты, борьба с коллегами.

4.2. Проблемы. Чёрные списки, грейлистинг, сексуалная ориентация, очереди, баунсы, вирусы.

4.3. Возможные решения. Очереди, каскад fallback'ов, "скажи нет маринаду почты", проверка на вирусы, следящая блокировка на входе по невозможности выхода.

4.4. Правила хорошего тона.

P.S. Весь доклад делается в применении к опыту полученному при внедрении почтовой системы peterhost'а, использовании этого опыта в почтовой системе efind.ru (считай, почтовый сервер маленького офиса).

О докладчике

Phil Kulin

Контакты: schors@gmail.com

Другие доклады секции
Основная секция

ВКонтакте — крупнейшая социальная сеть в России и странах СНГ. Миссия ВКонтакте — соединять людей, сервисы и компании, создавая простые и удобные инструменты коммуникации. VK — это более 200 технологичных проектов, больше 15 000 сотрудников и миллион возможностей проявить себя. Делают современные и быстрые интернет-сервисы, доступные каждому.
Островок! — travel-tech компания, создающая платформы онлайн-бронирования отелей, авиабилетов и других услуг как для индивидуальных путешественников, так и для корпоративных клиентов и тревел-агентств. Наши бренды: Островок!, B2B.Ostrovok.ru, Островок! Командировки. Мы развиваем проекты как в России, так и за рубежом.
Купер (ООО «Инстамарт Технолоджис») — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда Купера создает один из самых сложных высоконагруженных e-commerce-проектов в России и делает это с любовью.
Мы специализируется на юридическом сопровождении IТ-компаний. С 2020 года работаем в сфере IT-права и интеллектуальной собственности. У нас: - 100% успешных регистраций в Реестре российского ПО; - Экспертные статьи на vc.ru, habr.ru; - Канал в Telegram на аудиторию более 3000 подписчиков; - 290 уверенных в своем бизнесе клиентов; - Проводим вебинары и корпоративное обучение.
Wildberries — онлайн-платформа с 20-летней историей, где представлен широкий ассортимент продукции российских и международных брендов. География присутствия площадки охватывает 7 стран. Ежедневно покупателям отправляется свыше 12 млн товаров, а сеть пунктов выдачи заказов превышает 46 000 точек.
РТЛабс — разработчик Госуслуг. Мы развиваем цифровую экосистему портала gosuslugi.ru и работаем над тем, чтобы изменить представление о государственных сервисах. Команда РТЛабс работает по agile, и наша главная метрика — довольный пользователь. Среди проектов компании: цифровые сервисы Госуслуг, мобильное приложение «Госуслуги», цифровой ассистент робот Макс, Единая система идентификации и аутентификации (ЕСИА), Система межведомственного электронного взаимодействия (СМЭВ) и другие.
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает Ит-индустрию, поддерживает комьюнити и делится экспертизой.
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У нас десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
В МТС мы прямо сейчас создаем цифровую экосистему масштаба страны.
Райффайзен Банк — часть австрийской банковской группы Raiffeisen Bank International; работает в России с 1996 года и входит в тройку самых надежных российских банков по версии Forbes. В команде банка более 3000 IT-специалистов, которые работают над продуктами будущего и развивают финтех в России. И не любят легаси.
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Мы переосмысливаем DIY-ритейл так же, как другие технологические лидеры до этого меняли банкинг и ИТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
ндекс — международная ІT-компания с собственной поисковой системой и множеством сервисов. Среди них Еда, Такси, Путешествия, Музыка, Кинопоиск, Реклама и другие. Мы создаём уникальные технологии, контрибьютим в опенсорс, улучшаем IT-образование и запускаем продукты и сервисы, которые помогают людям решать задачи и достигать своих целей в жизни.
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает Ит-индустрию, поддерживает комьюнити и делится экспертизой.
СберТех — российский разработчик программного обеспечения для бизнеса и государства, основной поставщик решений для Сбера. Флагманское решение компании — цифровая облачная платформа Platform V для создания приложений любого масштаба и сложности и обеспечения технологической̆ независимости на уровне ПО.
МТС — мультисервисная цифровая экосистема и ведущий телеком-оператор в России. Компания развивает сервисы и продукты в сфере больших данных, искусственного интеллекта, облачного хранения, медиа и финансов, телекоммуникаций. Штат IT-специалистов превышает 9,5 тыс. человек.
Я работаю в компании Wildberries уже три года и в течение этого времени команда моего продукта изменялась и прошла путь от стартапа до большой продуктовой команды.
ЕВРАЗ — это горно-металлургическая компания с предприятиями по всей России: от Тулы до Новокузнецка. ООО «ЕвразТехника ИС» выполняет работы (оказывает услуги) по разработке, адаптации, модификации, а также услуги по установке, тестированию и сопровождению программного обеспечения и цифровых решений в группе ЕВРАЗ.
В компании 900+ человек, 4 города присутствия: Ижевск, Москва, Уфа, Тюмень. Мы разрабатываем программные продукты и сервисы для управления цифровыми процессами и документами. Оказываем полный спектр услуг по выстраиванию цифрового взаимодействия: анализируем бизнес-процессы, создаем, внедряем и сопровождаем ИТ-решения для организаций различных масштабов и отраслей.
YADRO известна как разработчик и производитель всего, что можно увидеть в серверной и ЦОД: систем хранения данных, серверов, коммутаторов. Компания также создает телеком-оборудование операторского класса. Go-разработчики заняты как в развитии СХД, так и в телеком-направлении.
Звук — это музыка в HiFi-качестве, а также подкасты, аудиокниги, эксклюзивные плейлисты и раздел для детей. Звук можно послушать в приложении, доступном во всех популярных сторах, на сайте zvuk.com, а также в автомобилях с поддержкой CarPlay и AndroidAuto.
Циан — IT-компания, разрабатывающая сервисы для покупки, продажи, сдачи в аренду и оценки стоимости недвижимости, а также для расчета и подбора ипотеки.
Сообщество, занимающееся разработкой и поддержкой WordPress и связанных проектов — 22 открытые для новичков команды и Core Security.
GMCS – российская аккредитованная ИТ-компания, один из лидеров по внедрению бизнес-решений и разработке ПО. Мы помогаем заказчикам осуществить цифровую трансформацию бизнеса с помощью решений ведущих мировых и российских поставщиков, а также продуктов собственной разработки.
Сибирские нейросети - молодая, но быстро развивающаяся компания, которая занимается продуктами в области обработки естественного языка и речевой аналитики.
СберТех — российский разработчик программного обеспечения для бизнеса и государства, основной поставщик решений для Сбера. Флагманское решение компании — цифровая облачная платформа Platform V для создания приложений любого масштаба и сложности и обеспечения технологической̆ независимости на уровне ПО.
«Татнефть Цифровые Технологии» — дочерняя IT-компания ПАО «Татнефть», центр внутренней продуктовой разработки и технического сопровождения. Команда работает над автоматизацией деятельности группы компаний и разработкой пользовательских сервисов.
ВКонтакте — крупнейшая социальная сеть в России и странах СНГ. Миссия ВКонтакте — соединять людей, сервисы и компании, создавая простые и удобные инструменты коммуникации. VK — это более 200 технологичных проектов, больше 15 000 сотрудников и миллион возможностей проявить себя. Мы делаем современные и быстрые интернет-сервисы, доступные каждому.
ITentika (ранее российский центр разработки DataArt) - разработчик ПО с 25-летним опытом создания ИТ-решений для ведущих международных компаний и крупнейших экосистем РФ. Мы проектируем и разрабатываем технологически сложные решения на стыке информационных технологий и бизнес-консалтинга, позволяющие нашим клиентам кратно увеличить прибыль и стать лидером отрасли. ITentika входит в ТОП-20 крупнейших разработчиков ПО (Рейтинговое агентство RAEX).
Purrweb компания которая специализируется на разработке MVP приложений и стартапов, за последнее время компания выросла до 200 человек и продолжает развиваться.
YADRO известна как разработчик и производитель всего, что можно увидеть в серверной и ЦОД: систем хранения данных, серверов, коммутаторов. Компания также создает телеком-оборудование операторского класса. Go-разработчики заняты как в развитии СХД, так и в телеком-направлении.
Цифровой СИБУР является развивающимся IТ-кластером топового нефтегазохимического холдинга России.
В Nexign пишут на Java, Gо, C# и С++, создают микросервисы и используют собственную СУБД. В команде 2000 экспертов, которые всегда знают, как сделать лучше. Они доказывают это в каждом проекте, будь то внедрение биллинговой платформы крупнейшим телеком-операторам или создание кастомизируемой HRM-системы.
Ростелеком — крупнейший в России интегрированный провайдер digital-решений и услуг для населения, бизнеса и государства. Миссия компании — дать людям качественные и удобные цифровые сервисы для комфортной жизни и эффективного бизнеса.
Ecom.Tech - ИТ компания, разрабатывающая продукты для Самокат, Мегамаркет, Купер
Компания на рынке уже более 7 лет, занимается сложными трансформациями крупных компаний из финтеха, ритейла и классифайд на рынках РФ и Казахстана.
SberDevices — российская IT-компания полного цикла. R&D-центр экспертизы в области искусственного интеллекта: речевые технологии, понимание естественного языка, компьютерное зрение, лицевая и голосовая биометрия. Производит умные устройства, разрабатывает высокотехнологичные сервисы для бизнеса, делает масштабные ML-проекты, LLM, высоконагруженные системы и технологии обработки Big Data. В портфолио SberDevices — SberBox, SberJazz, GigaChat, Kandinsky и другие легенды.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
IT Test — команда по разработке, тестированию и дизайну сложных отраслевых IT-решений. Делаем компании более эффективными за счет цифровизации процессов. 8+ лет на рынке digital-услуг, 200+ реализованных проектов, 70+ проверенных партнеров, 85+ наград в ключевых рейтингах digital-агентств. Занимаемся не только заказной разработкой, но и создаем собственные продукты: наша TMS DoQA увеличивает эффективность процессов тестирования, усиливает аналитику и стандартизирует документацию.
Rambler's Top100