Архитектура рекламной системы Mail.RU Основная секция
Доклад принят в Программу конференции
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает Ит-индустрию, поддерживает комьюнити и делится экспертизой.
Тезисы
!!2 Rb.Mail.Ru
View SlideShare presentation or Upload your own.
Архитектура рекламной системы Mail.ru / Александр Быков
Тезисы
Цель доклада - рассказать как работает реклама на крупнейшем портале Рунета. Раскрыть причины выбора именно такой архитектуры и разобрать альтернативные подходы к построению подобных систем.
Рекламная система - это высоконагруженная часть любого портала. Количество показов банеров обычно превышает количество хитов на страницах, а повышенные требования к надежности и масштабируемости заставляют уделять вопросу проектирования архитектуры особое внимание.
Несморя на 10 лет, прошедших с запуска портала, банерная система, как и основа портала - почтовая служба, практически не изменилась. Все изменения имеют поступательный характер - никаких кардинальных переделок за эти годы не проводилось. Обе системы отлично смасштабировались с ростом характеристик аппаратного обеспечения и увеличением количества серверов. Нереально ?
Мы хотим рассказать, как нам это удалось. Думаем, многие архитектурые решения применимы в проектах гораздо меньшего масштаба.
План доклада
Формулировка требований
- показ банеров не должен зависеть от внешних ресурсов (сеть или объем диска на сервере)
- показ банеров не должен влиять на производительность проекта (минимум затрат CPU на показ банера)
- рекламный движок должен легко встраиваться в любой проект и требовать мимимум затрат на администрирование
- рекламная система должна умещаться в минимальное количество серверов (минимизация стоимости железа)
- если бы система разрабатывалась сейчас, требования к производительности были бы не такими жесткими
Выбранная архитектура
- структурная схема
- устройство фронтенда проекта (различные варианты)
- устройство рекламного фронтенда
- устройство разделяемой библиотеки (+ пара слов про геобазу)
- устройство управляющего сервера
- устройство сервера статистики
- методы обеспечения отказоустойчивости
- таргетинг рекламы
Текущие характеристики
- количественные характеристики
- цикл обновления активных компаний
Преимущества и недостатки
- Обсудим ?
Целевая аудитория
Системные архитекторы, администраторы, разработчики приложений.Где применимо?
Системы управления банерной рекламой, подсчета статистики, доставки контента (CDN).О докладчике
Александр Быков
Контакты: bykov@corp.mail.ruДругие доклады секции Основная секция
Авито, Sphinx
ЕВРАЗ — это горно-металлургическая компания с предприятиями по всей России: от Тулы до Новокузнецка. ООО «ЕвразТехника ИС» выполняет работы (оказывает услуги) по разработке, адаптации, модификации, а также услуги по установке, тестированию и сопровождению программного обеспечения и цифровых решений в группе ЕВРАЗ.
Последние несколько месяцев я "счастливый безработный". Занимаюсь своим open source проектом, сообществом (https://vk.cc/cvAlE8) и выступаю с докладами
Островок! — travel-tech компания, создающая платформы онлайн-бронирования отелей, авиабилетов и других услуг как для индивидуальных путешественников, так и для корпоративных клиентов и тревел-агентств. Наши бренды: Островок!, B2B.Ostrovok.ru, Островок! Командировки. Мы развиваем проекты как в России, так и за рубежом.
Купер (ООО «Инстамарт Технолоджис») — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда Купера создает один из самых сложных высоконагруженных e-commerce-проектов в России и делает это с любовью.
Команда Т-банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает IT-индустрию, поддерживает комьюнити и делится экспертизой.
Компания занимается разработкой ПО на заказ
YADRO известна как разработчик и производитель всего, что можно увидеть в серверной и ЦОД: систем хранения данных, серверов, коммутаторов. Компания также создает телеком-оборудование операторского класса. Go-разработчики заняты как в развитии СХД, так и в телеком-направлении.
SberDevices — российская IT-компания полного цикла. R&D-центр экспертизы в области искусственного интеллекта: речевые технологии, понимание естественного языка, компьютерное зрение, лицевая и голосовая биометрия. Производит умные устройства, разрабатывает высокотехнологичные сервисы для бизнеса, делает масштабные ML-проекты, LLM, высоконагруженные системы и технологии обработки Big Data. В портфолио SberDevices — SberBox, SberJazz, GigaChat, Kandinsky и другие легенды.
Цифровой СИБУР является развивающимся IТ-кластером топового нефтегазохимического холдинга России.
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
В компании 900+ человек, 4 города присутствия: Ижевск, Москва, Уфа, Тюмень. Мы разрабатываем программные продукты и сервисы для управления цифровыми процессами и документами. Оказываем полный спектр услуг по выстраиванию цифрового взаимодействия: анализируем бизнес-процессы, создаем, внедряем и сопровождаем ИТ-решения для организаций различных масштабов и отраслей.
Звук — это аудиостриминг c музыкой в HiFi-качестве, подкастами, аудиокнигами, эксклюзивными плейлистами и разделом для детей. Это продуктово-инженерная компания из 700+ экспертов. Более 450 инженеров, разработчиков и продактов, 6 продуктовых стримов и 19 продуктовых команд каждый день делают стриминг надежнее и наполняют его полезными фичами.
ндекс — международная ІT-компания с собственной поисковой системой и множеством сервисов. Среди них Еда, Такси, Путешествия, Музыка, Кинопоиск, Реклама и другие. Мы создаём уникальные технологии, контрибьютим в опенсорс, улучшаем IT-образование и запускаем продукты и сервисы, которые помогают людям решать задачи и достигать своих целей в жизни.
Компания на рынке уже более 7 лет, занимается сложными трансформациями крупных компаний из финтеха, ритейла и классифайд на рынках РФ и Казахстана.
IT Test — команда по разработке, тестированию и дизайну сложных отраслевых IT-решений. Делаем компании более эффективными за счет цифровизации процессов. 8+ лет на рынке digital-услуг, 200+ реализованных проектов, 70+ проверенных партнеров, 85+ наград в ключевых рейтингах digital-агентств. Занимаемся не только заказной разработкой, но и создаем собственные продукты: наша TMS DoQA увеличивает эффективность процессов тестирования, усиливает аналитику и стандартизирует документацию.
Грамант
Wildberries — онлайн-платформа с 20-летней историей, где представлен широкий ассортимент продукции российских и международных брендов. География присутствия площадки охватывает 7 стран. Ежедневно покупателям отправляется свыше 12 млн товаров, а сеть пунктов выдачи заказов превышает 46 000 точек.
Газпромбанк.Тех — это цифровая датацентричная организация, в центре которой человек. Наша команда создает классные клиентоориентированные сервисы, развивает собственную Data Science-экспертизу, внедряет гибкие практики разработки продуктов и инвестирует в инновации.
Звук — это музыка в HiFi-качестве, а также подкасты, аудиокниги, эксклюзивные плейлисты и раздел для детей. Звук можно послушать в приложении, доступном во всех популярных сторах, на сайте zvuk.com, а также в автомобилях с поддержкой CarPlay и AndroidAuto.
Data Egret
«Платформа Сфера» — универсальная экосистема продуктов для производства технологических решений, которая включает в себя более 40 инструментов для управления разработкой, тестированием, эксплуатацией программного обеспечения, а также инженерных инструментов для работы с исходным кодом и инструментами мониторинга рабочих станций и анализа бизнес-процессов.
DDoS-Guard — cпециализированный провайдер защиты от DDoS-атак на базе собственных разработок. Им доверяют тысячи клиентов по всему миру, среди которых ISPsystem, Selectel, Reg.ru, hh.ru и другие. За 2023 год система защиты DDoS-Guard отразила 1.4 млн атак.
SiteGround
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
В МТС мы прямо сейчас создаем цифровую экосистему масштаба страны.
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
Наша миссия — обучить хотя бы 15% руководителей современным методикам управления и сделать Россию лидером в области корпоративного менеджмента.
«Перкона» (Percona)
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает Ит-индустрию, поддерживает комьюнити и делится экспертизой.
С 2023 года я самостоятельный бизнес-тренер. Работаю с физическими лицами и корпоративными клиентами. Мои корповые клиенты - это лидеры своих отраслей (банки из ТОП-3, ритейлеры из ТОП-5, ИТ-компании из ТОП-50 по мнению hh.ru). Cайт:
СберТех — российский разработчик программного обеспечения для бизнеса и государства, основной поставщик решений для Сбера. Флагманское решение компании — цифровая облачная платформа Platform V для создания приложений любого масштаба и сложности и обеспечения технологической̆ независимости на уровне ПО.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Российский исследовательский институт Huawei обеспечивает цифровыми технологиями каждого человека, каждый дом и каждую компанию, чтобы создать объединенный мир высоких технологий, в том числе с использованием технологий искусственного интеллекта. Для этого мы изучаем интеллектуальное будущее вместе с ведущими партнерами с целью обеспечить, чтобы продукты, решения и сервисы полного цикла Huawei были конкурентоспособны и отвечали современным требованиям безопасности.
Сибирские нейросети - молодая, но быстро развивающаяся компания, которая занимается продуктами в области обработки естественного языка и речевой аналитики.
Мы специализируется на юридическом сопровождении IТ-компаний. С 2020 года работаем в сфере IT-права и интеллектуальной собственности. У нас: - 100% успешных регистраций в Реестре российского ПО; - Экспертные статьи на vc.ru, habr.ru; - Канал в Telegram на аудиторию более 3000 подписчиков; - 290 уверенных в своем бизнесе клиентов; - Проводим вебинары и корпоративное обучение.
Одно из ключевых подразделений Сбера, занимающееся искусственным интеллектом.
ITentika (ранее российский центр разработки DataArt) - разработчик ПО с 25-летним опытом создания ИТ-решений для ведущих международных компаний и крупнейших экосистем РФ. Мы проектируем и разрабатываем технологически сложные решения на стыке информационных технологий и бизнес-консалтинга, позволяющие нашим клиентам кратно увеличить прибыль и стать лидером отрасли. ITentika входит в ТОП-20 крупнейших разработчиков ПО (Рейтинговое агентство RAEX).
devhands.io
Команда Яндекс 360 создает продукты, которые решают повседневные задачи миллионов пользователей: от хранения воспоминаний до деловой переписки. В Яндекс 360 входят Почта, Диск, Документы, Телемост, Календарь, Заметки и Мессенджер
GMCS – российская аккредитованная ИТ-компания, один из лидеров по внедрению бизнес-решений и разработке ПО. Мы помогаем заказчикам осуществить цифровую трансформацию бизнеса с помощью решений ведущих мировых и российских поставщиков, а также продуктов собственной разработки.
Центр удаленной разработки. Специализируемся на предоставлении программистов 1С, MS Dynamics 365, Python, Java на проекты заказчиков на full time. Наши разработчики дистанционно работают на проектах заказчиков. 200+ сотрудников,
Компания «ЭвоКарго» разрабатывает автономные логистические решения. «ЭвоКарго» предлагает принципиально новую экономически эффективную логистическую услугу по сервисной модели с применением автономного транспорта собственного производства на складских и производственных площадках. За три года компания стала одной из первых в мире, успешно запустивших полностью автономный логистический сервис грузоперевозок. Сервис позволяет снизить расходы на содержание флота до 30%.
Ростелеком — крупнейший в России интегрированный провайдер digital-решений и услуг для населения, бизнеса и государства. Миссия компании — дать людям качественные и удобные цифровые сервисы для комфортной жизни и эффективного бизнеса.
МТС — одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. Штат IT-специалистов компании превышает 8 000 человек.
YADRO известна как разработчик и производитель всего, что можно увидеть в серверной и ЦОД: систем хранения данных, серверов, коммутаторов. Компания также создает телеком-оборудование операторского класса. Go-разработчики заняты как в развитии СХД, так и в телеком-направлении.
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
ВКонтакте — крупнейшая социальная сеть в России и странах СНГ. Миссия ВКонтакте — соединять людей, сервисы и компании, создавая простые и удобные инструменты коммуникации. VK — это более 200 технологичных проектов, больше 15 000 сотрудников и миллион возможностей проявить себя. Мы делаем современные и быстрые интернет-сервисы, доступные каждому.
«Перкона» (Percona)
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
