Архитектура рекламной системы Mail.RU Основная секция
Доклад принят в Программу конференции
SberDevices — это компания полного цикла. Мы создаём идеи, самостоятельно разрабатываем продукты, занимаемся прототипированием, конструированием, придумываем дизайн, программные решения, контролируем качество на фабриках и создаём инструменты для аппаратного тестирования.
Тезисы
!!2 Rb.Mail.Ru
View SlideShare presentation or Upload your own.
Архитектура рекламной системы Mail.ru / Александр Быков
Тезисы
Цель доклада - рассказать как работает реклама на крупнейшем портале Рунета. Раскрыть причины выбора именно такой архитектуры и разобрать альтернативные подходы к построению подобных систем.
Рекламная система - это высоконагруженная часть любого портала. Количество показов банеров обычно превышает количество хитов на страницах, а повышенные требования к надежности и масштабируемости заставляют уделять вопросу проектирования архитектуры особое внимание.
Несморя на 10 лет, прошедших с запуска портала, банерная система, как и основа портала - почтовая служба, практически не изменилась. Все изменения имеют поступательный характер - никаких кардинальных переделок за эти годы не проводилось. Обе системы отлично смасштабировались с ростом характеристик аппаратного обеспечения и увеличением количества серверов. Нереально ?
Мы хотим рассказать, как нам это удалось. Думаем, многие архитектурые решения применимы в проектах гораздо меньшего масштаба.
План доклада
Формулировка требований
- показ банеров не должен зависеть от внешних ресурсов (сеть или объем диска на сервере)
- показ банеров не должен влиять на производительность проекта (минимум затрат CPU на показ банера)
- рекламный движок должен легко встраиваться в любой проект и требовать мимимум затрат на администрирование
- рекламная система должна умещаться в минимальное количество серверов (минимизация стоимости железа)
- если бы система разрабатывалась сейчас, требования к производительности были бы не такими жесткими
Выбранная архитектура
- структурная схема
- устройство фронтенда проекта (различные варианты)
- устройство рекламного фронтенда
- устройство разделяемой библиотеки (+ пара слов про геобазу)
- устройство управляющего сервера
- устройство сервера статистики
- методы обеспечения отказоустойчивости
- таргетинг рекламы
Текущие характеристики
- количественные характеристики
- цикл обновления активных компаний
Преимущества и недостатки
- Обсудим ?
Целевая аудитория
Системные архитекторы, администраторы, разработчики приложений.Где применимо?
Системы управления банерной рекламой, подсчета статистики, доставки контента (CDN).О докладчике
Александр Быков
Контакты: bykov@corp.mail.ruДругие доклады секции Основная секция
Билайн - один из ведущих поставщиков телекоммуникационных услуг в России
"Открытая мобильная платформа" разрабатывает продукты в области системного и инфрастурного ПО для обеспечечния компаний надёжными отечественными решениями построения безопасной и устойчивой мобильной инфраструктуры. Флагманский продукт компании ОС Аврора расширяет свое применение на автомобильную промышленность и финтех.
devhands.io
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
Разработка цифровых решений на базе ИИ для группы компаний Северсталь.
билайн – технологичная компания, предоставляющая клиентам услуги в области Big Data, IT, безопасности, облачных технологий, интернета вещей и рекламных инструментов. В штате работают более 3000 IT-специалистов, они помогают более 80 000 клиентам из разных отраслей бизнеса быть более эффективными.
СберТех — российский разработчик программного обеспечения. Флагманское решение компании — цифровая облачная платформа Platform V для создания бизнес-решений и промышленных приложений любого масштаба и сложности. Она включает более 80 продуктов, которые закрывают потребности разработки на всех уровнях архитектуры предприятия.
Авито, Sphinx
Т-Банк Умная поддержка - это Бот Обслуживания банка и семейство инструментов вокруг него. У Т-Банка нет своих офисов, поэтому качество и скорость решения проблем в чате поддержки - критически важные метрики компании. На текущий момент ведем большой проект по переводу Бота со сценариев на ризонинг
В конце 2021 года запустил многопрофильное маркетинговое агентство uForce. Реализовали 1000+ крупных проектов. Делаем разное: запускаем ORM компании в комментариях на YouTube с оплатой по CPM, работаем с микроблогерами, настраиваем перфоманс под ключ, работаем с репутацией, привлекаем через мессенджеры клиентов для сложных продуктов и услуг, проводим исследования нестандартными методами.
«Яндекс» — ведущая российская технологическая компания, развивающая экосистему цифровых сервисов: от поиска и карт до транспорта, медиа и ИИ‑технологий. А Городские сервисы Яндекса делают повседневную жизнь в мегаполисе удобнее: такси и каршеринг в «Яндекс Go», быстрая доставка еды и продуктов, навигация и актуальные пробки в «Яндекс Картах».
Группа компаний VK это крупнейшая ИТ компания, которая объединяет в себе социальные платформы, почту, облако, образовательные и технологические сервисы для пользователей и компаний.
Новосибирский государственный университет (НГУ) входит в топ-10 лучших российских университетов согласно QS World University Rankings. Механико-математический факультет, где Иван занимается исследованиями по основному месту работы, является крупнейшим центром исследовательской и преподавательской деятельности по искусственному интеллекту в НГУ. Так, на факультете существует Инженерная школа для бакалавров, магистратура по прикладному машинному обучению и большим данным (совместно с Яндекс-ШАД), лаборатории факультета выполняют проекты по ИИ для индустриальных партнёров НГУ (например, https://nauka.tass.ru/nauka/18507183).
Сибур — крупный нефтегазохимический холдинг.
Домклик – дочка Сбера, через нас выдаётся больше половины ипотеки в нашей стране. Наши IT решения и архитектура позволяют нам первыми на рынке запускать крупные продукты и решать любые вопросы с недвижимостью.
«Перкона» (Percona)
Яндекс Еда - лидер своего сегмента e-com. За 7 лет стала социально-значимым сервисом, кормящим миллионы пользователей. Часть Городских Сервисов Яндекса, меняющих ландшафт мегаполисов и делающих вашу жизнь комфортней.
Data Egret
Psychometrica – проект в области цифровой психометрии. Платформа для психологического тестирования, структурированной оценки состояния и интерпретации результатов с использованием валидированных методик и ИИ под экспертным контролем.
АО «Гринатом» — это отраслевой общий центр обслуживания (ОЦО) и ИТ-интегратор госкорпорации «Росатом». Компания была создана 18 декабря 2009 года для централизации и автоматизации обеспечивающих функций предприятий атомной отрасли.
MTS Web Services (MWS) — облачные сервисы для решения задач вашего бизнеса. Мы предоставляем сетевые сервисы; продукты для вычисления, хранения и обработки данных; PaaS-решения; инструменты кибербезопасности; профессиональные сервисы и ИИ-решения. Мы также строим публичную облачную платформу собственной разработки с нуля. Она станет доступна в 2025 году.
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Они работают над созданием удобных онлайн-сервисов в самых разных сферах.
МТС — мультисервисная цифровая экосистема и ведущий телеком-оператор в России. Компания развивает сервисы и продукты в сфере больших данных, искусственного интеллекта, облачного хранения, медиа и финансов, телекоммуникаций. Штат IT-специалистов превышает 9,5 тыс. человек.
"Открытая Мобильная Платформа" обеспечивает компании надёжными отечественными решениями для построения доверенной безопасной мобильной инфраструктуры.
Яндекс Плюс AdTech - это рекламное направление от Яндекса, которое позволяет бизнесу продвигать товары и услуги, обращаясь к многомиллионной аудитории подписчиков Яндекс Плюса. Проще говоря, это набор инструментов, который даёт рекламодателям возможность запускать единую кампанию сразу в нескольких сервисах экосистемы Яндекса: Кинопоиск, Яндекс Музыка, Яндекс Пэй, Яндекс Книги, Яндекс Афиша и сам сервис «Плюс»
«Перкона» (Percona)
Gravity Field — это B2B-SaaS-платформа для персонализации пользовательского опыта на основе больших данных и продвинутого набора инструментов сегментирования пользователей, алгоритмов товарных рекомендаций, А/В-тестирования, триггерных коммуникаций, продвинутой аналитики и оптимизации кампаний.
Purrweb компания которая специализируется на разработке MVP приложений и стартапов, за последнее время компания выросла до 200 человек и продолжает развиваться.
Грамант
СберЗдоровье — российская медицинская компания, специализирующаяся на телемедицинских услугах и цифровых решениях в области здравоохранения.
Компания MixBytes входит в мировой топ по аудитам безопасности смарт-контрактов, занимается разработкой и исследованиями в блокчейн-отрасли.
AG-LEGAL — юридический консалтинг, сопровождающий IT-компании, а также крупные федеральные компании по вопросам интеллектуальной собственности, категорирования КИИ, персональных данных, включением в Реестр отечественного ПО. Телеграм-канал (3к подписчиков) https://t. me/aglegal. Проводят вебинары, выступали на других конференциях и проводили корпоративное обучение для других компаний.
Мир Plat.Form — это технологический бренд Национальной системы платежных карт (НСПК). Самые известные разработки — платежная система «Мир» и Система быстрых платежей (СБП), а также Мир Plat.Form обрабатывает все внутрироссийские межбанковские операции по всем картам всех платежных систем.
Navio занимается разработкой технологии автономного вождения, совместимую с различными видами транспорта.
Мы строим публичную облачную платформу Yandex Cloud, чтобы дать компаниям доступ к технологиям и сервисам, которые проверены нагрузками Яндекса. Наши продукты — это масштабируемая инфраструктура, сервисы хранения данных, инструменты машинного обучения и средства разработки, которые используют более 47 тысяч клиентов. Более 100 крупнейших компаний России рейтинга РБК-500 создают и совершенствуют свои цифровые сервисы с помощью уникальных технологий Yandex Cloud.
Я не хочу делать этот доклад от конкретной компании.
Сибур — крупный нефтегазохимический холдинг.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У них десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Лемана Тех (Леруа Мерлен) — лидер рынка DIY в России. Переосмысливают DIY-ретейл так же, как другие технологические лидеры до этого меняли банкинг и IТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
SiteGround
В «Магните» занимается управлением портфелем IT-проектов, трансформацией IT-вертикали, а также контролирует эффективность производственного цикла. Одна из задач — повышение эффективности управления изменениями для бизнес-заказчиков.
Контур — экосистема для бизнеса. 70+ сервисов помогают 3,1 млн компаний России вести бухгалтерию и ЭДО, сдавать отчетность и автоматизировать другие рабочие процессы. 120+ команд улучшают продукты-гиганты, запускают стартапы, развивают инфраструктуру.
RUTUBE - пожалуй лучший видеохостинг страны.
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
Они — Скала! Облегчают Заказчикам вход в дивный мир российских продуктов, хотят доказать всем, что импортозамещение — это не больно. Продукты Скала^р являются серийно выпускаемыми преднастроенными комплексами и позволяют осуществлять быстрое развёртывание и ввод в эксплуатацию.
НЛМК ИТ — команда, которая делает IT-системы для металлургии и генерит существенную часть успеха Группы НЛМК, лидера среди российских производителей стали. В нашей готовой продукции нет ни единой строчки кода, но в ее производстве участвует большая IT-команда. Поэтому мы немножечко IT-металлурги. Делаем цифру реальностью!
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
СберЗдоровье — российская медицинская компания, специализирующаяся на телемедицинских услугах и цифровых решениях в области здравоохранения.
Сбер — крупнейший банк России, третий по величине эквайер в мире
KION - онлайн кинотеатр, который раздает десятки гигабит видео в секунду и делает жизнь чуть интереснее
