Highload++ 2017 завершён!

Профессиональная конференция разработчиков высоконагруженных систем

СКОЛКОВО, Москва 7 и 8 ноября

11-я ежегодная конференция для разработчиков highload-систем, которая соберет   2 700 участников из разных регионов России и мира. Мероприятие направлено на обмен знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей.

Программа охватывает такие аспекты веб-разработок, как архитектуры крупных проектов, базы данных и системы хранения, системное администрирование, нагрузочное тестирование, эксплуатация крупных проектов и другие направления, связанные с высоконагруженными системами.

Архитектура рекламной системы Mail.RU
Основная секция

Доклад принят в Программу конференции
СберТех — российский разработчик программного обеспечения для бизнеса и государства, основной поставщик решений для Сбера. Флагманское решение компании – цифровая облачная платформа Platform V для создания приложений любого масштаба и сложности и обеспечения технологической̆ независимости на уровне ПО.

Тезисы

!!2 Rb.Mail.Ru
View SlideShare presentation or Upload your own.



Архитектура рекламной системы Mail.ru / Александр Быков

Тезисы

Цель доклада - рассказать как работает реклама на крупнейшем портале Рунета. Раскрыть причины выбора именно такой архитектуры и разобрать альтернативные подходы к построению подобных систем.

Рекламная система - это высоконагруженная часть любого портала. Количество показов банеров обычно превышает количество хитов на страницах, а повышенные требования к надежности и масштабируемости заставляют уделять вопросу проектирования архитектуры особое внимание.

Несморя на 10 лет, прошедших с запуска портала, банерная система, как и основа портала - почтовая служба, практически не изменилась. Все изменения имеют поступательный характер - никаких кардинальных переделок за эти годы не проводилось. Обе системы отлично смасштабировались с ростом характеристик аппаратного обеспечения и увеличением количества серверов. Нереально ?

Мы хотим рассказать, как нам это удалось. Думаем, многие архитектурые решения применимы в проектах гораздо меньшего масштаба.

План доклада

Формулировка требований

  • показ банеров не должен зависеть от внешних ресурсов (сеть или объем диска на сервере)
  • показ банеров не должен влиять на производительность проекта (минимум затрат CPU на показ банера)
  • рекламный движок должен легко встраиваться в любой проект и требовать мимимум затрат на администрирование
  • рекламная система должна умещаться в минимальное количество серверов (минимизация стоимости железа)
  • если бы система разрабатывалась сейчас, требования к производительности были бы не такими жесткими

Выбранная архитектура

  • структурная схема
  • устройство фронтенда проекта (различные варианты)
  • устройство рекламного фронтенда
  • устройство разделяемой библиотеки (+ пара слов про геобазу)
  • устройство управляющего сервера
  • устройство сервера статистики
  • методы обеспечения отказоустойчивости
  • таргетинг рекламы

Текущие характеристики

  • количественные характеристики
  • цикл обновления активных компаний

Преимущества и недостатки

  • Обсудим ?

Целевая аудитория

Системные архитекторы, администраторы, разработчики приложений.

Где применимо?

Системы управления банерной рекламой, подсчета статистики, доставки контента (CDN).

О докладчике

Александр Быков

Контакты: bykov@corp.mail.ru

Другие доклады секции
Основная секция

Команда Тинькофф — это разработчики, продакт-менеджеры, дизайнеры, маркетологи, аналитики, тестировщики, SRE-инженеры и другие специалисты. Вместе они создают новые и развивают существующие финтех-продукты, которыми пользуются 25 миллионов клиентов и каждый из нас.
Экспресс 42 помогает технологическим компаниям формировать инженерные практики для производства их продуктов. Внедряют DevOps-практики и инструменты, помогают эксплуатировать интернет-проекты.
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
«Платформа Сфера» — универсальная экосистема продуктов для производства технологических решений, которая включает в себя более 40 инструментов для управления разработкой, тестированием, эксплуатацией программного обеспечения, а также инженерных инструментов для работы с исходным кодом и инструментами мониторинга рабочих станций и анализа бизнес-процессов.
Крупнейшая российская IT компания с самой большой долей поиска в РФ.
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
Hilbert Team — системный IТ‑интегратор. Отраслевой эксперт в области DevOps, DataOps, DevSecOps и FinOps.
На Авито каждый может найти что-то свое среди миллионов частных объявлений и предложений компаний по всей России: от квартиры и автомобиля до работы и кандидатов на вакансии. Сервис делают более 1300 инженеров. В Авито небольшой монолит на PHP, несколько сотен микросервисов на Go и Python, фронтенд на JavaScript, базы данных PostgreSQL, MongoDB и Redis, автоматические тесты, обученная на данных система модерации и поисковый движок Sphinx. Продуктом каждый месяц пользуется треть населения России.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
Доклад будет о личном проекте, так что в его контексте автор и есть компания :)
СберМаркет (ООО «Инстамарт Технолоджис») — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда СберМаркета создает один из самых сложных высоконагруженных e-commerce-проектов в России и делает это с любовью.
Т1 — многопрофильный холдинг, один из лидеров российского IТ-рынка, является партнером ключевых производителей и разработчиков в сфере информационных технологий. В штате — 20 тысяч сотрудников. В 2022 году оборот холдинга составил свыше 166,7 млрд рублей. По версии аналитических агентств CNews Analytics, TAdviser и RAEX, Т1 входит в топ-3 крупнейших российских IТ-компаний. В состав холдинга входят кластеры: Т1 (компании Т1 Интеграция, Т1 Консалтинг, Т1 Cloud, Сервионика), МультиКарта, Иннотех, Дататех и НОТА.
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Яндекс Еда – это про скорость, про быструю доставку из кафе, ресторанов и любых магазинов.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У нас десятки тысяч rps к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Газпромбанк — один из крупнейших банков России. Они не просто банкиры: создают искусственный интеллект, придумывают новые цифровые продукты и поддерживают профессиональное комьюнити. Планируют стать самым дата-центричным и диджитализированным банком страны.
ВКонтакте — крупнейшая социальная сеть в России и странах СНГ. Миссия ВКонтакте — соединять людей, сервисы и компании, создавая простые и удобные инструменты коммуникации. VK — это больше 200 технопроектов. Свыше 10 000 человек создают и развивают одни из самых популярных и высоконагруженных интернет-сервисов в стране. Делают комфортнее, легче и интереснее жизнь сотне миллионов людей.
Технологический партнер с комплексной экспертизой в области построения и развития инфраструктуры, внедрения информационных систем, разработки программных решений и сервисной поддержки. КРОК реализует проекты, которые задают тон индустрии: от крупнейшего ЦОДа в стране до «умной» инфраструктуры спортивных объектов.
Яндекс Еда – это про скорость, про быструю доставку из кафе, ресторанов и любых магазинов.
Positive Technologies — лидер рынка результативной кибербезопасности. Компания является ведущим разработчиком продуктов, решений и сервисов, позволяющих выявлять и предотвращать кибератаки до того, как они причинят неприемлемый ущерб бизнесу и целым отраслям экономики. Технологии компании используют более 3300 организаций по всему миру, в том числе 80% компаний из рейтинга «Эксперт-400».
QIWI — международная группа компаний, которая предоставляющая платежные и финансовые сервисы в России и в других странах.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Дзен — контентная платформа, которой каждый месяц пользуются 32,5 миллиона человек. Рекомендательные алгоритмы отбирают контент для персональных лент пользователей от 100 тысяч авторов из почти 5 миллионов возможных вариантов.
Postgres Professional — разработчик Postgres Pro, самой популярной российской системы управления базами данных. В команде Postgres Professional — 70% российских разработчиков PostgreSQL. Среди заказчиков Postgres Pro — крупнейшие российские компании из списка РБК-500, а также объекты КИИ.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Строят публичную облачную платформу Yandex Cloud, чтобы дать компаниям доступ к технологиям и сервисам, которые проверены нагрузками Яндекса. Их продукты — это масштабируемая инфраструктура, сервисы хранения данных, инструменты машинного обучения и средства разработки.
Яндекс Еда – это про скорость, про быструю доставку из кафе, ресторанов и любых магазинов.
С 2023 года я самостоятельный бизнес-тренер. Работаю с физическими лицами и корпоративными клиентами. Мои корповые клиенты - это лидеры своих отраслей (банки из ТОП-3, ритейлеры из ТОП-5, ИТ-компании из ТОП-50 по мнению hh.ru). Cайт:
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
IT-компания и основной цифровой партнер торговых сетей и бизнесов X5 Group. Команда из более 3500 специалистов разрабатывает решения, которые помогают 325 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты.
БФТ-Холдинг – российский разработчик программных продуктов и заказных решений для государственного сектора России. Проекты, выполняемые нами, меняют в лучшую сторону жизнь людей по всей России.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
Яндекс Еда – это про скорость, про быструю доставку из кафе, ресторанов и любых магазинов.
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
Компания «ЭвоКарго» разрабатывает автономные логистические решения. «ЭвоКарго» предлагает принципиально новую экономически эффективную логистическую услугу по сервисной модели с применением автономного транспорта собственного производства на складских и производственных площадках. За три года компания стала одной из первых в мире, успешно запустивших полностью автономный логистический сервис грузоперевозок. Сервис позволяет снизить расходы на содержание флота до 30%.
DDoS-Guard — cпециализированный провайдер защиты от DDoS-атак на базе собственных разработок. Им доверяют тысячи клиентов по всему миру, среди которых ISPsystem, Selectel, Reg.ru, hh.ru и другие. За 2023 год система защиты DDoS-Guard отразила 1.4 млн атак.
Дзен — контентная платформа, которой каждый месяц пользуются 32,5 миллиона человек. Рекомендательные алгоритмы отбирают контент для персональных лент пользователей от 100 тысяч авторов из почти 5 миллионов возможных вариантов.
SberDevices — IT-компания полного цикла в экосистеме Сбера, R&D-центр экспертизы в области искусственного интеллекта: речевые технологии, понимание естественного языка, компьютерное зрение, лицевая и голосовая биометрия. Производит умные устройства — от лампочек до телевизоров. В портфолио SberDevices — ruGPT-3, ruDall-E, RuSBERT и другие масштабные ML-проекты, высоконагруженные системы и технологии обработки Big Data.
Доклад будет о личном проекте, так что в его контексте автор и есть компания :)
Rambler's Top100