Особенности обработки статистики высоконагруженной системы управления баннерной рекламой Основная секция
Доклад принят в Программу конференции
Грамант
Директор по разработке компании «Грамант». Более 15 занимаюсь разработкой программного обеспечения. Эксперт в области веб-технологий и электронноий рекламы.
Неоднократно выступал с докладами на профессиональных конференциях (HighLoad, РИТ, CodeFest и других)
Тезисы
!!1 Hl++ Stats
View SlideShare presentation or Upload your own.
Особенности обработки статистики высоконагруженной системы управления баннерной рекламой / Артем Вольфтруб (Gramant)
Тезисы
Большие баннерные сети генерируют большие объемы информации, которую необходимо обрабатывать, хранить и анализировать. Что делать, если система ежедневно регистрирует порядка 500 000 000 событий и их необходимо обрабатывать с минимальной задержкой? Как организовать структуру базы данных для хранения информации так, чтобы время выполнения запроса не превышало 1-2 секунд? Ответы на эти и другие вопросы на примере одной из крупнейших японских баннерных сетей.
- Общая архитектура системы
- Краткая информация о системе управления электронной рекламой
- Основные компоненты системы
- Потоки данных в системе, информация об объемах обрабатываемой информации, динамика роста нагрузки за последние несколько лет
- Методы распределения нагрузки
- Методы повышения отказоустойчивости
- Подсистема обработки статистики
- События, регистрируемые баннерной сетью
- Основные проблемы
- Методы уменьшения объемов данных
- Как происходит обработка статистики, архитектура модуля
- Денормализация данных для ускорения запросов
- Особенности организации кэширования
- Узкие места и ограничения
- Методы контроля работоспособности и предотвращения сбоев
- Зачем контролировать
- Как выбрать наиболее критичные узлы и операции
- Как защититься от сбоев
Интеграция с внешними системами мониторинга и оповещения.
Целевая аудитория
В первую очередь доклад будет интересен разработчикам и системным архитекторам, которые занимаются проектированием или развитием крупных распределенных приложений, а также тем, кто сталкивается с обработкой и хранением больших объемов данных. Также доклад, несомненно, заинтересует людей, каким-либо образом связанных с электронной рекламой, поскольку разработанная система по своей функциональности и объему обрабатываемых данных превосходит существующие сегодня в России аналоги, и опыт успешной разработки в этой области будет интересен наверняка.
Где применимо?
Полученную информацию можно использовать, сталкиваясь с необходимостью обработки большого объема однородной информации за небольшое время. Также представленные сведения будут полезны при разработке приложений, взаимодействующих с базами данных больших объемов.
О докладчике
Артем Вольфтруб, руководитель отдела разработки компании «Грамант». Основное направление профессиональной деятельности связано с разработкой веб-приложений и распреде- ленных систем различной степени сложности. Помимо этого, в силу специфики работы, обладает опытом создания и управления командами разработчиков, а также организаций полного цикла работ по проекту, начиная от предварительных переговоров с заказчиками и разработкой бизнес-требований, и заканчивая внедрением системы и обучением пользователей.
Контакты: artem@gramant.ru, ICQ: 57252155Другие доклады секции Основная секция
MTS Web Services (MWS) — облачные сервисы для решения задач вашего бизнеса. Мы предоставляем сетевые сервисы; продукты для вычисления, хранения и обработки данных; PaaS-решения; инструменты кибербезопасности; профессиональные сервисы и ИИ-решения. Мы также строим публичную облачную платформу собственной разработки с нуля. Она станет доступна в 2025 году.
Проектируют и разрабатывают IT-продукты под цели заказчика для e-commerce, ретейла, банков и других бизнесов по всему миру. Одни из лучших в стране по реализации высоконагруженных систем и микросервисной архитектуре.
VK — это более 200 технологичных и высоконагруженных проектов, свыше 15 000 сотрудников. ВКонтакте, ОК, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей. ВКонтакте — крупнейшая социальная сеть в России. Команда ВКонтакте разрабатывает технологические решения, которые отвечают критериям быстродействия, отказоустойчивости и качества, чтобы пользователи получали максимум для общения, работы, учебы, развлечения и творчества.
Альфа-банк — крупнейший частный банк в России, занимающий четвертое место по размеру активов.
Поставщик программного обеспечения для ставок на спорт Altenar предлагает «лучшие в своем классе» решения для лицензированных операторов.
АО «Гринатом» — это отраслевой общий центр обслуживания (ОЦО) и ИТ-интегратор госкорпорации «Росатом». Компания была создана 18 декабря 2009 года для централизации и автоматизации обеспечивающих функций предприятий атомной отрасли.
RaiffeisenBank - один из системно значимых банков Россиию
Data Egret
позже заполню
X5 Tech — IT-компания и основной цифровой партнёр торговых сетей и бизнесов X5. Команда из более 5000 специалистов разрабатывает решения, которые помогают более 417 тыс. сотрудникам группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты. Мы доказываем, что супермаркет — это тоже цифровой проект, в котором есть место большим данным, машинному зрению, мобильным приложениям и многому другому. В команде Х5 Tech сосредоточена экспертиза специалистов, которые отвечают за цифровое развитие всей компании.
Райффайзен Банк, один из самых надежных российских банков, который создает финансовые решения для частных и корпоративных клиентов
«Третья Сторона» (3side.org) — первый в России агрегатор услуг по кибербезопасности. Его основная миссия — сделать рынок услуг кибербеза эффективнее, прозрачнее и доступнее малому и среднему бизнесу. Они строят Uber от мира кибербезопасности — понятную и прозрачную систему, где бизнес может найти надежного человека, который решит его проблему, а специалист по ИБ найдёт подходящую задачу. «Третья Сторона» гарантирует тот факт, что специалист сделает свою работу хорошо, что он обладает профессиональными качествами, а ему — что заказ легален. «Третья Сторона» — не биржа и не доска объявлений. «Третья Сторона» — переводчик с языка бизнеса на язык ИБ.
«Инфосистемы Джет» — одна из крупнейших ИТ-компаний в России. С 1991 года работает на рынке системной интеграции, реализуя ежегодно более 1000 проектов, многие из которых уникальны по масштабу и сложности. Штат — более 2000 сотрудников. Компания располагает несколькими офисами и представительствами в России. Входит в ТОП-5 крупнейших российских ИТ-компаний (RAEX 2024г.). Лидер на рынке ИТ-аутсорсинга в России (Tadviser 2024г.), №1 среди крупнейших поставщиков инфраструктуры дата-центров (Cnews 2023г.), №2 среди крупнейших поставщиков ИТ-услуг (RAEX 2024г.), №3 среди крупнейших интеграторов в сфере защиты информации (CNews Analytics, 2023г.), №3 среди крупнейших поставщиков для промышленности (Tadviser 2024г.), №3 среди крупнейших поставщиков для российских банков (Tadviser 2024г.), №3 среди крупнейших поставщиков ИТ-услуг (Tadviser, 2024г.). Ключевые направления деятельности: ИТ-инфраструктура, сети и инженерные системы, ИТ-аутсорсинг, информационная безопасность, машинное обучение, заказная разработка ПО, внедрение и сопровождение бизнес-приложений enterprise-уровня, промышленная безопасность и IoT. Новости компании доступны в telegram и на сайте www.jet.su Также вы можете найти наши посты на Habr За детальной информацией обращайтесь в пресс-службу: pr@jet.su
Сейчас в большей степени сфокусирован на преподавании и создании контента для таких площадок, как Яндекс Практикум и Стратоплан, в основном по вопросам управления в IТ (курсы для владельцев продуктов, менеджеров проектов, CTO).
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
YADRO — российская технологическая компания (входит в ИКС Холдинг), занимающаяся разработкой и производством серверов, систем обработки и хранения данных, сетевой и климатической, телекоммуникационной и пользовательской ИТ-инфраструктуры.
Ведущий разработчик и производитель телекоммуникационного оборудования в Российской Федерации.
МТС Веб Сервисы (MWS) — IT-холдинг МТС, созданный в конце 2024 года: он объединил МТС Digital, облачное направление, Big Data, MTS AI и VisionLabs в одну компанию. Сегодня это более 100 сервисов для бизнеса — облачная инфраструктура и платформы, искусственный интеллект, работа с данными, кибербезопасность, DevOps и no-code-инструменты. Во II квартале 2026 года выручка составила 15 млрд рублей, внешняя выручка выросла на 18%, а направление ИИ — на 71%. Амбиция компании — войти в тройку крупнейших бигтехов России.
X5 Tech — IT-компания и основной цифровой партнёр торговых сетей и бизнесов X5. Команда из более 5000 специалистов разрабатывает решения, которые помогают более 417 тыс. сотрудникам группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты. Мы доказываем, что супермаркет — это тоже цифровой проект, в котором есть место большим данным, машинному зрению, мобильным приложениям и многому другому. В команде Х5 Tech сосредоточена экспертиза специалистов, которые отвечают за цифровое развитие всей компании.
Авито, Sphinx
Яндекс — крупная российская технологическая компания с развитой экосистемой сервисов. Её решения рассчитаны на работу с высокими нагрузками и масштабирование под большие объёмы данных.
«Яндекс» — российская транснациональная компания в отрасли информационных технологий, владеющая одноименной системой поиска в интернете и интернет-сервисами в нескольких странах. Компания охватывает широкий спектр областей: от поиска информации в интернете и навигации до электронной коммерции, развлечений и облачных технологий.
«Перкона» (Percona)
«Перкона» (Percona)
Fiamo (fiamo.ru) — финтех-платформа, финансовый помощник для малого и среднего бизнеса: автоматический разбор банковских выписок, платежи, отчёты и аналитика для предпринимателей. Разработка продукта полностью перестроена под работу с AI-агентами — этот опыт и лёг в основу доклада.
devhands.io
Райффайзенбанк - крупный современный системообразующий банк с высоким уровнем диджитализации и инженерной культуры.
https://www.sberbank.ru/
SiteGround
R77.AI -- топ-3 ИИ-интегратор в РФ. Среди клиентов Сбер, Московская биржа, Альфа-Банк, Яндекс, МТС, Билайн и другие всем известные компании -- в том числе за рубежом. Специализируется на внедрении и разработке ИИ-решений, развивает собственную линейку frontier-продуктов . В штате высококлассные специалисты, выпускники МФТИ, ИТМО, ШАД и тд, лучшие инженеры, продакты, доменные эксперты.
МТС Веб Сервисы (MWS) — IT-холдинг МТС, созданный в конце 2024 года: он объединил МТС Digital, облачное направление, Big Data, MTS AI и VisionLabs в одну компанию. Сегодня это более 100 сервисов для бизнеса — облачная инфраструктура и платформы, искусственный интеллект, работа с данными, кибербезопасность, DevOps и no-code-инструменты. Во II квартале 2026 года выручка составила 15 млрд рублей, внешняя выручка выросла на 18%, а направление ИИ — на 71%. Амбиция компании — войти в тройку крупнейших бигтехов России.
Поставщик программного обеспечения для ставок на спорт Altenar предлагает «лучшие в своем классе» решения для лицензированных операторов.
Проектируют и разрабатывают IT-продукты под цели заказчика для e-commerce, ретейла, банков и других бизнесов по всему миру. Одни из лучших в стране по реализации высоконагруженных систем и микросервисной архитектуре.
РТЛабс — разработчик Госуслуг. Мы развиваем цифровую экосистему портала gosuslugi.ru и работаем над тем, чтобы изменить представление о государственных сервисах. Команда РТЛабс работает по agile, и наша главная метрика — довольный пользователь.
RaiffeisenBank - один из системно значимых банков Россиию
Один из крупнейших банков страны.
Школа управления СКОЛКОВО — ведущая бизнес-школа России и один из признанных центров мирового управленческого образования. Программы СКОЛКОВО по ИИ, данным и продуктовому подходу — возможности от освоения ИИ-инструментов до компетенций директора по ИИ и стратегического руководства компанией.
Один из крупнейших банков страны.
Пиар-бюро "Меншикова про пиар". Занимаемся репутацией и медийностью компаний с историей и характером.
Cinimex - занимается заказной разработкой уже 29 лет на рынке. Синимекс уже 29 лет работает на рынке ИТ. Сотрудники компании обладают глубокой экспертизой в разработке и внедрении решений на основе ML и DS, разработке enterprise-решений на микросервисной платформе, а также в интеграции автоматизированных систем. Среди клиентов Синимекс крупнейшие банки, известные ритейлеры и заказчики из производственной отрасли. Технологический стек проектов разнообразен, поэтому в команде есть специалисты с самым разным бэкграундом.
R77.AI -- топ-3 ИИ-интегратор в РФ. Среди клиентов Сбер, Московская биржа, Альфа-Банк, Яндекс, МТС, Билайн и другие всем известные компании -- в том числе за рубежом. Специализируется на внедрении и разработке ИИ-решений, развивает собственную линейку frontier-продуктов . В штате высококлассные специалисты, выпускники МФТИ, ИТМО, ШАД и тд, лучшие инженеры, продакты, доменные эксперты.
КуБорд - разработчик комплексных программных решений для распределенных квантово-классических архитектур: консультационно-образовательные, научно-исследовательские и интеграционные проекты. Направления решаемых задач: Оптимизация Моделирование физических и химических процессов Гибридный квантово-классический ИИ
«Яндекс» — российская транснациональная компания в отрасли информационных технологий, владеющая одноименной системой поиска в интернете и интернет-сервисами в нескольких странах. Компания охватывает широкий спектр областей: от поиска информации в интернете и навигации до электронной коммерции, развлечений и облачных технологий.
Школа управления СКОЛКОВО — ведущая бизнес-школа России и один из признанных центров мирового управленческого образования. Программы СКОЛКОВО по ИИ, данным и продуктовому подходу — возможности от освоения ИИ-инструментов до компетенций директора по ИИ и стратегического руководства компанией.
Райффайзен Банк, один из самых надежных российских банков, который создает финансовые решения для частных и корпоративных клиентов
MiOps — провайдер IT-решений, который помогает бизнесу создавать, развивать и поддерживать современную инфраструктуру цифровых продуктов. Мы автоматизируем процессы разработки и эксплуатации, строим отказоустойчивые платформы, внедряем технологии искусственного интеллекта и обеспечиваем стабильную работу критически важных сервисов.
БЮРО 1440 - российская аэрокосмическая компания, которая создает сервис спутниковой связи нового поколения на базе собственной низкоорбитальной группировки.
Cloud.ru — российский провайдер облачных услуг и IT-инфраструктуры, специализирующийся на предоставлении высокопроизводительных вычислительных ресурсов, хранилищ данных и инструментов для эффективного развертывания и управления приложениями. Компания активно развивает собственные технологические решения, направленные на повышение надежности, безопасности и производительности облачной платформы. Среди ключевых направлений деятельности — поддержка и развитие инфраструктуры для задач машинного обучения, аналитики больших данных и высоконагруженных приложений.
