Особенности обработки статистики высоконагруженной системы управления баннерной рекламой Основная секция
Доклад принят в Программу конференции
Грамант
Директор по разработке компании «Грамант». Более 15 занимаюсь разработкой программного обеспечения. Эксперт в области веб-технологий и электронноий рекламы.
Неоднократно выступал с докладами на профессиональных конференциях (HighLoad, РИТ, CodeFest и других)
Тезисы
!!1 Hl++ Stats
View SlideShare presentation or Upload your own.
Особенности обработки статистики высоконагруженной системы управления баннерной рекламой / Артем Вольфтруб (Gramant)
Тезисы
Большие баннерные сети генерируют большие объемы информации, которую необходимо обрабатывать, хранить и анализировать. Что делать, если система ежедневно регистрирует порядка 500 000 000 событий и их необходимо обрабатывать с минимальной задержкой? Как организовать структуру базы данных для хранения информации так, чтобы время выполнения запроса не превышало 1-2 секунд? Ответы на эти и другие вопросы на примере одной из крупнейших японских баннерных сетей.
- Общая архитектура системы
- Краткая информация о системе управления электронной рекламой
- Основные компоненты системы
- Потоки данных в системе, информация об объемах обрабатываемой информации, динамика роста нагрузки за последние несколько лет
- Методы распределения нагрузки
- Методы повышения отказоустойчивости
- Подсистема обработки статистики
- События, регистрируемые баннерной сетью
- Основные проблемы
- Методы уменьшения объемов данных
- Как происходит обработка статистики, архитектура модуля
- Денормализация данных для ускорения запросов
- Особенности организации кэширования
- Узкие места и ограничения
- Методы контроля работоспособности и предотвращения сбоев
- Зачем контролировать
- Как выбрать наиболее критичные узлы и операции
- Как защититься от сбоев
Интеграция с внешними системами мониторинга и оповещения.
Целевая аудитория
В первую очередь доклад будет интересен разработчикам и системным архитекторам, которые занимаются проектированием или развитием крупных распределенных приложений, а также тем, кто сталкивается с обработкой и хранением больших объемов данных. Также доклад, несомненно, заинтересует людей, каким-либо образом связанных с электронной рекламой, поскольку разработанная система по своей функциональности и объему обрабатываемых данных превосходит существующие сегодня в России аналоги, и опыт успешной разработки в этой области будет интересен наверняка.
Где применимо?
Полученную информацию можно использовать, сталкиваясь с необходимостью обработки большого объема однородной информации за небольшое время. Также представленные сведения будут полезны при разработке приложений, взаимодействующих с базами данных больших объемов.
О докладчике
Артем Вольфтруб, руководитель отдела разработки компании «Грамант». Основное направление профессиональной деятельности связано с разработкой веб-приложений и распреде- ленных систем различной степени сложности. Помимо этого, в силу специфики работы, обладает опытом создания и управления командами разработчиков, а также организаций полного цикла работ по проекту, начиная от предварительных переговоров с заказчиками и разработкой бизнес-требований, и заканчивая внедрением системы и обучением пользователей.
Контакты: artem@gramant.ru, ICQ: 57252155Другие доклады секции Основная секция
СберЗдоровье — российская медицинская компания, специализирующаяся на телемедицинских услугах и цифровых решениях в области здравоохранения.
В конце 2021 года запустил многопрофильное маркетинговое агентство uForce. Реализовали 1000+ крупных проектов. Делаем разное: запускаем ORM компании в комментариях на YouTube с оплатой по CPM, работаем с микроблогерами, настраиваем перфоманс под ключ, работаем с репутацией, привлекаем через мессенджеры клиентов для сложных продуктов и услуг, проводим исследования нестандартными методами.
ООО Группа Лоджик Старс является ведущим игроком на рынке IT и уже более 20 лет разрабатывает высококачественное программное обеспечение в сфере автобизнеса. Специализируются на создании инновационных решений, которые помогают ихклиентам оптимизировать бизнес-процессы, повышать эффективность и достигать высоких результатов.
YADRO известна как разработчик и производитель всего, что можно увидеть в серверной и ЦОД: систем хранения данных, серверов, коммутаторов. Компания также создает телеком-оборудование операторского класса. Go-разработчики заняты как в развитии СХД, так и в телеком-направлении.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
CloudReports. Мы разрабатываем программные решения для работы с данными: Системы аналитики Службы интеграции данных Алгоритмы машинного обучения За 10 лет работы мы помогли многим компаниям построить надежные и эффективные процессы для работы с информацией.
Лемана Тех — ИТ-компания, которая строит технологическую платформу для бренда Лемана ПРО и создает ИТ-инфраструктуру, которая улучшает клиентский опыт и делает его бесшовным. Сейчас в около 140 продуктовых командах компании работает около 1200 ИТ-специалистов.
МТС — мультисервисная цифровая экосистема и ведущий телеком-оператор в России. Компания развивает сервисы и продукты в сфере больших данных, искусственного интеллекта, облачного хранения, медиа и финансов, телекоммуникаций. Штат IT-специалистов превышает 9,5 тыс. человек.
Gravity Field — это B2B-SaaS-платформа для персонализации пользовательского опыта на основе больших данных и продвинутого набора инструментов сегментирования пользователей, алгоритмов товарных рекомендаций, А/В-тестирования, триггерных коммуникаций, продвинутой аналитики и оптимизации кампаний.
Я не хочу делать этот доклад от конкретной компании.
«Татнефть Цифровые Технологии» — дочерняя IT-компания ПАО «Татнефть», центр внутренней продуктовой разработки и технического сопровождения. Команда работает над автоматизацией деятельности группы компаний и разработкой пользовательских сервисов.
В «Магните» занимается управлением портфелем IT-проектов, трансформацией IT-вертикали, а также контролирует эффективность производственного цикла. Одна из задач — повышение эффективности управления изменениями для бизнес-заказчиков.
Wildberries — онлайн-платформа с 20-летней историей, где представлен широкий ассортимент продукции российских и международных брендов. География присутствия площадки охватывает 7 стран. Ежедневно покупателям отправляется свыше 12 млн товаров, а сеть пунктов выдачи заказов превышает 46 000 точек.
Компания занимается разработкой ПО на заказ
МТС — одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. Штат IT-специалистов компании превышает 8 000 человек.
AG-LEGAL — юридический консалтинг, сопровождающий IT-компании, а также крупные федеральные компании по вопросам интеллектуальной собственности, категорирования КИИ, персональных данных, включением в Реестр отечественного ПО. Телеграм-канал (3к подписчиков) https://t. me/aglegal. Проводят вебинары, выступали на других конференциях и проводили корпоративное обучение для других компаний.
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
ВКонтакте — крупнейшая социальная сеть в России и странах СНГ. Миссия ВКонтакте — соединять людей, сервисы и компании, создавая простые и удобные инструменты коммуникации. VK — это более 200 технологичных проектов, больше 15 000 сотрудников и миллион возможностей проявить себя. Делают современные и быстрые интернет-сервисы, доступные каждому.
Data Egret
СберТех — российский разработчик программного обеспечения. Флагманское решение компании — цифровая облачная платформа Platform V для создания бизнес-решений и промышленных приложений любого масштаба и сложности. Она включает более 80 продуктов, которые закрывают потребности разработки на всех уровнях архитектуры предприятия.
Купер (ООО «Инстамарт Технолоджис») — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда Купера создает один из самых сложных высоконагруженных e-commerce-проектов в России и делает это с любовью.
Магнит OMNI — это более 400 инженеров, объединенные в 40+ продуктовых и платформенных команд. Основные направления продуктовой разработки — программа лояльности «Магнит Плюс» с десятками миллионов пользователей, «Фудтех» — доставка из магазинов Магнит, маркетплейс «Магнит Маркет» и приложение «Магнит: акции и доставка».
СберТех — российский разработчик программного обеспечения для бизнеса и государства, основной поставщик решений для Сбера. Флагманское решение компании — цифровая облачная платформа Platform V для создания приложений любого масштаба и сложности и обеспечения технологической̆ независимости на уровне ПО.
НЛМК ИТ — команда, которая делает IT-системы для металлургии и генерит существенную часть успеха Группы НЛМК, лидера среди российских производителей стали. В нашей готовой продукции нет ни единой строчки кода, но в ее производстве участвует большая IT-команда. Поэтому мы немножечко IT-металлурги. Делаем цифру реальностью!
Index — специализированное IT-рекрутинговое агентство, работающее на рынке России и Европы.
devhands.io
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Мы переосмысливаем DIY-ритейл так же, как другие технологические лидеры до этого меняли банкинг и ИТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
СберЗдоровье — российская медицинская компания, специализирующаяся на телемедицинских услугах и цифровых решениях в области здравоохранения.
Спортмастер - цифровая спортивная платформа
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
«Перкона» (Percona)
SberDevices — это компания полного цикла. Мы создаём идеи, самостоятельно разрабатываем продукты, занимаемся прототипированием, конструированием, придумываем дизайн, программные решения, контролируем качество на фабриках и создаём инструменты для аппаратного тестирования.
Сбер — крупнейший банк России, третий по величине эквайер в мире
Авито, Sphinx
Альфа-Банк - крупная финансовая группа, которая решает ключевые задачи клиентов любого масштаба и предлагает более 100 сервисов. В нашей команде свыше 9 500 IT- и Digital-специалистов, включая разработчиков, тестировщиков, дата-сайентистов, экспертов по кибербезопасности и AI. По версии HeadHunter и Habr Career, занимает первое место среди крупнейших IT-работодателей России
В Nexign пишут на Java, Gо, C# и С++, создают микросервисы и используют собственную СУБД. В команде 2000 экспертов, которые всегда знают, как сделать лучше. Они доказывают это в каждом проекте, будь то внедрение биллинговой платформы крупнейшим телеком-операторам или создание кастомизируемой HRM-системы.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У них десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Purrweb компания которая специализируется на разработке MVP приложений и стартапов, за последнее время компания выросла до 200 человек и продолжает развиваться.
Лемана Тех (Леруа Мерлен) — лидер рынка DIY в России. Переосмысливают DIY-ретейл так же, как другие технологические лидеры до этого меняли банкинг и IТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
Билайн - один из ведущих поставщиков телекоммуникационных услуг в России
ООО «Вымпелком-Информационные технологии» ведет аккредитованную деятельность в сфере информационных технологий с 2021 года. Сотрудники компании обеспечивают разработку и поддержку программного обеспечения по самым высоким стандартам. Компания сотрудничает с крупными компаниями, реализует сложные и нетривиальные решения, благодаря чему оттачивается и углубляется высокотехнологичный опыт. https://vcomit.ru/
YADRO известна как разработчик и производитель всего, что можно увидеть в серверной и ЦОД: систем хранения данных, серверов, коммутаторов. Компания также создает телеком-оборудование операторского класса. Go-разработчики заняты как в развитии СХД, так и в телеком-направлении.
Они — Скала! Облегчают Заказчикам вход в дивный мир российских продуктов, хотят доказать всем, что импортозамещение — это не больно. Продукты Скала^р являются серийно выпускаемыми преднастроенными комплексами и позволяют осуществлять быстрое развёртывание и ввод в эксплуатацию.
SiteGround
KION - онлайн кинотеатр, который раздает десятки гигабит видео в секунду и делает жизнь чуть интереснее
Группа компаний VK это крупнейшая ИТ компания, которая объединяет в себе социальные платформы, почту, облако, образовательные и технологические сервисы для пользователей и компаний.
«Перкона» (Percona)
Домклик – дочка Сбера, через нас выдаётся больше половины ипотеки в нашей стране. Наши IT решения и архитектура позволяют нам первыми на рынке запускать крупные продукты и решать любые вопросы с недвижимостью.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У нас десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
