Особенности обработки статистики высоконагруженной системы управления баннерной рекламой Основная секция
Доклад принят в Программу конференции
Грамант
Директор по разработке компании «Грамант». Более 15 занимаюсь разработкой программного обеспечения. Эксперт в области веб-технологий и электронноий рекламы.
Неоднократно выступал с докладами на профессиональных конференциях (HighLoad, РИТ, CodeFest и других)
Тезисы
!!1 Hl++ Stats
View SlideShare presentation or Upload your own.
Особенности обработки статистики высоконагруженной системы управления баннерной рекламой / Артем Вольфтруб (Gramant)
Тезисы
Большие баннерные сети генерируют большие объемы информации, которую необходимо обрабатывать, хранить и анализировать. Что делать, если система ежедневно регистрирует порядка 500 000 000 событий и их необходимо обрабатывать с минимальной задержкой? Как организовать структуру базы данных для хранения информации так, чтобы время выполнения запроса не превышало 1-2 секунд? Ответы на эти и другие вопросы на примере одной из крупнейших японских баннерных сетей.
- Общая архитектура системы
- Краткая информация о системе управления электронной рекламой
- Основные компоненты системы
- Потоки данных в системе, информация об объемах обрабатываемой информации, динамика роста нагрузки за последние несколько лет
- Методы распределения нагрузки
- Методы повышения отказоустойчивости
- Подсистема обработки статистики
- События, регистрируемые баннерной сетью
- Основные проблемы
- Методы уменьшения объемов данных
- Как происходит обработка статистики, архитектура модуля
- Денормализация данных для ускорения запросов
- Особенности организации кэширования
- Узкие места и ограничения
- Методы контроля работоспособности и предотвращения сбоев
- Зачем контролировать
- Как выбрать наиболее критичные узлы и операции
- Как защититься от сбоев
Интеграция с внешними системами мониторинга и оповещения.
Целевая аудитория
В первую очередь доклад будет интересен разработчикам и системным архитекторам, которые занимаются проектированием или развитием крупных распределенных приложений, а также тем, кто сталкивается с обработкой и хранением больших объемов данных. Также доклад, несомненно, заинтересует людей, каким-либо образом связанных с электронной рекламой, поскольку разработанная система по своей функциональности и объему обрабатываемых данных превосходит существующие сегодня в России аналоги, и опыт успешной разработки в этой области будет интересен наверняка.
Где применимо?
Полученную информацию можно использовать, сталкиваясь с необходимостью обработки большого объема однородной информации за небольшое время. Также представленные сведения будут полезны при разработке приложений, взаимодействующих с базами данных больших объемов.
О докладчике
Артем Вольфтруб, руководитель отдела разработки компании «Грамант». Основное направление профессиональной деятельности связано с разработкой веб-приложений и распреде- ленных систем различной степени сложности. Помимо этого, в силу специфики работы, обладает опытом создания и управления командами разработчиков, а также организаций полного цикла работ по проекту, начиная от предварительных переговоров с заказчиками и разработкой бизнес-требований, и заканчивая внедрением системы и обучением пользователей.
Контакты: artem@gramant.ru, ICQ: 57252155Другие доклады секции Основная секция
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
Технологический партнер с комплексной экспертизой в области построения и развития инфраструктуры, внедрения информационных систем, разработки программных решений и сервисной поддержки. КРОК реализует проекты, которые задают тон индустрии: от крупнейшего ЦОДа в стране до «умной» инфраструктуры спортивных объектов.
IT Test — команда по разработке, тестированию и дизайну сложных отраслевых IT-решений. Делаем компании более эффективными за счет цифровизации процессов. 8+ лет на рынке digital-услуг, 200+ реализованных проектов, 70+ проверенных партнеров, 85+ наград в ключевых рейтингах digital-агентств. Занимаемся не только заказной разработкой, но и создаем собственные продукты: наша TMS DoQA увеличивает эффективность процессов тестирования, усиливает аналитику и стандартизирует документацию.
Data Egret
СберМаркет (ООО «Инстамарт Технолоджис») — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда СберМаркета создает один из самых сложных высоконагруженных e-commerce-проектов в России и делает это с любовью.
DDoS-Guard — cпециализированный провайдер защиты от DDoS-атак на базе собственных разработок. Им доверяют тысячи клиентов по всему миру, среди которых ISPsystem, Selectel, Reg.ru, hh.ru и другие. За 2023 год система защиты DDoS-Guard отразила 1.4 млн атак.
Яндекс Еда – это про скорость, про быструю доставку из кафе, ресторанов и любых магазинов.
«Перкона» (Percona)
IT-компания и основной цифровой партнер торговых сетей и бизнесов X5 Group. Команда из более 3500 специалистов разрабатывает решения, которые помогают 325 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты.
Звук — это аудиостриминг c музыкой в HiFi-качестве, подкастами, аудиокнигами, эксклюзивными плейлистами и разделом для детей. Это продуктово-инженерная компания из 700+ экспертов. Более 450 инженеров, разработчиков и продактов, 6 продуктовых стримов и 19 продуктовых команд каждый день делают стриминг надежнее и наполняют его полезными фичами.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У нас десятки тысяч rps к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Крупнейшая российская IT компания с самой большой долей поиска в РФ.
Центр удаленной разработки. Специализируемся на предоставлении программистов 1С, MS Dynamics 365, Python, Java на проекты заказчиков на full time. Наши разработчики дистанционно работают на проектах заказчиков. 200+ сотрудников,
Российский исследовательский институт Huawei обеспечивает цифровыми технологиями каждого человека, каждый дом и каждую компанию, чтобы создать объединенный мир высоких технологий, в том числе с использованием технологий искусственного интеллекта. Для этого мы изучаем интеллектуальное будущее вместе с ведущими партнерами с целью обеспечить, чтобы продукты, решения и сервисы полного цикла Huawei были конкурентоспособны и отвечали современным требованиям безопасности.
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
Газпромбанк — один из крупнейших банков России. Они не просто банкиры: создают искусственный интеллект, придумывают новые цифровые продукты и поддерживают профессиональное комьюнити. Планируют стать самым дата-центричным и диджитализированным банком страны.
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
SiteGround
На Авито каждый может найти что-то свое среди миллионов частных объявлений и предложений компаний по всей России: от квартиры и автомобиля до работы и кандидатов на вакансии. Сервис делают более 1300 инженеров. В Авито небольшой монолит на PHP, несколько сотен микросервисов на Go и Python, фронтенд на JavaScript, базы данных PostgreSQL, MongoDB и Redis, автоматические тесты, обученная на данных система модерации и поисковый движок Sphinx. Продуктом каждый месяц пользуется треть населения России.
QIWI — международная группа компаний, которая предоставляющая платежные и финансовые сервисы в России и в других странах.
Одно из ключевых подразделений Сбера, занимающееся искусственным интеллектом.
Последние несколько месяцев я "счастливый безработный". Занимаюсь своим open source проектом, сообществом (https://vk.cc/cvAlE8) и выступаю с докладами
Badoo
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
«Перкона» (Percona)
Samokat.tech создает IТ для ретейла реального времени. От доставки продуктов и товаров для дома за 15 минут, до развития нового слоя городской инфраструктуры для быстрой доставки любых товаров — с помощью технологий. Большая цель компании — сделать e-commerce-сервис №1 в России и собрать в одном месте всё лучшее, что может предложить онлайн-торговля.
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Звук — это музыка в HiFi-качестве, а также подкасты, аудиокниги, эксклюзивные плейлисты и раздел для детей. Звук можно послушать в приложении, доступном во всех популярных сторах, на сайте zvuk.com, а также в автомобилях с поддержкой CarPlay и AndroidAuto.
Hilbert Team — системный IТ‑интегратор. Отраслевой эксперт в области DevOps, DataOps, DevSecOps и FinOps.
Руковожу платформой, DWH и ML Ops
Развитие инженера
Топ-3 производителей пива России
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
Сибирские нейросети - молодая, но быстро развивающаяся компания, которая занимается продуктами в области обработки естественного языка и речевой аналитики.
Команда Тинькофф — это разработчики, продакт-менеджеры, дизайнеры, маркетологи, аналитики, тестировщики, SRE-инженеры и другие специалисты. Вместе они создают новые и развивают существующие финтех-продукты, которыми пользуются 25 миллионов клиентов и каждый из нас.
«Платформа Сфера» — универсальная экосистема продуктов для производства технологических решений, которая включает в себя более 40 инструментов для управления разработкой, тестированием, эксплуатацией программного обеспечения, а также инженерных инструментов для работы с исходным кодом и инструментами мониторинга рабочих станций и анализа бизнес-процессов.
Компания «ЭвоКарго» разрабатывает автономные логистические решения. «ЭвоКарго» предлагает принципиально новую экономически эффективную логистическую услугу по сервисной модели с применением автономного транспорта собственного производства на складских и производственных площадках. За три года компания стала одной из первых в мире, успешно запустивших полностью автономный логистический сервис грузоперевозок. Сервис позволяет снизить расходы на содержание флота до 30%.
Wildberries — онлайн-платформа с 18-летней историей. География присутствия площадки охватывает 7 стран мира, в том числе Россию, Белоруссию, Казахстан, Армению, Киргизию. Ежедневно на площадке оформляется 8 млн заказов, а 90% её продавцов — представители малого бизнеса.
Дзен — контентная платформа, которой каждый месяц пользуются 32,5 миллиона человек. Рекомендательные алгоритмы отбирают контент для персональных лент пользователей от 100 тысяч авторов из почти 5 миллионов возможных вариантов.
Orion soft – российская ИТ-компания, разработчик реестровых инфраструктурных ИТ-решений. В экосистему продуктов Orion soft входят защищенная среда виртуализации zVirt, платформа контейнеризации Nova Container Platform, CMP-платформа Cloudlink, СУБД на базе PostgreSQL Proxima DB, а также платформа терминального доступа Termit. Все продукты экосистемы Orion soft совместимы между собой и включены в Реестр российского ПО.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Авито, Sphinx
С 2023 года я самостоятельный бизнес-тренер. Работаю с физическими лицами и корпоративными клиентами. Мои корповые клиенты - это лидеры своих отраслей (банки из ТОП-3, ритейлеры из ТОП-5, ИТ-компании из ТОП-50 по мнению hh.ru). Cайт:
SberDevices — IT-компания полного цикла в экосистеме Сбера, R&D-центр экспертизы в области искусственного интеллекта: речевые технологии, понимание естественного языка, компьютерное зрение, лицевая и голосовая биометрия. Производит умные устройства — от лампочек до телевизоров. В портфолио SberDevices — ruGPT-3, ruDall-E, RuSBERT и другие масштабные ML-проекты, высоконагруженные системы и технологии обработки Big Data.
ITentika (ранее российский центр разработки DataArt) - разработчик ПО с 25-летним опытом создания ИТ-решений для ведущих международных компаний и крупнейших экосистем РФ. Мы проектируем и разрабатываем технологически сложные решения на стыке информационных технологий и бизнес-консалтинга, позволяющие нашим клиентам кратно увеличить прибыль и стать лидером отрасли. ITentika входит в ТОП-20 крупнейших разработчиков ПО (Рейтинговое агентство RAEX).
Команда Яндекс 360 создает продукты, которые решают повседневные задачи миллионов пользователей: от хранения воспоминаний до деловой переписки. В Яндекс 360 входят Почта, Диск, Документы, Телемост, Календарь, Заметки и Мессенджер
