Балансировка нагрузки, кэширование и легковесная авторизация сервисов в веб-кластере Основная секция
Доклад принят в Программу конференции
VK — это более 200 технологичных и высоконагруженных проектов, свыше 15 000 сотрудников. ВКонтакте, ОК, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей. ВКонтакте — крупнейшая социальная сеть в России. Команда ВКонтакте разрабатывает технологические решения, которые отвечают критериям быстродействия, отказоустойчивости и качества, чтобы пользователи получали максимум для общения, работы, учебы, развлечения и творчества.
Тезисы
Тезисы
Цель доклада – рассказать, как работает «умный» балансировщик нагрузки, зачем он следит за работоспособностью приложений узла, зачем нужен распределенный кэш и что это такое. Объяснить, почему мы не можем обойтись без программной балансировки, распределенного кэширования и обойтись только «железом». Показать, как работает «лёгкая» авторизация и как добиться авторизации страниц, даже их динамически подгружаемых блоков, и, при этом, не потерять эффективности распределенного кэша. Мы также расскажем о том, как анализируется нагрузка такой системы в режиме почти «реального времени».
Очень часто, если не сказать всегда, современный сайт предоставляет своим посетителям разного рода информацию, для получения которой требуются разные вычислительные мощности (это статистика), а запросы, приходящие на сайт, обрабатывают разные по мощности узлы кластера (это правда жизни). Эти два аспекта делают неэффективным равномерное распределение запросов. Мы расскажем, как работает система распределения запросов с учетом реальной загрузки серверов, а также работоспособности приложений узла.
Кэширование данных — это, практически, мантра или заклинание, которое произносит любой разработчик любого мало-мальски нагруженного современного ресурса. Мы расскажем, как работает система кэширования, драматически повышающая эффективность кластера, состоящего из более чем одного узла.
Стандартная авторизация не позволяет использовать кэширование «всего», т.е. авторизованный пользователь всегда создает «проблемный», с точки зрения кэширования, запрос. Мы расскажем, как работает авторизация с помощью зашифрованных «паспортов», лишенная данного недостатка, а также напомним об эффективности использования битовых ма- сок. Объясним, как «паспорта» быстро создаются, расшифровываются и проверяются самой системой кэширования. Такой подход позволяет также забыть о пользовательской сессии, привязанной к одному узлу кластера, и, как следствие, легко организовать авторизацию динамически подгружаемых блоков страниц.
О докладчике
Марко Кевац, один из основных разработчиков нового интернет-представительства ММВБ http://beta.micex.ru
Контакты: JID/Email: mkevac@gmail.com
Другие доклады секции Основная секция
RaiffeisenBank - один из системно значимых банков Россиию
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
«Перкона» (Percona)
Проектируют и разрабатывают IT-продукты под цели заказчика для e-commerce, ретейла, банков и других бизнесов по всему миру. Одни из лучших в стране по реализации высоконагруженных систем и микросервисной архитектуре.
https://www.sberbank.ru/
Один из крупнейших банков страны.
MTS Web Services (MWS) — облачные сервисы для решения задач вашего бизнеса. Мы предоставляем сетевые сервисы; продукты для вычисления, хранения и обработки данных; PaaS-решения; инструменты кибербезопасности; профессиональные сервисы и ИИ-решения. Мы также строим публичную облачную платформу собственной разработки с нуля. Она станет доступна в 2025 году.
«Яндекс» — российская транснациональная компания в отрасли информационных технологий, владеющая одноименной системой поиска в интернете и интернет-сервисами в нескольких странах. Компания охватывает широкий спектр областей: от поиска информации в интернете и навигации до электронной коммерции, развлечений и облачных технологий.
«Третья Сторона» (3side.org) — первый в России агрегатор услуг по кибербезопасности. Его основная миссия — сделать рынок услуг кибербеза эффективнее, прозрачнее и доступнее малому и среднему бизнесу. Они строят Uber от мира кибербезопасности — понятную и прозрачную систему, где бизнес может найти надежного человека, который решит его проблему, а специалист по ИБ найдёт подходящую задачу. «Третья Сторона» гарантирует тот факт, что специалист сделает свою работу хорошо, что он обладает профессиональными качествами, а ему — что заказ легален. «Третья Сторона» — не биржа и не доска объявлений. «Третья Сторона» — переводчик с языка бизнеса на язык ИБ.
«Перкона» (Percona)
Райффайзен Банк, один из самых надежных российских банков, который создает финансовые решения для частных и корпоративных клиентов
Школа управления СКОЛКОВО — ведущая бизнес-школа России и один из признанных центров мирового управленческого образования. Программы СКОЛКОВО по ИИ, данным и продуктовому подходу — возможности от освоения ИИ-инструментов до компетенций директора по ИИ и стратегического руководства компанией.
Альфа-банк — крупнейший частный банк в России, занимающий четвертое место по размеру активов.
Один из крупнейших банков страны.
X5 Tech — IT-компания и основной цифровой партнёр торговых сетей и бизнесов X5. Команда из более 5000 специалистов разрабатывает решения, которые помогают более 417 тыс. сотрудникам группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты. Мы доказываем, что супермаркет — это тоже цифровой проект, в котором есть место большим данным, машинному зрению, мобильным приложениям и многому другому. В команде Х5 Tech сосредоточена экспертиза специалистов, которые отвечают за цифровое развитие всей компании.
Сейчас в большей степени сфокусирован на преподавании и создании контента для таких площадок, как Яндекс Практикум и Стратоплан, в основном по вопросам управления в IТ (курсы для владельцев продуктов, менеджеров проектов, CTO).
МТС Веб Сервисы (MWS) — IT-холдинг МТС, созданный в конце 2024 года: он объединил МТС Digital, облачное направление, Big Data, MTS AI и VisionLabs в одну компанию. Сегодня это более 100 сервисов для бизнеса — облачная инфраструктура и платформы, искусственный интеллект, работа с данными, кибербезопасность, DevOps и no-code-инструменты. Во II квартале 2026 года выручка составила 15 млрд рублей, внешняя выручка выросла на 18%, а направление ИИ — на 71%. Амбиция компании — войти в тройку крупнейших бигтехов России.
Ведущий разработчик и производитель телекоммуникационного оборудования в Российской Федерации.
Райффайзенбанк - крупный современный системообразующий банк с высоким уровнем диджитализации и инженерной культуры.
Проектируют и разрабатывают IT-продукты под цели заказчика для e-commerce, ретейла, банков и других бизнесов по всему миру. Одни из лучших в стране по реализации высоконагруженных систем и микросервисной архитектуре.
Cinimex - занимается заказной разработкой уже 29 лет на рынке. Синимекс уже 29 лет работает на рынке ИТ. Сотрудники компании обладают глубокой экспертизой в разработке и внедрении решений на основе ML и DS, разработке enterprise-решений на микросервисной платформе, а также в интеграции автоматизированных систем. Среди клиентов Синимекс крупнейшие банки, известные ритейлеры и заказчики из производственной отрасли. Технологический стек проектов разнообразен, поэтому в команде есть специалисты с самым разным бэкграундом.
КуБорд - разработчик комплексных программных решений для распределенных квантово-классических архитектур: консультационно-образовательные, научно-исследовательские и интеграционные проекты. Направления решаемых задач: Оптимизация Моделирование физических и химических процессов Гибридный квантово-классический ИИ
Fiamo (fiamo.ru) — финтех-платформа, финансовый помощник для малого и среднего бизнеса: автоматический разбор банковских выписок, платежи, отчёты и аналитика для предпринимателей. Разработка продукта полностью перестроена под работу с AI-агентами — этот опыт и лёг в основу доклада.
Data Egret
Яндекс — крупная российская технологическая компания с развитой экосистемой сервисов. Её решения рассчитаны на работу с высокими нагрузками и масштабирование под большие объёмы данных.
Поставщик программного обеспечения для ставок на спорт Altenar предлагает «лучшие в своем классе» решения для лицензированных операторов.
X5 Tech — IT-компания и основной цифровой партнёр торговых сетей и бизнесов X5. Команда из более 5000 специалистов разрабатывает решения, которые помогают более 417 тыс. сотрудникам группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты. Мы доказываем, что супермаркет — это тоже цифровой проект, в котором есть место большим данным, машинному зрению, мобильным приложениям и многому другому. В команде Х5 Tech сосредоточена экспертиза специалистов, которые отвечают за цифровое развитие всей компании.
Cloud.ru — российский провайдер облачных услуг и IT-инфраструктуры, специализирующийся на предоставлении высокопроизводительных вычислительных ресурсов, хранилищ данных и инструментов для эффективного развертывания и управления приложениями. Компания активно развивает собственные технологические решения, направленные на повышение надежности, безопасности и производительности облачной платформы. Среди ключевых направлений деятельности — поддержка и развитие инфраструктуры для задач машинного обучения, аналитики больших данных и высоконагруженных приложений.
позже заполню
Грамант
Райффайзен Банк, один из самых надежных российских банков, который создает финансовые решения для частных и корпоративных клиентов
Авито, Sphinx
SiteGround
MiOps — провайдер IT-решений, который помогает бизнесу создавать, развивать и поддерживать современную инфраструктуру цифровых продуктов. Мы автоматизируем процессы разработки и эксплуатации, строим отказоустойчивые платформы, внедряем технологии искусственного интеллекта и обеспечиваем стабильную работу критически важных сервисов.
R77.AI -- топ-3 ИИ-интегратор в РФ. Среди клиентов Сбер, Московская биржа, Альфа-Банк, Яндекс, МТС, Билайн и другие всем известные компании -- в том числе за рубежом. Специализируется на внедрении и разработке ИИ-решений, развивает собственную линейку frontier-продуктов . В штате высококлассные специалисты, выпускники МФТИ, ИТМО, ШАД и тд, лучшие инженеры, продакты, доменные эксперты.
АО «Гринатом» — это отраслевой общий центр обслуживания (ОЦО) и ИТ-интегратор госкорпорации «Росатом». Компания была создана 18 декабря 2009 года для централизации и автоматизации обеспечивающих функций предприятий атомной отрасли.
БЮРО 1440 - российская аэрокосмическая компания, которая создает сервис спутниковой связи нового поколения на базе собственной низкоорбитальной группировки.
РТЛабс — разработчик Госуслуг. Мы развиваем цифровую экосистему портала gosuslugi.ru и работаем над тем, чтобы изменить представление о государственных сервисах. Команда РТЛабс работает по agile, и наша главная метрика — довольный пользователь.
Поставщик программного обеспечения для ставок на спорт Altenar предлагает «лучшие в своем классе» решения для лицензированных операторов.
devhands.io
МТС Web Services (MWS) — новая бигтех-компания экосистемы МТС, куда вошли все ключевые ИТ-активы группы: МТС Digital, МТС Cloud, Big Data МТС, MTS AI, Visionlabs. MWS предоставляет рынку широкий спектр ИТ-услуг: облачные сервисы, AI-решения и платформы под разные задачи бизнеса, начиная с бесшовной интеграции и заканчивая работой с данными. Команда MWS насчитывает более 11 тысяч ИТ-специалистов, которые в максимальной кооперации друг с другом обеспечивают высокое качество и надежность продуктов и сервисов.
МТС Web Services (MWS) — новая бигтех-компания экосистемы МТС, куда вошли все ключевые ИТ-активы группы: МТС Digital, МТС Cloud, Big Data МТС, MTS AI, Visionlabs. MWS предоставляет рынку широкий спектр ИТ-услуг: облачные сервисы, AI-решения и платформы под разные задачи бизнеса, начиная с бесшовной интеграции и заканчивая работой с данными. Команда MWS насчитывает более 11 тысяч ИТ-специалистов, которые в максимальной кооперации друг с другом обеспечивают высокое качество и надежность продуктов и сервисов.
«Инфосистемы Джет» — одна из крупнейших ИТ-компаний в России. С 1991 года работает на рынке системной интеграции, реализуя ежегодно более 1000 проектов, многие из которых уникальны по масштабу и сложности. Штат — более 2000 сотрудников. Компания располагает несколькими офисами и представительствами в России. Входит в ТОП-5 крупнейших российских ИТ-компаний (RAEX 2024г.). Лидер на рынке ИТ-аутсорсинга в России (Tadviser 2024г.), №1 среди крупнейших поставщиков инфраструктуры дата-центров (Cnews 2023г.), №2 среди крупнейших поставщиков ИТ-услуг (RAEX 2024г.), №3 среди крупнейших интеграторов в сфере защиты информации (CNews Analytics, 2023г.), №3 среди крупнейших поставщиков для промышленности (Tadviser 2024г.), №3 среди крупнейших поставщиков для российских банков (Tadviser 2024г.), №3 среди крупнейших поставщиков ИТ-услуг (Tadviser, 2024г.). Ключевые направления деятельности: ИТ-инфраструктура, сети и инженерные системы, ИТ-аутсорсинг, информационная безопасность, машинное обучение, заказная разработка ПО, внедрение и сопровождение бизнес-приложений enterprise-уровня, промышленная безопасность и IoT. Новости компании доступны в telegram и на сайте www.jet.su Также вы можете найти наши посты на Habr За детальной информацией обращайтесь в пресс-службу: pr@jet.su
Школа управления СКОЛКОВО — ведущая бизнес-школа России и один из признанных центров мирового управленческого образования. Программы СКОЛКОВО по ИИ, данным и продуктовому подходу — возможности от освоения ИИ-инструментов до компетенций директора по ИИ и стратегического руководства компанией.
«Яндекс» — российская транснациональная компания в отрасли информационных технологий, владеющая одноименной системой поиска в интернете и интернет-сервисами в нескольких странах. Компания охватывает широкий спектр областей: от поиска информации в интернете и навигации до электронной коммерции, развлечений и облачных технологий.
R77.AI -- топ-3 ИИ-интегратор в РФ. Среди клиентов Сбер, Московская биржа, Альфа-Банк, Яндекс, МТС, Билайн и другие всем известные компании -- в том числе за рубежом. Специализируется на внедрении и разработке ИИ-решений, развивает собственную линейку frontier-продуктов . В штате высококлассные специалисты, выпускники МФТИ, ИТМО, ШАД и тд, лучшие инженеры, продакты, доменные эксперты.
Пиар-бюро "Меншикова про пиар". Занимаемся репутацией и медийностью компаний с историей и характером.
RaiffeisenBank - один из системно значимых банков Россиию
