Highload++ 2017 завершён!

Профессиональная конференция разработчиков высоконагруженных систем

СКОЛКОВО, Москва 7 и 8 ноября

11-я ежегодная конференция для разработчиков highload-систем, которая соберет   2 700 участников из разных регионов России и мира. Мероприятие направлено на обмен знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей.

Программа охватывает такие аспекты веб-разработок, как архитектуры крупных проектов, базы данных и системы хранения, системное администрирование, нагрузочное тестирование, эксплуатация крупных проектов и другие направления, связанные с высоконагруженными системами.

Использование nginx как сервера-сборщика
Основная секция

Доклад принят в Программу конференции
Positive Technologies создаёт продукты в области кибербезопасности. Уже 20 лет основная задача компании — предотвращать хакерские атаки до того, как они причинят неприемлемый ущерб бизнесу и целым отраслям экономики. Продукты и сервисы Positive Technologies используют более 2300 компаний по всему миру.

Тезисы

На многих современных сайтах, особенно борющихся за высокое звание портала, страница состоит из блоков взятых из разных частей проекта, с разных хостов, с других проектов, а так же различающихся временем жизни, способом кеширования и стратегией обновления. Яркий пример - mail.ru. В этих условиях обычный способ "страница целиком создаётся одним скриптом" работает плохо и требует множества подпорок.

Естественным решением видится создание сервера, умеющего собирать страницу из "кусочков", поступающих из разных источников. Как назвать подобный сервер не совсем понятно, видимо ближе всего aplication server или integration server, мне нравится название "сервер-сборщик".

К сожалению, open sourse реализаций мне неизвестно. Из пропиетарных в эту концепцию укладываются яндексовский XScript и мейлрушный BarterTown.

XScript нам недоступен (и не надо), в BarterTown на мой взгляд неудобно задаются источники. Стали искать альтернативу.

Первая стадия: nginx с модулем ngx_http_ssi_module

У модуля ngx_http_ssi_module есть возможность делать include с удалённого хоста. Отсутствие в nginx кеширования обошли использованием кешируещего прокси между фронтендом и бекендом, невозможность в ssi разобрать параметры запроса и куки - запросом к бекенду с возращением им ssi-ных команд.

Получился простой, лёгкий, бесплатный и open source сервер-сборщик. Работает замечательно, но есть серьёзное ограничение: ssi поддерживает только строковые переменные и не поддерживает циклов.

Вторая стадия: nginx с самописным модулем.

Написали модуль понимающий HTML::Template-подобный язык шаблонов и поддерживающий получение по HTTP сложно структурированных данных (в формате JSON). Теперь тривиально скажем получить с бекенда массив хешей статей и в цикле вывести их. Как бонус - шаблоны на бекенде становятся не нужны. Модуль пока в экспериментальной стадии, в будущем планируется добавить кеширование (как шаблонов, так и полученных данных) и поддержку других форматов (XML, CSV).

Другие доклады секции
Основная секция

Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
Последние несколько месяцев я "счастливый безработный". Занимаюсь своим open source проектом, сообществом (https://vk.cc/cvAlE8) и выступаю с докладами
«Рексофт» — одна из ведущих компаний по разработке программного обеспечения и информационных систем, обладающая значительным опытом по созданию проектов для таких сфер бизнеса, как телекоммуникации и мобильная связь, банки и финансы, IТ, медиа, гостиничный бизнес и туризм.
Postgres Professional — разработчик российской системы управления базами данных Postgres Pro. СУБД входит в Единый реестр российского программного обеспечения и выпускается в редакциях: Postgres Pro Enterprise, Postgres Pro Standard, Postgres Pro Shardman, их сертифицированные ФСТЭК версии. Специалисты компании оказывают поддержку полного цикла: аудит, помощь в миграции, техподдержку 24х7 и SLA, обучение, заказные разработки, сертификацию специалистов. По данным исследования ЦСР за 2022 год, компания возглавляет рейтинг российских разработчиков СУБД. Команда Postgres Professional также активно развивает свободно распространяемую СУБД PostgreSQL. Занимает 1 место в России и 2 — в мире по вкладу в открытый код PostgreSQL.
«Нетология» — российская компания и образовательная онлайн-платформа, одна из ведущих российских компаний онлайн-образования.
SberDevices — дочерняя компания Сбера, которая производит «умные» устройства. Это B2B- и B2C-девайсы для экосистемы с применением речевых технологий и виртуальным ассистентом на борту.
IT-компания и основной цифровой партнер торговых сетей и бизнесов X5 Group. Команда из более 3500 специалистов разрабатывает решения, которые помогают 325 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты.
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает ИТ-индустрию, поддерживает комьюнити и делится экспертизой.
Последние несколько месяцев я "счастливый безработный". Занимаюсь своим open source проектом, сообществом (https://vk.cc/cvAlE8) и выступаю с докладами
Yandex Cloud - публичная облачная платформа, предоставляет крупным компаниям, среднему бизнесу и частным разработчикам более 50 взаимосвязанных сервисов: масштабируемую инфраструктуру, сервисы хранения, обработки и анализа данных, инструменты машинного обучения, средства разработки и сервисы для командной работы.
Ozon — лидирующая платформа e-commerce в России. В команде Ozon Tech 3 800 инженеров — и она продолжает расти. Десятки миллионов людей пользуются сервисами Ozon, их IT-инфраструктура управляет миллионами процессов каждый час. Микросервисы на Go и C#, в стеке технологий есть Vue.js, Swift и Kotlin, Kubernetes, Kafka, Hadoop и ClickHouse.
Evocargo занимается перевозкой грузов на автономных грузовиках. Мы одни из первых в мире, кто начал выполнять коммерческие заказы на реальных складах и производствах и решать задачи логистики с помощью беспилотных технологий. Evocargo сегодня – это более 150 конструкторов, разработчиков автопилота и системы управления флотом, ML-инженеров, software и hardware QA. Мы с нуля проектируем, разрабатываем и производим по-настоящему автономные машины: без кабины водителя, руля и педалей.
Инновационная ИТ-компания, аккредитованная Минцифры России. Разрабатываем и внедряем решения любой сложности в области информационных технологий. Входим в состав ОМК, одной из ведущих индустриальных компаний России. Успешно работаем — 10 лет на рынке. информационных технологий
Lamoda – одна из крупнейших онлайн платформ в России в сфере Fashion & Lifestyle.
Ozon — лидирующая платформа e-commerce в России. В команде Ozon Tech 3 800 инженеров — и она продолжает расти. Десятки миллионов людей пользуются сервисами Ozon, их IT-инфраструктура управляет миллионами процессов каждый час. Микросервисы на Go и C#, в стеке технологий есть Vue.js, Swift и Kotlin, Kubernetes, Kafka, Hadoop и ClickHouse.
На Авито каждый может найти что-то свое среди миллионов частных объявлений и предложений компаний. У нас десятки тысяч rps к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
X5 Tech — IT-компания и основной цифровой партнер торговых сетей и бизнесов X5 Group. Команда из более 3500 специалистов разрабатывает решения, которые помогают 325 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты.
Cloud.ru облачный провайдер, предоставляющий облачные решения и экспертную поддержку для бизнес-задач. Атмосфера стартапа, создание инноваций, клиентоцентричный подход –– это все мы, люди Cloud.
Raft — компания, специализирующееся на разработке и интеграции решений с использованием новейших AI технологий. Наша цель — помочь организациям всех размеров внедрять и использовать передовые AI технологии для оптимизации бизнес-процессов, повышения производительности и достижения конкурентного преимущества.
Инновационная ИТ-компания, аккредитованная Минцифры России. Разрабатываем и внедряем решения любой сложности в области информационных технологий. Входим в состав ОМК, одной из ведущих индустриальных компаний России. Успешно работаем — 10 лет на рынке. информационных технологий
SberDevices — IT-компания полного цикла в экосистеме Сбера, R&D-центр экспертизы в области искусственного интеллекта: речевые технологии, понимание естественного языка, компьютерное зрение, лицевая и голосовая биометрия. Производит умные устройства — от лампочек до телевизоров. В портфолио SberDevices — ruGPT-3, ruDall-E, RuSBERT и другие масштабные ML-проекты, высоконагруженные системы и технологии обработки Big Data.
Инновационная ИТ-компания, аккредитованная Минцифры России. Разрабатываем и внедряем решения любой сложности в области информационных технологий. Входим в состав ОМК, одной из ведущих индустриальных компаний России. Успешно работаем — 10 лет на рынке. информационных технологий
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Один из крупнейших IT-холдингов в России, в котором работают более 23 000 сотрудников из более чем 250 городов. В числе ключевых продуктов компании: «DION», «AIR», «Сфера» и «Мирион».
Построение системы, которая может отвечать на вопрос вроде «с какими генами коррелирует выживаемость пациента при такой-то болезни и таком-то лечении» для редких заболеваний, при которых ни в одном биобанке данных не хватает. Система объединяет данные нескольких биобанков без фактического копирования данных.
СберТех — российский разработчик программного обеспечения для бизнеса и государства, основной поставщик решений для Сбера. Флагманское решение компании — цифровая облачная платформа Platform V для создания приложений любого масштаба и сложности и обеспечения технологической̆ независимости на уровне ПО.
Positive Technologies — ведущий разработчик продуктов, решений и сервисов для результативной кибербезопасности, позволяющих выявлять и предотвращать атаки до того, как они причинят неприемлемый ущерб бизнесу и целым отраслям экономики. Технологический портфель компании охватывает большинство категорий средств защиты информации и продолжает расширяться. Мы создаем метапродукты — новое поколение инструментов для достижения результативной кибербезопасности с минимальным участием человека. Кроме того, Positive Technologies — первая и единственная компания из сферы кибербеза на Московской бирже.
В Nexign пишут на Java, Gо, C# и С++, создают микросервисы и используют собственную СУБД. В команде 2000 экспертов, которые всегда знают, как сделать лучше. Они доказывают это в каждом проекте, будь то внедрение биллинговой платформы крупнейшим телеком-операторам или создание кастомизируемой HRM-системы.
В компании активно развивается направление ИИ, появляются новые продукты и увеличивается штаб.
Postgres Professional — разработчик Postgres Pro, самой популярной российской системы управления базами данных. В команде Postgres Professional — 70% российских разработчиков PostgreSQL. Среди заказчиков Postgres Pro — крупнейшие российские компании из списка РБК-500, а также объекты КИИ.
Positive Technologies — ведущий разработчик продуктов, решений и сервисов для результативной кибербезопасности, позволяющих выявлять и предотвращать атаки до того, как они причинят неприемлемый ущерб бизнесу и целым отраслям экономики. Технологический портфель компании охватывает большинство категорий средств защиты информации и продолжает расширяться. Мы создаем метапродукты — новое поколение инструментов для достижения результативной кибербезопасности с минимальным участием человека. Кроме того, Positive Technologies — первая и единственная компания из сферы кибербеза на Московской бирже.
«Рексофт» — одна из ведущих компаний по разработке программного обеспечения и информационных систем, обладающая значительным опытом по созданию проектов для таких сфер бизнеса, как телекоммуникации и мобильная связь, банки и финансы, IТ, медиа, гостиничный бизнес и туризм.
«Лаборатория Касперского» — международная компания, работающая в сфере информационной безопасности и цифровой приватности с 1997 года. Глубокие экспертные знания и многолетний опыт компании лежат в основе защитных решений и сервисов нового поколения, обеспечивающих безопасность бизнеса, критически важной инфраструктуры, государственных органов и рядовых пользователей.
Мы - разработчик Proto Observability Platform - первой российской full stack observability платформы, и сервис-провайдер c более 10 лет опытом выполнения проектов по цифровой трансформации, кибербезопасности, облачным вычислениям, разработке программных продуктов на основе стека современных технологий.
X5 Tech — IT-компания и основной цифровой партнер торговых сетей и бизнесов X5 Group. Команда из более 4500 специалистов разрабатывает решения, которые помогают десяткам миллионов покупателей быстро и удобно покупать свежие продукты каждый день. Сейчас команда сфокусирована на разработке решений, которые не зависят от вендоров.
билайн – технологичная компания, предоставляющая клиентам услуги в области Big Data, IT, безопасности, облачных технологий, интернета вещей и рекламных инструментов. В штате работают более 3000 IT-специалистов, они помогают более 80 000 клиентам из разных отраслей бизнеса быть более эффективными.
Rambler's Top100