Highload++ 2017 завершён!

Профессиональная конференция разработчиков высоконагруженных систем

СКОЛКОВО, Москва 7 и 8 ноября

11-я ежегодная конференция для разработчиков highload-систем, которая соберет   2 700 участников из разных регионов России и мира. Мероприятие направлено на обмен знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей.

Программа охватывает такие аспекты веб-разработок, как архитектуры крупных проектов, базы данных и системы хранения, системное администрирование, нагрузочное тестирование, эксплуатация крупных проектов и другие направления, связанные с высоконагруженными системами.

Использование nginx как сервера-сборщика
Основная секция

Доклад принят в Программу конференции
МФТИ / Физтех — ведущий российский исследовательский университет. Насчитывает 10 Нобелевских лауреатов. В топ‑100 глобального рейтинга Times Higher Education. Десятки научных школ, международные лаборатории, одни из сильнейших программ.

Тезисы

На многих современных сайтах, особенно борющихся за высокое звание портала, страница состоит из блоков взятых из разных частей проекта, с разных хостов, с других проектов, а так же различающихся временем жизни, способом кеширования и стратегией обновления. Яркий пример - mail.ru. В этих условиях обычный способ "страница целиком создаётся одним скриптом" работает плохо и требует множества подпорок.

Естественным решением видится создание сервера, умеющего собирать страницу из "кусочков", поступающих из разных источников. Как назвать подобный сервер не совсем понятно, видимо ближе всего aplication server или integration server, мне нравится название "сервер-сборщик".

К сожалению, open sourse реализаций мне неизвестно. Из пропиетарных в эту концепцию укладываются яндексовский XScript и мейлрушный BarterTown.

XScript нам недоступен (и не надо), в BarterTown на мой взгляд неудобно задаются источники. Стали искать альтернативу.

Первая стадия: nginx с модулем ngx_http_ssi_module

У модуля ngx_http_ssi_module есть возможность делать include с удалённого хоста. Отсутствие в nginx кеширования обошли использованием кешируещего прокси между фронтендом и бекендом, невозможность в ssi разобрать параметры запроса и куки - запросом к бекенду с возращением им ssi-ных команд.

Получился простой, лёгкий, бесплатный и open source сервер-сборщик. Работает замечательно, но есть серьёзное ограничение: ssi поддерживает только строковые переменные и не поддерживает циклов.

Вторая стадия: nginx с самописным модулем.

Написали модуль понимающий HTML::Template-подобный язык шаблонов и поддерживающий получение по HTTP сложно структурированных данных (в формате JSON). Теперь тривиально скажем получить с бекенда массив хешей статей и в цикле вывести их. Как бонус - шаблоны на бекенде становятся не нужны. Модуль пока в экспериментальной стадии, в будущем планируется добавить кеширование (как шаблонов, так и полученных данных) и поддержку других форматов (XML, CSV).

Другие доклады секции
Основная секция

BI.ZONE — компания по управлению цифровыми рисками. Мы создаем IT-продукты для обеспечения кибербезопасности: от мобильных приложений до сложных платформ, в основе которых лежат методы машинного обучения.
Венчурный фонд ФРИИ. 450+ инвестиций с 2013 года. Самый большой по количеству инвестиций фонд в России. Среди инвестиций: Vision Labs, Flowwow, Pravo.tech, Unim Histology, Promobot… Акселератор ФРИИ. В различных рейтингах акселераторов топ-10/топ-20 в мире. 2000+ IТ-компаний, прошедших программы акселерации. Naumen.ru. 1000+ сотрудников, лидер в сегментах рынка программных продуктов Service Desk и Call-центров.
ЕДИНЫЙ ЦУПИС (https://1cupis.ru/) развивает платежные и цифровые сервисы в регулируемой индустрии развлечений. Обслуживает более 19 млн клиентов по всей России, обеспечивает более 2,5 млн платежей в сутки, с доступностью сервиса свыше 99,99%. Компания включена Банком России в реестр кредитных организаций, значимых на рынке платежных услуг. Реализует механизм удержания целевых отчислений на поддержку отечественного спорта – на конец I полугодия 2026 года на эти цели перечислено порядка 122 млрд рублей.
«Инфосистемы Джет» входит в десятку крупнейших ИТ-компаний России и в ТОП-5 поставщиков ИТ-услуг.
Raft — это компания, которая специализируется на разработке и интеграции решений с использованием новейших AI-технологий.
Gaijin Entertainment - международная игровая компания, разработчик War Thunder, одной из крупнейших военных онлайн-игр в мире. Мы активно внедряем AI в производственные процессы: генерация 3D-контента, AI-инструменты для разработчиков, автоматизация игровых пайплайнов.
Ведущий разработчик и производитель телекоммуникационного оборудования в Российской Федерации.
VK развивает более 200 технологичных проектов, которыми пользуются миллионы людей. VK Team — это 15 тысяч профессионалов, которые создают удобные сервисы для миллионов людей.
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
Компания разрабатывает, продвигает и продаёт статический анализатор C, C++, C# и Java-кода PVS-Studio. Это инструмент для программистов, который экономит деньги компаний за счет раннего обнаружения программных ошибок и потенциальных уязвимостей путём анализа исходного кода.
МТС — мультисервисная цифровая экосистема и ведущий телеком-оператор в России. Компания развивает сервисы и продукты в сфере больших данных, искусственного интеллекта, облачного хранения, медиа и финансов, телекоммуникаций. Штат IT-специалистов превышает 9,5 тыс. человек.
Райффайзен Банк, один из самых надежных российских банков, который создает финансовые решения для частных и корпоративных клиентов
R77.AI -- топ-3 ИИ-интегратор в РФ. Среди клиентов Сбер, Московская биржа, Альфа-Банк, Яндекс, МТС, Билайн и другие всем известные компании -- в том числе за рубежом. Специализируется на внедрении и разработке ИИ-решений, развивает собственную линейку frontier-продуктов . В штате высококлассные специалисты, выпускники МФТИ, ИТМО, ШАД и тд, лучшие инженеры, продакты, доменные эксперты.
Raft — это компания, которая специализируется на разработке и интеграции решений с использованием новейших AI-технологий.
VK — это более 200 технологичных и высоконагруженных проектов, свыше 15 000 сотрудников. ВКонтакте, ОК, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей. ВКонтакте — крупнейшая социальная сеть в России. Команда ВКонтакте разрабатывает технологические решения, которые отвечают критериям быстродействия, отказоустойчивости и качества, чтобы пользователи получали максимум для общения, работы, учебы, развлечения и творчества.
BI.ZONE — компания по управлению цифровыми рисками. Мы создаем IT-продукты для обеспечения кибербезопасности: от мобильных приложений до сложных платформ, в основе которых лежат методы машинного обучения.
VK развивает более 200 технологичных проектов, которыми пользуются миллионы людей. VK Team — это 15 тысяч профессионалов, которые создают удобные сервисы для миллионов людей.
VK — это более 200 технологичных и высоконагруженных проектов, свыше 15 000 сотрудников. ВКонтакте, ОК, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей. ВКонтакте — крупнейшая социальная сеть в России. Команда ВКонтакте разрабатывает технологические решения, которые отвечают критериям быстродействия, отказоустойчивости и качества, чтобы пользователи получали максимум для общения, работы, учебы, развлечения и творчества.
Cbonds - информационное агентство, специализирующееся в сфере финансовых рынков. Компания осуществляет деятельность по следующим направлениям бизнеса: разработка информационных сайтов (Cbonds.ru, Investfunds.ru), развитие каналов предоставления данных: API, мобильное приложение, надстройки ADD-IN, а также издательская деятельность (журнал Cbonds Review). Среди клиентов региональные банки, управляющие активами, брокерские компании, семейные офисы и частные инвесторы со всего мира.
X5 Tech — IT-компания и основной цифровой партнер X5 Group. Мы разрабатываем онлайн и офлайн-решения, которые помогают более 392 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей — быстро и удобно покупать свежие продукты.
Вебпрактик разрабатывает сервисы и продукты для крупнейших корпораций в стране, много лет входит в топы разработчиков в премиум-ценовом сегменте.
Компания разрабатывает, продвигает и продаёт статический анализатор C, C++, C# и Java-кода PVS-Studio. Это инструмент для программистов, который экономит деньги компаний за счет раннего обнаружения программных ошибок и потенциальных уязвимостей путём анализа исходного кода.
VK — это более 200 технологичных и высоконагруженных проектов, свыше 15 000 сотрудников. ВКонтакте, ОК, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей. ВКонтакте — крупнейшая социальная сеть в России. Команда ВКонтакте разрабатывает технологические решения, которые отвечают критериям быстродействия, отказоустойчивости и качества, чтобы пользователи получали максимум для общения, работы, учебы, развлечения и творчества.
SberDevices — это компания полного цикла. Мы создаём идеи, самостоятельно разрабатываем продукты, занимаемся прототипированием, конструированием, придумываем дизайн, программные решения, контролируем качество на фабриках и создаём инструменты для аппаратного тестирования.
Т-Банк — финансовая онлайн-экосистема, объединяющая полный спектр финансовых услуг для частных лиц и бизнеса. Особое внимание Т-Банк уделяет развитию лайфстайл-банкинга: экосистема дает клиентам возможность анализировать и планировать личные траты, инвестировать сбережения, получать бонусы в рамках программ лояльности, бронировать путешествия, покупать билеты в кино, бронировать столики в ресторанах и делать многое другое.
VK — это более 200 технологичных и высоконагруженных проектов, свыше 15 000 сотрудников. ВКонтакте, ОК, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей. ВКонтакте — крупнейшая социальная сеть в России. Команда ВКонтакте разрабатывает технологические решения, которые отвечают критериям быстродействия, отказоустойчивости и качества, чтобы пользователи получали максимум для общения, работы, учебы, развлечения и творчества.
Компания «Эрливидео» cуществует с 2010 года и известна в мире под брендом Flussonic. Разрабатывают продукты Fussonic Media Server и Flussonic Watcher — это ПО, с помощью которого клиенты компании запускают IPTV, OTT и сервисы облачного видеонаблюдения. Клиенты «Эрливидео» — это крупные операторы связи, онлайн-кинотеатры, операторы видеонаблюдения, госструктуры, провайдеры и корпорации. Тысячи клиентов пользуются продуктами Flussonic, более чем в 100 странах мира, доставляя видео сотням тысяч пользователей. У «Эрливидео» нет авралов, рутины, бюрократии, простых задач, интриг и недооцененных сотрудников. Находятся в поиске талантливых коллег, единомышленников и визионеров, которые будут вместе с ними развивать рынок и индустрию медиастриминга в мире.
MiOps — провайдер IT-решений, который помогает бизнесу создавать, развивать и поддерживать современную инфраструктуру цифровых продуктов. Мы автоматизируем процессы разработки и эксплуатации, строим отказоустойчивые платформы, внедряем технологии искусственного интеллекта и обеспечиваем стабильную работу критически важных сервисов.
Компания разрабатывает, продвигает и продаёт статический анализатор C, C++, C# и Java-кода PVS-Studio. Это инструмент для программистов, который экономит деньги компаний за счет раннего обнаружения программных ошибок и потенциальных уязвимостей путём анализа исходного кода.
Trisigma — собственная разработка Авито для проведения и анализа A/B-экспериментов. Платформа помогает продуктовым и аналитическим командам управлять экспериментами, рассчитывать и хранить продуктовые метрики и анализировать результаты в единой системе.
Нейросеть "Искра" помогает решать рабочие задачи с ИИ: документы, аналитика, планирование, обучение, переводы и отчёты. Доступно на компьютере, в телефоне и в Telegram. Искра работает с вашими файлами и сервисами: читает и создаёт документы, таблицы и презентации, разбирает почту, ведёт календарь и задачи, делает вычисления и исследования. Она помнит контекст вашей работы и подключается к корпоративным источникам. Для компании это управляемый контур: доступы, роли и данные остаются под контролем, включая развёртывание в закрытом периметре.
Trisigma — собственная разработка Авито для проведения и анализа A/B-экспериментов. Платформа помогает продуктовым и аналитическим командам управлять экспериментами, рассчитывать и хранить продуктовые метрики и анализировать результаты в единой системе.
Яндекс — одна из крупнейших технологических компаний России с собственными разработками в области искусственного интеллекта. Подразделение автономного транспорта развивает технологии беспилотного вождения: собственный стек автономного управления, парк беспилотных автомобилей и роботов-доставщиков, работающих в реальных городских условиях, и инфраструктуру сбора и анализа данных проездов, на которых обучаются и проверяются алгоритмы.
Raft — это компания, которая специализируется на разработке и интеграции решений с использованием новейших AI-технологий.
МТС — мультисервисная цифровая экосистема и ведущий телеком-оператор в России. Компания развивает сервисы и продукты в сфере больших данных, искусственного интеллекта, облачного хранения, медиа и финансов, телекоммуникаций. Штат IT-специалистов превышает 9,5 тыс. человек.
Rambler's Top100