Использование nginx как сервера-сборщика Основная секция
Доклад принят в Программу конференции
МФТИ / Физтех — ведущий российский исследовательский университет. Насчитывает 10 Нобелевских лауреатов. В топ‑100 глобального рейтинга Times Higher Education. Десятки научных школ, международные лаборатории, одни из сильнейших программ.
Тезисы
На многих современных сайтах, особенно борющихся за высокое звание портала, страница состоит из блоков взятых из разных частей проекта, с разных хостов, с других проектов, а так же различающихся временем жизни, способом кеширования и стратегией обновления. Яркий пример - mail.ru. В этих условиях обычный способ "страница целиком создаётся одним скриптом" работает плохо и требует множества подпорок.
Естественным решением видится создание сервера, умеющего собирать страницу из "кусочков", поступающих из разных источников. Как назвать подобный сервер не совсем понятно, видимо ближе всего aplication server или integration server, мне нравится название "сервер-сборщик".
К сожалению, open sourse реализаций мне неизвестно. Из пропиетарных в эту концепцию укладываются яндексовский XScript и мейлрушный BarterTown.
XScript нам недоступен (и не надо), в BarterTown на мой взгляд неудобно задаются источники. Стали искать альтернативу.
Первая стадия: nginx с модулем ngx_http_ssi_module
У модуля ngx_http_ssi_module есть возможность делать include с удалённого хоста. Отсутствие в nginx кеширования обошли использованием кешируещего прокси между фронтендом и бекендом, невозможность в ssi разобрать параметры запроса и куки - запросом к бекенду с возращением им ssi-ных команд.
Получился простой, лёгкий, бесплатный и open source сервер-сборщик. Работает замечательно, но есть серьёзное ограничение: ssi поддерживает только строковые переменные и не поддерживает циклов.
Вторая стадия: nginx с самописным модулем.
Написали модуль понимающий HTML::Template-подобный язык шаблонов и поддерживающий получение по HTTP сложно структурированных данных (в формате JSON). Теперь тривиально скажем получить с бекенда массив хешей статей и в цикле вывести их. Как бонус - шаблоны на бекенде становятся не нужны. Модуль пока в экспериментальной стадии, в будущем планируется добавить кеширование (как шаблонов, так и полученных данных) и поддержку других форматов (XML, CSV).
Другие доклады секции Основная секция
Cbonds - информационное агентство, специализирующееся в сфере финансовых рынков. Компания осуществляет деятельность по следующим направлениям бизнеса: разработка информационных сайтов (Cbonds.ru, Investfunds.ru), развитие каналов предоставления данных: API, мобильное приложение, надстройки ADD-IN, а также издательская деятельность (журнал Cbonds Review). Среди клиентов региональные банки, управляющие активами, брокерские компании, семейные офисы и частные инвесторы со всего мира.
Компания разрабатывает, продвигает и продаёт статический анализатор C, C++, C# и Java-кода PVS-Studio. Это инструмент для программистов, который экономит деньги компаний за счет раннего обнаружения программных ошибок и потенциальных уязвимостей путём анализа исходного кода.
VK — это более 200 технологичных и высоконагруженных проектов, свыше 15 000 сотрудников. ВКонтакте, ОК, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей. ВКонтакте — крупнейшая социальная сеть в России. Команда ВКонтакте разрабатывает технологические решения, которые отвечают критериям быстродействия, отказоустойчивости и качества, чтобы пользователи получали максимум для общения, работы, учебы, развлечения и творчества.
Ведущий разработчик и производитель телекоммуникационного оборудования в Российской Федерации.
Проектируют и разрабатывают IT-продукты под цели заказчика для e-commerce, ретейла, банков и других бизнесов по всему миру. Одни из лучших в стране по реализации высоконагруженных систем и микросервисной архитектуре.
Raft — это компания, которая специализируется на разработке и интеграции решений с использованием новейших AI-технологий.
BI.ZONE — компания по управлению цифровыми рисками. Мы создаем IT-продукты для обеспечения кибербезопасности: от мобильных приложений до сложных платформ, в основе которых лежат методы машинного обучения.
X5 Tech — IT-компания и основной цифровой партнер X5 Group. Мы разрабатываем онлайн и офлайн-решения, которые помогают более 392 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей — быстро и удобно покупать свежие продукты.
Бастион — компания в сфере информационной безопасности, которая защищает бизнес от киберугроз и реализует проекты по построению и развитию комплексной ИБ-инфраструктуры.
BI.ZONE — компания по управлению цифровыми рисками. Мы создаем IT-продукты для обеспечения кибербезопасности: от мобильных приложений до сложных платформ, в основе которых лежат методы машинного обучения.
МТС — мультисервисная цифровая экосистема и ведущий телеком-оператор в России. Компания развивает сервисы и продукты в сфере больших данных, искусственного интеллекта, облачного хранения, медиа и финансов, телекоммуникаций. Штат IT-специалистов превышает 9,5 тыс. человек.
Компания «Эрливидео» cуществует с 2010 года и известна в мире под брендом Flussonic. Разрабатывают продукты Fussonic Media Server и Flussonic Watcher — это ПО, с помощью которого клиенты компании запускают IPTV, OTT и сервисы облачного видеонаблюдения. Клиенты «Эрливидео» — это крупные операторы связи, онлайн-кинотеатры, операторы видеонаблюдения, госструктуры, провайдеры и корпорации. Тысячи клиентов пользуются продуктами Flussonic, более чем в 100 странах мира, доставляя видео сотням тысяч пользователей. У «Эрливидео» нет авралов, рутины, бюрократии, простых задач, интриг и недооцененных сотрудников. Находятся в поиске талантливых коллег, единомышленников и визионеров, которые будут вместе с ними развивать рынок и индустрию медиастриминга в мире.
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
Венчурный фонд ФРИИ. 450+ инвестиций с 2013 года. Самый большой по количеству инвестиций фонд в России. Среди инвестиций: Vision Labs, Flowwow, Pravo.tech, Unim Histology, Promobot… Акселератор ФРИИ. В различных рейтингах акселераторов топ-10/топ-20 в мире. 2000+ IТ-компаний, прошедших программы акселерации. Naumen.ru. 1000+ сотрудников, лидер в сегментах рынка программных продуктов Service Desk и Call-центров.
Бастион — компания в сфере информационной безопасности, которая защищает бизнес от киберугроз и реализует проекты по построению и развитию комплексной ИБ-инфраструктуры.
R77.AI -- топ-3 ИИ-интегратор в РФ. Среди клиентов Сбер, Московская биржа, Альфа-Банк, Яндекс, МТС, Билайн и другие всем известные компании -- в том числе за рубежом. Специализируется на внедрении и разработке ИИ-решений, развивает собственную линейку frontier-продуктов . В штате высококлассные специалисты, выпускники МФТИ, ИТМО, ШАД и тд, лучшие инженеры, продакты, доменные эксперты.
Проектируют и разрабатывают IT-продукты под цели заказчика для e-commerce, ретейла, банков и других бизнесов по всему миру. Одни из лучших в стране по реализации высоконагруженных систем и микросервисной архитектуре.
МТС — мультисервисная цифровая экосистема и ведущий телеком-оператор в России. Компания развивает сервисы и продукты в сфере больших данных, искусственного интеллекта, облачного хранения, медиа и финансов, телекоммуникаций. Штат IT-специалистов превышает 9,5 тыс. человек.
Trisigma — собственная разработка Авито для проведения и анализа A/B-экспериментов. Платформа помогает продуктовым и аналитическим командам управлять экспериментами, рассчитывать и хранить продуктовые метрики и анализировать результаты в единой системе.
Петрович-Тех — основной цифровой партнер СТД «Петрович», второй по объему выручки и темпам роста сети DIY-магазинов в России. Их интернет-магазин входит в топ-15 крупнейших в стране. 6 миллионов ежемесячных покупателей на их сайте — не просто цифра. За ней стоит команда Теха, которая строит высоконагруженные системы, разбирается в прикладной части ML и DS, проектирует микросервисную архитектуру и многое другое.
Вебпрактик разрабатывает сервисы и продукты для крупнейших корпораций в стране, много лет входит в топы разработчиков в премиум-ценовом сегменте.
SberDevices — это компания полного цикла. Мы создаём идеи, самостоятельно разрабатываем продукты, занимаемся прототипированием, конструированием, придумываем дизайн, программные решения, контролируем качество на фабриках и создаём инструменты для аппаратного тестирования.
Яндекс
позже заполню
Практические методики нагрузочного тестирования, опыт тестирования производительности веб-приложений
Яндекс 360 — это виртуальное пространство, в котором собраны сервисы для работы и повседневных задач: Почта, Диск для хранения файлов, Телемост с видеозвонками, Документы, Мессенджер, Рассылки, Заметки и Календарь. Яндекс 360 помогает организовать работу как одному человеку, так и целой команде организации в рамках продуктов Яндекс 360 для бизнеса.
Райффайзен Банк, один из самых надежных российских банков, который создает финансовые решения для частных и корпоративных клиентов
Бастион — компания в сфере информационной безопасности, которая защищает бизнес от киберугроз и реализует проекты по построению и развитию комплексной ИБ-инфраструктуры.
Яндекс — одна из крупнейших технологических компаний России с собственными разработками в области искусственного интеллекта. Подразделение автономного транспорта развивает технологии беспилотного вождения: собственный стек автономного управления, парк беспилотных автомобилей и роботов-доставщиков, работающих в реальных городских условиях, и инфраструктуру сбора и анализа данных проездов, на которых обучаются и проверяются алгоритмы.
Райффайзен Банк, один из самых надежных российских банков, который создает финансовые решения для частных и корпоративных клиентов
MiOps — провайдер IT-решений, который помогает бизнесу создавать, развивать и поддерживать современную инфраструктуру цифровых продуктов. Мы автоматизируем процессы разработки и эксплуатации, строим отказоустойчивые платформы, внедряем технологии искусственного интеллекта и обеспечиваем стабильную работу критически важных сервисов.
«Инфосистемы Джет» входит в десятку крупнейших ИТ-компаний России и в ТОП-5 поставщиков ИТ-услуг.
Т-Банк — финансовая онлайн-экосистема, объединяющая полный спектр финансовых услуг для частных лиц и бизнеса. Особое внимание Т-Банк уделяет развитию лайфстайл-банкинга: экосистема дает клиентам возможность анализировать и планировать личные траты, инвестировать сбережения, получать бонусы в рамках программ лояльности, бронировать путешествия, покупать билеты в кино, бронировать столики в ресторанах и делать многое другое.
ЕДИНЫЙ ЦУПИС (https://1cupis.ru/) развивает платежные и цифровые сервисы в регулируемой индустрии развлечений. Обслуживает более 19 млн клиентов по всей России, обеспечивает более 2,5 млн платежей в сутки, с доступностью сервиса свыше 99,99%. Компания включена Банком России в реестр кредитных организаций, значимых на рынке платежных услуг. Реализует механизм удержания целевых отчислений на поддержку отечественного спорта – на конец I полугодия 2026 года на эти цели перечислено порядка 122 млрд рублей.
Нейросеть "Искра" помогает решать рабочие задачи с ИИ: документы, аналитика, планирование, обучение, переводы и отчёты. Доступно на компьютере, в телефоне и в Telegram. Искра работает с вашими файлами и сервисами: читает и создаёт документы, таблицы и презентации, разбирает почту, ведёт календарь и задачи, делает вычисления и исследования. Она помнит контекст вашей работы и подключается к корпоративным источникам. Для компании это управляемый контур: доступы, роли и данные остаются под контролем, включая развёртывание в закрытом периметре.
VK — это более 200 технологичных и высоконагруженных проектов, свыше 15 000 сотрудников. ВКонтакте, ОК, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей. ВКонтакте — крупнейшая социальная сеть в России. Команда ВКонтакте разрабатывает технологические решения, которые отвечают критериям быстродействия, отказоустойчивости и качества, чтобы пользователи получали максимум для общения, работы, учебы, развлечения и творчества.
