Использование nginx как сервера-сборщика Основная секция
Доклад принят в Программу конференции
МФТИ / Физтех — ведущий российский исследовательский университет. Насчитывает 10 Нобелевских лауреатов. В топ‑100 глобального рейтинга Times Higher Education. Десятки научных школ, международные лаборатории, одни из сильнейших программ.
Тезисы
На многих современных сайтах, особенно борющихся за высокое звание портала, страница состоит из блоков взятых из разных частей проекта, с разных хостов, с других проектов, а так же различающихся временем жизни, способом кеширования и стратегией обновления. Яркий пример - mail.ru. В этих условиях обычный способ "страница целиком создаётся одним скриптом" работает плохо и требует множества подпорок.
Естественным решением видится создание сервера, умеющего собирать страницу из "кусочков", поступающих из разных источников. Как назвать подобный сервер не совсем понятно, видимо ближе всего aplication server или integration server, мне нравится название "сервер-сборщик".
К сожалению, open sourse реализаций мне неизвестно. Из пропиетарных в эту концепцию укладываются яндексовский XScript и мейлрушный BarterTown.
XScript нам недоступен (и не надо), в BarterTown на мой взгляд неудобно задаются источники. Стали искать альтернативу.
Первая стадия: nginx с модулем ngx_http_ssi_module
У модуля ngx_http_ssi_module есть возможность делать include с удалённого хоста. Отсутствие в nginx кеширования обошли использованием кешируещего прокси между фронтендом и бекендом, невозможность в ssi разобрать параметры запроса и куки - запросом к бекенду с возращением им ssi-ных команд.
Получился простой, лёгкий, бесплатный и open source сервер-сборщик. Работает замечательно, но есть серьёзное ограничение: ssi поддерживает только строковые переменные и не поддерживает циклов.
Вторая стадия: nginx с самописным модулем.
Написали модуль понимающий HTML::Template-подобный язык шаблонов и поддерживающий получение по HTTP сложно структурированных данных (в формате JSON). Теперь тривиально скажем получить с бекенда массив хешей статей и в цикле вывести их. Как бонус - шаблоны на бекенде становятся не нужны. Модуль пока в экспериментальной стадии, в будущем планируется добавить кеширование (как шаблонов, так и полученных данных) и поддержку других форматов (XML, CSV).
Другие доклады секции Основная секция
МТС — одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. Штат IT-специалистов компании превышает 8 000 человек.
Ви.Tech — технологичная компания, которая развивает IT-инфраструктуру крупнейшего в России DIY-интернет-магазина «ВсеИнструменты.ру». Создет и поддерживает высоконагруженные системы, обрабатывающие миллионы пользователей и сотни тысяч заказов ежедневно.
Билайн - один из ведущих поставщиков телекоммуникационных услуг в России
VK Tech — команда из 1400 специалистов в России и Казахстане. Разрабатывают и продвигают облачные платформы и сервисы VK Cloud, in-memory СУБД Tarantool, коммуникационные решения — от почты VK WorkSpace до супераппа VK Teams и решения для автоматизации HR и финансов. Внутри: C++, Python, Go, Java, Javascript, Lua.
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
Поинтер (pntr.io)
RUTUBE — это крупнейшая российская платформа для просмотра и размещения аудио- и видеороликов. На платформе представлены UGC, эксклюзивные проекты RUTUBE, видео СМИ и государственных организаций, лицензионные шоу, фильмы и сериалы. Национальный видеохостинг RUTUBE входит в «Газпром-Медиа Холдинг».
BI.ZONE — компания по управлению цифровыми рисками. Мы создаем IT-продукты для обеспечения кибербезопасности: от мобильных приложений до сложных платформ, в основе которых лежат методы машинного обучения.
RUTUBE - пожалуй лучший видеохостинг страны.
Профессиональная конференция фронтенд-разработчиков в России.
X5 Tech — IT-компания и основной цифровой партнер X5 Group. Мы разрабатываем онлайн и офлайн-решения, которые помогают более 392 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей — быстро и удобно покупать свежие продукты.
Яндекс — международная IT-компания, которая более 25 лет создает технологичные продукты на основе машинного обучения и нейросетей. В их экосистеме более 90 сервисов. Среди них есть внутренние, которые обеспечивают процессы внутри компании и работу сотрудников: Yandex Infrastructure, YTeasaurus, YDB и Ecom-сценарии. А еще опенсорс-проекты Яндекс Реклама, Поиск с Нейро, Алиса, Автономный транспорт, Yandex GPT и Yandex Cloud.
Венчурный фонд ФРИИ. 450+ инвестиций с 2013 года. Самый большой по количеству инвестиций фонд в России. Среди инвестиций: Vision Labs, Flowwow, Pravo.tech, Unim Histology, Promobot… Акселератор ФРИИ. В различных рейтингах акселераторов топ-10/топ-20 в мире. 2000+ IТ-компаний, прошедших программы акселерации. Naumen.ru. 1000+ сотрудников, лидер в сегментах рынка программных продуктов Service Desk и Call-центров.
Яндекс Доставка - это сервис, который помогает людям и бизнесу решать разные логистические задачи более чем в 1000 городов: от курьерской доставки по городу и за его пределами до грузовой доставки. Мы меняем рынок логистики с помощью технологий и данных: учим сервис эффективно подбирать курьеров на заказы, прогнозировать спрос и оптимизировать маршруты в реальном времени.
Домклик — продуктовая технологическая компания, которая создает высоконагруженные проекты в сфере недвижимости, обеспечивая полный цикл от выбора квартиры, получения ипотеки, взаиморасчетов с продавцом до постпродажного сопровождения.
SberDevices — это компания полного цикла. Мы создаём идеи, самостоятельно разрабатываем продукты, занимаемся прототипированием, конструированием, придумываем дизайн, программные решения, контролируем качество на фабриках и создаём инструменты для аппаратного тестирования.
Билайн — один из ведущих поставщиков телекоммуникационных услуг в России.
Яндекс — международная IT-компания, которая более 25 лет создает технологичные продукты на основе машинного обучения и нейросетей. В их экосистеме более 90 сервисов. Среди них есть внутренние, которые обеспечивают процессы внутри компании и работу сотрудников: Yandex Infrastructure, YTeasaurus, YDB и Ecom-сценарии. А еще опенсорс-проекты Яндекс Реклама, Поиск с Нейро, Алиса, Автономный транспорт, Yandex GPT и Yandex Cloud.
Navio — разработчик универсальной технологии автономного вождения на базе ИИ, включающей Software и Hardware компоненты, R&D, уникальный процесс тестирования и экосистему сервисов для обработки данных и управления флотом автономного транспорта.
Поинтер (pntr.io)
Ви.Tech — технологичная компания, которая развивает IT-инфраструктуру крупнейшего в России DIY-интернет-магазина «ВсеИнструменты.ру». Создет и поддерживает высоконагруженные системы, обрабатывающие миллионы пользователей и сотни тысяч заказов ежедневно.
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
SberDevices — это компания полного цикла. Мы создаём идеи, самостоятельно разрабатываем продукты, занимаемся прототипированием, конструированием, придумываем дизайн, программные решения, контролируем качество на фабриках и создаём инструменты для аппаратного тестирования.
SberDevices — это компания полного цикла. Мы создаём идеи, самостоятельно разрабатываем продукты, занимаемся прототипированием, конструированием, придумываем дизайн, программные решения, контролируем качество на фабриках и создаём инструменты для аппаратного тестирования.
BI.ZONE — компания по управлению цифровыми рисками. Мы создаем IT-продукты для обеспечения кибербезопасности: от мобильных приложений до сложных платформ, в основе которых лежат методы машинного обучения.
МФТИ / Физтех — ведущий российский исследовательский университет. Насчитывает 10 Нобелевских лауреатов. В топ‑100 глобального рейтинга Times Higher Education. Десятки научных школ, международные лаборатории, одни из сильнейших программ.
Банк от группы Ozon — первый e-commerce банк в России, предлагающий уникальные финансовые сервисы для клиентов и продавцов торговой площадки Ozon. 35+ млн клиентов.
ВБТЕХ - Технологический фундамент Wildberries. Делаем покупки в интернете доступными для России, Беларуси, Казахстана, Кыргызстана, Армении и Узбекистана
МФТИ / Физтех — ведущий российский исследовательский университет. Насчитывает 10 Нобелевских лауреатов. В топ‑100 глобального рейтинга Times Higher Education. Десятки научных школ, международные лаборатории, одни из сильнейших программ.
Яндекс — международная IT-компания, которая более 25 лет создает технологичные продукты на основе машинного обучения и нейросетей. В их экосистеме более 90 сервисов. Среди них есть внутренние, которые обеспечивают процессы внутри компании и работу сотрудников: Yandex Infrastructure, YTeasaurus, YDB и Ecom-сценарии. А еще опенсорс-проекты Яндекс Реклама, Поиск с Нейро, Алиса, Автономный транспорт, Yandex GPT и Yandex Cloud.
OpenYard — российский вендор и производитель серверного оборудования с собственным R&D-центром и производственной площадкой в Рязани, которая обеспечивает полный цикл выпуска серверов. В портфеле компании — корпоративные серверы (19" стоечные решения) и OCP-подобные платформы. Продукция OpenYard ориентирована на создание эффективной и надежной ИТ-инфраструктуры и входит в реестр промышленной продукции Минпромторга РФ.
TeamStorm - российский разработчик одноименной системы управления совместной работой.
Т-Банк — финансовая онлайн-экосистема, объединяющая полный спектр финансовых услуг для частных лиц и бизнеса. Особое внимание Т-Банк уделяет развитию лайфстайл-банкинга: экосистема дает клиентам возможность анализировать и планировать личные траты, инвестировать сбережения, получать бонусы в рамках программ лояльности, бронировать путешествия, покупать билеты в кино, бронировать столики в ресторанах и делать многое другое.
Практические методики нагрузочного тестирования, опыт тестирования производительности веб-приложений
В «Магните» отвечает за формирование стратегии архитектурного штаба, управление портфелем IT-проектов, продуктовую трансформацию IT-вертикали, развитие подходов к бюджетированию и контролю эффективности производственного цикла.
МТС — одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. Штат IT-специалистов компании превышает 8 000 человек.
МФТИ / Физтех — ведущий российский исследовательский университет. Насчитывает 10 Нобелевских лауреатов. В топ‑100 глобального рейтинга Times Higher Education. Десятки научных школ, международные лаборатории, одни из сильнейших программ.
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
Spring Aio — the largest community of Spring Java developers in the CIS, that unites more than 8000 developers worldwide.
