Использование nginx как сервера-сборщика Основная секция
Доклад принят в Программу конференции
МФТИ / Физтех — ведущий российский исследовательский университет. Насчитывает 10 Нобелевских лауреатов. В топ‑100 глобального рейтинга Times Higher Education. Десятки научных школ, международные лаборатории, одни из сильнейших программ.
Тезисы
На многих современных сайтах, особенно борющихся за высокое звание портала, страница состоит из блоков взятых из разных частей проекта, с разных хостов, с других проектов, а так же различающихся временем жизни, способом кеширования и стратегией обновления. Яркий пример - mail.ru. В этих условиях обычный способ "страница целиком создаётся одним скриптом" работает плохо и требует множества подпорок.
Естественным решением видится создание сервера, умеющего собирать страницу из "кусочков", поступающих из разных источников. Как назвать подобный сервер не совсем понятно, видимо ближе всего aplication server или integration server, мне нравится название "сервер-сборщик".
К сожалению, open sourse реализаций мне неизвестно. Из пропиетарных в эту концепцию укладываются яндексовский XScript и мейлрушный BarterTown.
XScript нам недоступен (и не надо), в BarterTown на мой взгляд неудобно задаются источники. Стали искать альтернативу.
Первая стадия: nginx с модулем ngx_http_ssi_module
У модуля ngx_http_ssi_module есть возможность делать include с удалённого хоста. Отсутствие в nginx кеширования обошли использованием кешируещего прокси между фронтендом и бекендом, невозможность в ssi разобрать параметры запроса и куки - запросом к бекенду с возращением им ssi-ных команд.
Получился простой, лёгкий, бесплатный и open source сервер-сборщик. Работает замечательно, но есть серьёзное ограничение: ssi поддерживает только строковые переменные и не поддерживает циклов.
Вторая стадия: nginx с самописным модулем.
Написали модуль понимающий HTML::Template-подобный язык шаблонов и поддерживающий получение по HTTP сложно структурированных данных (в формате JSON). Теперь тривиально скажем получить с бекенда массив хешей статей и в цикле вывести их. Как бонус - шаблоны на бекенде становятся не нужны. Модуль пока в экспериментальной стадии, в будущем планируется добавить кеширование (как шаблонов, так и полученных данных) и поддержку других форматов (XML, CSV).
Другие доклады секции Основная секция
OpenYard — российский вендор и производитель серверного оборудования с собственным R&D-центром и производственной площадкой в Рязани, которая обеспечивает полный цикл выпуска серверов. В портфеле компании — корпоративные серверы (19" стоечные решения) и OCP-подобные платформы. Продукция OpenYard ориентирована на создание эффективной и надежной ИТ-инфраструктуры и входит в реестр промышленной продукции Минпромторга РФ.
МФТИ / Физтех — ведущий российский исследовательский университет. Насчитывает 10 Нобелевских лауреатов. В топ‑100 глобального рейтинга Times Higher Education. Десятки научных школ, международные лаборатории, одни из сильнейших программ.
МФТИ / Физтех — ведущий российский исследовательский университет. Насчитывает 10 Нобелевских лауреатов. В топ‑100 глобального рейтинга Times Higher Education. Десятки научных школ, международные лаборатории, одни из сильнейших программ.
Билайн — один из ведущих поставщиков телекоммуникационных услуг в России.
VK Tech — команда из 1400 специалистов в России и Казахстане. Разрабатывают и продвигают облачные платформы и сервисы VK Cloud, in-memory СУБД Tarantool, коммуникационные решения — от почты VK WorkSpace до супераппа VK Teams и решения для автоматизации HR и финансов. Внутри: C++, Python, Go, Java, Javascript, Lua.
Билайн - один из ведущих поставщиков телекоммуникационных услуг в России
SberDevices — это компания полного цикла. Мы создаём идеи, самостоятельно разрабатываем продукты, занимаемся прототипированием, конструированием, придумываем дизайн, программные решения, контролируем качество на фабриках и создаём инструменты для аппаратного тестирования.
MWS Data занимается разработкой платформы для работы с данными. У них есть опыт работы с кластерами на десятки петабайт и 600+ сотрудников, активно взаимодействующих с этими данными.
Компания MyDB разрабатывает российский форк СУБД MySQL - полностью совместимую, свободно распространяемую замену для MySQL и Percona Server с оптимизированной производительностью, адаптированную для российских пользователей и включённую в реестр российcкого ПО.
BI.ZONE — компания по управлению цифровыми рисками. Мы создаем IT-продукты для обеспечения кибербезопасности: от мобильных приложений до сложных платформ, в основе которых лежат методы машинного обучения.
МТС — одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. Штат IT-специалистов компании превышает 8 000 человек.
МФТИ / Физтех — ведущий российский исследовательский университет. Насчитывает 10 Нобелевских лауреатов. В топ‑100 глобального рейтинга Times Higher Education. Десятки научных школ, международные лаборатории, одни из сильнейших программ.
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает ИТ-индустрию, поддерживает комьюнити и делится экспертизой.
Яндекс — международная IT-компания, которая более 25 лет создает технологичные продукты на основе машинного обучения и нейросетей. В их экосистеме более 90 сервисов. Среди них есть внутренние, которые обеспечивают процессы внутри компании и работу сотрудников: Yandex Infrastructure, YTeasaurus, YDB и Ecom-сценарии. А еще опенсорс-проекты Яндекс Реклама, Поиск с Нейро, Алиса, Автономный транспорт, Yandex GPT и Yandex Cloud.
X5 Tech — IT-компания и основной цифровой партнер X5 Group. Мы разрабатываем онлайн и офлайн-решения, которые помогают более 392 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей — быстро и удобно покупать свежие продукты.
МТС — одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. Штат IT-специалистов компании превышает 8 000 человек.
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
Крупнейшая геораспределенная сеть дата-центров Tier III в России.
Домклик — продуктовая технологическая компания, которая создает высоконагруженные проекты в сфере недвижимости, обеспечивая полный цикл от выбора квартиры, получения ипотеки, взаиморасчетов с продавцом до постпродажного сопровождения.
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
SberDevices — это компания полного цикла. Мы создаём идеи, самостоятельно разрабатываем продукты, занимаемся прототипированием, конструированием, придумываем дизайн, программные решения, контролируем качество на фабриках и создаём инструменты для аппаратного тестирования.
Ви.Tech — технологичная компания, которая развивает IT-инфраструктуру крупнейшего в России DIY-интернет-магазина «ВсеИнструменты.ру». Создет и поддерживает высоконагруженные системы, обрабатывающие миллионы пользователей и сотни тысяч заказов ежедневно.
MWS Data занимается разработкой платформы для работы с данными. У них есть опыт работы с кластерами на десятки петабайт и 600+ сотрудников, активно взаимодействующих с этими данными.
Яндекс — международная IT-компания, которая более 25 лет создает технологичные продукты на основе машинного обучения и нейросетей. В их экосистеме более 90 сервисов. Среди них есть внутренние, которые обеспечивают процессы внутри компании и работу сотрудников: Yandex Infrastructure, YTeasaurus, YDB и Ecom-сценарии. А еще опенсорс-проекты Яндекс Реклама, Поиск с Нейро, Алиса, Автономный транспорт, Yandex GPT и Yandex Cloud.
Т-Банк — финансовая онлайн-экосистема, объединяющая полный спектр финансовых услуг для частных лиц и бизнеса. Особое внимание Т-Банк уделяет развитию лайфстайл-банкинга: экосистема дает клиентам возможность анализировать и планировать личные траты, инвестировать сбережения, получать бонусы в рамках программ лояльности, бронировать путешествия, покупать билеты в кино, бронировать столики в ресторанах и делать многое другое.
Венчурный фонд ФРИИ. 450+ инвестиций с 2013 года. Самый большой по количеству инвестиций фонд в России. Среди инвестиций: Vision Labs, Flowwow, Pravo.tech, Unim Histology, Promobot… Акселератор ФРИИ. В различных рейтингах акселераторов топ-10/топ-20 в мире. 2000+ IТ-компаний, прошедших программы акселерации. Naumen.ru. 1000+ сотрудников, лидер в сегментах рынка программных продуктов Service Desk и Call-центров.
ВБТЕХ - Технологический фундамент Wildberries. Делаем покупки в интернете доступными для России, Беларуси, Казахстана, Кыргызстана, Армении и Узбекистана
ИСП РАН — ведущая научная организация в области системного программирования, специализирующаяся на исследованиях, разработках и подготовке высококвалифицированных кадров. Основные направления работы: кибербезопасность, анализ данных и искусственный интеллект. Создали несколько исследовательских центров, включая центр доверенного искусственного интеллекта и технологический центр безопасности ядра Linux.
Яндекс Доставка - это сервис, который помогает людям и бизнесу решать разные логистические задачи более чем в 1000 городов: от курьерской доставки по городу и за его пределами до грузовой доставки. Мы меняем рынок логистики с помощью технологий и данных: учим сервис эффективно подбирать курьеров на заказы, прогнозировать спрос и оптимизировать маршруты в реальном времени.
Практические методики нагрузочного тестирования, опыт тестирования производительности веб-приложений
В «Магните» отвечает за формирование стратегии архитектурного штаба, управление портфелем IT-проектов, продуктовую трансформацию IT-вертикали, развитие подходов к бюджетированию и контролю эффективности производственного цикла.
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает ИТ-индустрию, поддерживает комьюнити и делится экспертизой.
SberDevices — это компания полного цикла. Мы создаём идеи, самостоятельно разрабатываем продукты, занимаемся прототипированием, конструированием, придумываем дизайн, программные решения, контролируем качество на фабриках и создаём инструменты для аппаратного тестирования.
Yandex B2B Tech — бизнес-группа Яндекса, которая на базе технологий и опыта компании создает и развивает решения для корпоративного сектора. Сервисы и инструменты Yandex B2B Tech помогают бизнесу управлять облачной инфраструктурой, хранить, обрабатывать и визуализировать данные, вести дела и переписку, настраивать совместную работу с файлами и применять искусственный интеллект для широкого круга задач, от написания кода до создания текстов и картинок. Решения Yandex B2B Tech можно использовать в облаке или развернуть на собственных серверах по модели on-premises — в зависимости от потребностей заказчика. Они легко масштабируются и находят применение в самых разных компаниях от стартапов до корпораций.
Яндекс — международная IT-компания, которая более 25 лет создает технологичные продукты на основе машинного обучения и нейросетей. В их экосистеме более 90 сервисов. Среди них есть внутренние, которые обеспечивают процессы внутри компании и работу сотрудников: Yandex Infrastructure, YTeasaurus, YDB и Ecom-сценарии. А еще опенсорс-проекты Яндекс Реклама, Поиск с Нейро, Алиса, Автономный транспорт, Yandex GPT и Yandex Cloud.
BI.ZONE — компания по управлению цифровыми рисками. Мы создаем IT-продукты для обеспечения кибербезопасности: от мобильных приложений до сложных платформ, в основе которых лежат методы машинного обучения.
RUTUBE — это крупнейшая российская платформа для просмотра и размещения аудио- и видеороликов. На платформе представлены UGC, эксклюзивные проекты RUTUBE, видео СМИ и государственных организаций, лицензионные шоу, фильмы и сериалы. Национальный видеохостинг RUTUBE входит в «Газпром-Медиа Холдинг».
Ви.Tech — технологичная компания, которая развивает IT-инфраструктуру крупнейшего в России DIY-интернет-магазина «ВсеИнструменты.ру». Создет и поддерживает высоконагруженные системы, обрабатывающие миллионы пользователей и сотни тысяч заказов ежедневно.
