Векторный поиск, MLOps, LLM в высоконагруженных проектах
Привет, друзья!
Главная новость этих майских дней — финальное расписание Saint HighLoad++ 2025 опубликовано! Уже можно планировать свое участие и добавлять доклады в избранное. В этом письме продолжим знакомство со спикерами летней конференции.
Но для начала предлагаем почитать статьи, посмотреть видео и вспомнить, как ML, LLM и искусственный интеллект чувствовали себя в прошлом году. Затронем и тему миграций без боли. Устраивайтесь поудобнее — начинаем.
Статьи
📌 ML-обработка видео в браузере для видеозвонков SaluteJazz
Нейросети, WebGL и отказ от Open Source
Дмитрий Балиев из SberDevices рассказал, как построили движок для ML-инференса прямо в браузере и почему не стали брать готовые решения. Спойлер: в приоритете была скорость, эффективность и контроль над кодом. Статья — об инженерии, где WebGL работает на пределе, а код превращается в граф вычислений.
Читать статью
📌 Как мигрировать с OpenShift на любой дистрибутив Kubernetes без единой правки
4000 сервисов, 500 команд, 100 кластеров — и ни одной правки в коде
Сценарий, от которого мороз по коже: поддержка OpenShift ушла, а вместе с ней и привычная инфраструктура. Максим Чудновский из СберТех делится подходом, который позволил перевезти всю продакшн-среду без боли, перелопачивания YAML'ов и переписывания всего на свете.
Читать статью
Видео
🎥 Гибридный поиск на базе OpenSearch и Qdrant
Егор Прохоренко рассказал, как совмещают векторный и классический поиск, зачем им Qdrant и как устроен их результат-миксер.
Смотреть видео
🎥 Highload MLOps в Альфа-Банке: 300 моделей в проде
Павел Николаев показал, как команда создает MLOps-инфраструктуру с нуля: ускоряют пайплайны, внедряют AutoML, держат уровень Mission Critical. Платформой пользуются 150+ дата-сайентистов каждый день.
Смотреть видео
🎥 Как X5 Tech строит инфраструктуру под LLM
Опыт внедрения LLM в корпоративную ИТ-среду: как не утонуть в чанках, какие движки выбрать и как снизить задержки ответа. Рассказывает Мичил Егоров.
Видео про LLM
А теперь о том, что нас ждет в этой теме на предстоящей Saint HighLoad++ 2025. Применение ИИ и ML в высоконагруженных системах становится все более распространенным. О практическом применении ML в производственных системах поговорим в рамках секции «Искусственный интеллект и машинное обучение в высоконагруженных системах». Программный комитет собрал несколько докладов и один мастер-класс.
Спикеры секции «Искусственный интеллект и машинное обучение в высоконагруженных системах»
Вместе с Иваном Красниковым разберем инструменты, которые позволяют строить и использовать векторные представления для рекомендательных и поисковых данных, даже если вы не Data Scientist.
Подготовительное задание: для экономии времени и снижения рисков поломки интернета необходимо заранее скачать материалы по ссылке (файл будет размещен за 2 недели до даты проведения конференции).
* Эмбеддинги — основа многих современных ML-решений, понимание их применения необходимо для создания эффективных систем.
История о том, как Т-Банк улучшал поиск по всей внутренней проектной (и не только) информации. Тот случай, когда просто «нормально» — это мало, и нужны постоянные улучшения. Алексей Болтава ждет всех, кто хочет использовать свои базы знаний по полной.
* Практическое применение LLM для корпоративных задач — одна из самых горячих тем в индустрии.
.png "Архитектура RAG-систем")
Андрей Носов обсудит архитектурные решения для построения RAG-систем, включая 10 стратегий оптимизации чанкинга, выбор векторной БД, оптимизацию пайплайнов для работы с LLM, кэширование чанков и эмбеддингов для снижения задержек и методы повышения точности при работе с большими данными.
* RAG-системы становятся стандартным подходом к применению LLM в корпоративных задачах.
.png "Векторный поиск в YDB")
Хотите знать, что же такое векторный поиск? Причем здесь ИИ? А как сделать так, чтобы он был быстрым? Как сделать так, чтобы он масштабировался на множество нод? Приходите на доклад Александра Зевайкина о том, как векторный поиск со всеми этими свойствами сделан внутри YDB.
* Векторный поиск — фундаментальная технология для современных ML-систем и рекомендательных сервисов.
Мы пользуемся Aviasales, но понимаем ли мы, по каким принципам нам рекомендуются билеты? Сергей Лавров расскажет именно об этом. Узнаем, как от хороших рекомендаций перейти к лучшим: пример совместного непростого путешествия ML- и бэкенд-команд.
23 и 24 июня встретимся в Петербурге. Вас ждут 8 залов, 120+ докладов, выставочная зона и нон-стоп-общение с теми, кто наверняка решал те же задачи, что и вы. Поговорим, поспорим, послушаем коллег. Приходите!
