Inference Cluster Gateway: как мы мигрировали с LiteLLM на APISIX

GenAI и большие языковые модели (LLM)

Логи, метрики, ошибки

Программный комитет ещё не принял решения по этому докладу

Целевая аудитория

MLOps-инженеры и команды, разворачивающие self-hosted LLM

Тезисы

Мы расскажем о нашем опыте замены LiteLLM на Apache APISIX в роли AI Gateway для внутреннего Inference Cluster: как обеспечили бесшовный переход с сохранением клиентских приложений и выданных API-ключей, какие плагины и маршрутизацию использовали, а также как организовали сбор метрик, учёт потребления и observability-интеграции

Алексей Пущин

YADRO

Разработчик инференс-кластера в YADRO
ex VPU Compiler Engineer @ Intel
ex NPU Compiler Engineer @ Samsung
МГТУ им. Н.Э. Баумана, ИУ2, 2017

Владислав Виноградов

YADRO

Разработчик инференс-кластера в YADRO
ex VPU Compiler Engineer @ Intel

Видео

Другие доклады секции

GenAI и большие языковые модели (LLM)

Самоэволюционирующий LLM-агент: от строительных моделей к любому домену

Артем Просветов

Сбер

vLLM под капотом: техники реального ускорения

Кирилл Нетреба

Авито

Кейсы внедрения ИИ в строительной отрасли

Кошман Патрисия

МТС

Harness важнее модели: как собрать GraphRAG на одной GPU и, главное, зачем?

Иван Бондаренко

НГУ

От vLLM в Docker до промышленного AI API: как модель превращается в сервис

Егор Андреев

Впрод

AI Agent Observability: как понять, что агент делает не так

Виталий Протасов

Just AI

Анатомия надёжности LLM: white-box мониторинг активаций для предотвращения галлюцинаций

Марк Паненко

Ozon Банк

Как мы строим AI-агента над сервисами Яндекс 360: RAG, MCP и скиллы

Даниил Смирнов

Янедкс 360

Управляемая генерация интерактивных агентов для обучения робота-доставщика

Илья Гуков

Яндекс

Боремся с системными искажениями в федеративном обучении: метрики и динамическая корректировка весов клиентов

Максим Мухамедов

K2 Cloud

AI-исполнитель в Yandex Crowd: от микросервиса до LLMOps-пайплайна

Олег Лайок

Яндекс Крауд

Создание ИИ песочницы для нескольких тысяч щепетильных пользователей

Михаил Соколов

ГНИВЦ

Эволюция рефразера промптов в Alice AI ART: от трюка для улучшение качества к несущему адаптеру

Алексей Кириллов

Яндекс

LLM и обработка миллионов событий

Антон Белоусов

Киберразведка

AI ни разу не ошибся. Фичу переделывали четыре раза

Кирилл Фролов

VK Tech

Бутылочное горлышко - это ты

Олег Чирухин

СберТех

Тернистный путь к подсчету стоимости токена в железе

Анжела Шумилова

X5 Tech

Хакеры против вайбкодеров: Атаки на кодовых ассистентов и как их отражать

Данил Капустин

HiveTrace

От документа к действию: создаём инженерный гайдлайн, который понимает AI-агент

Евгений Харченко

Райффайзен Банк

Собираем своего кодинг-агента для анализа данных на Yandex AI Studio

Дмитрий Сошников

МАИ / НИУ ВШЭ / Yandex Cloud / Econdata

Демистификация вайбкодинга для инженеров

Александр Токарев

Яндекс

Разговорные рекомендации в KION с агентным циклом самоулучшения

Бугриенко Данил

MWS

CV + LLM = объяснимый инцидент. Как мы построили систему, которая понимает, когда на событие действительно стоит реагировать

Илья Смирнов

ГК «Юзтех»

Multi-agent ML platform для RecSys: автоматизация гипотез от research до production validation

Лев Рагулин

Аэроклуб

False Positive или RCE? Поговорим о качестве триажа с использованием AI

Князев Максим Андреевич

К2 Кибербезопасность

ИИ-агент за 90 минут: от идеи до продакшена

Евгений Денисов

Ингосстрах

Что нужно агенту, чтобы занять топ-3 на BIRD-SQL?

Радионов Максим Сергеевич

Сбер

Как накормить фундаментальную модель: extraction, filtering и quality gates на масштабе интернета

Максим Кочетков

ПАО Сбербанк

AI не знает, что вы имели в виду: как превратить инженерные практики в рабочий контекст для агентов

Евгений Харченко

Райффайзен Банк

Как подготовить интернет к обучению LLM: архитектура пайплайна на сотнях миллиардов документов

Максим Кочетков

ПАО Сбербанк

Почему spec-driven development плохо работает на микросервисах: где LLM теряет контекст и как это чинить

Станислав Королев

Авито

Самоэволюционирующий LLM-агент: от строительных моделей к любому домену

Артем Просветов

Сбер

False Positive или RCE? Как репозиторий может обмануть LLM-триаж SAST-находок

Князев Максим Андреевич

К2 Кибербезопасность

Фабрика pretrain-данных: как превратить веб, документы, аудио и видео в обучающий корпус

Максим Кочетков

ПАО Сбербанк

LLM в поддержке: как AgentOps повышает автоматизацию Фантеха Яндекса

Иван Насонов

Яндекс

Почему один большой VLM не заменяет OCR pipeline

Николай Ладыкин

Wildberries