Больше не значит медленнее: Практики инференса больших LLM

GenAI и большие языковые модели (LLM)

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Забудьте о FLOPS: новая битва за производительность AI разворачивается на уровне межсерверных interconnect и архитектуры памяти. На живом примере спикер докажет, что правильно спроектированная сеть в кластере для MoE важнее, чем простое наращивание вычислительных мощностей.

Целевая аудитория

Senior MLOps, Inference иженеры. Те, кто делают инференс ллмок.

Тезисы

Мы расскажем о том, как делать инференс гигантских Mixture-of-Experts моделей. Разберем на практике, как построить и масштабировать гетерогенный кластер, в котором правильная архитектура сети и памяти становится важнее "голых" петафлопс.

Антон Чигин

Сбер

14 лет в IT. Успел поработать над проектами в Intel, Яндекс и Сбер.

Видео

Другие доклады секции

GenAI и большие языковые модели (LLM)

Как RAG ускоряет поддержку RUTUBE: от гибридного поиска до мониторинга галлюцинаций

Виктор Леньшин

RUTUBE

Переход от LLM-моделей GigaChat до технологической платформы GigaPlatform

Федор Минькин

Сбер

Как устроены данные GigaChat: петабайты текстов и триллионы токенов.

Валерий Березовский

Сбер

Строительные блоки LLM‑агентов: планировщик, память, RAG и рабочие цепочки

Алексей Барган

Компания «Тантор Лабс»

Как перевести разметку на генеративные модели, не уронив качество и стабильность

Дарья Шатько

Яндекс Крауд

AI-ответы в Яндекс Поиске: как увеличить счастье пользователей и сэкономить GPU

Алексей Яндутов

Яндекс

Разработка AI-агентов: с нуля до мультиагентной системы антифрода

Дмитрий Антипов

Сбер / АБТ

Как LLM-мультиагенты меняют науку (и не только)

Николай Никитин

ИТМО

Воркшоп: «Разработка ИИ-агентов с использованием MCP-серверов»

Антон Морев

Wormsoft

AI-агенты для рынка недвижимости: от чатбота до мультиагентной системы

Алина Баймашева

Домклик

Заселение без фронт-деска или как построить бесконтактный сервис в сети отелей на основе RAG.

Кирилл Кухарев

Raft

Создание ML планировщика движения для робота доставщика

Быков Дмитрий

"Автономный транспорт"

Тёмная сторона открытых нейросетей

Кирилл Одиноков

СберТех

vLLM, LoRA и GPU-кластеры: техническая анатомия обогащения поисковой выдачи Авито мультимодальными моделями

Кирилл Нетреба

Авито

Агентный подход к матчингу товаров с помощью LLM

Виталий Кулиев

Wildberries & Russ

Безопасное взаимодействие с GenAI. Проблемы и кейсы с применением шлюза безопасности AI Platform V SOWA

Всеслав Соленик

СберТех

Как сохранить высокую надежность при GenAI-трансформации

Вячеслав Кудряшов

Сбер