Создание ИИ песочницы для нескольких тысяч щепетильных пользователей

GenAI и большие языковые модели (LLM)

Программный комитет ещё не принял решения по этому докладу

Целевая аудитория

DevOps \ MLOps инженеры Архитекторы

Тезисы

Пока не выбрал формат - или доклад или веркшоп - тут нужно еще подумать как будет увлекательнее и реалистично.

Хотелось осветить подходы которые могут быть при создании ИИ платформы на основе open source технологий - Слой инфенеса, и бенчмарки измерения производительности оборудования - выбор моделей LLM и тестирование на когнитивные способности - Варианты Подключения пользователей API и Web и совмещение внутреннего интереса с "внешним" - Открытые китайские модели не совсем отрытые... - Специфика работы с разными типами моделей - текстовые, мультимодальныеб аудио, изображения - Слой обогащения контекстом (RAG) и тестирование его работы - Платформенные сервисы для поддержи работы LLM и наблюдаемость - Агенты и что агентами не является.

Михаил Соколов

ГНИВЦ

Лидер центра компетенции DevOps, трансформатор.

Видео

Другие доклады секции

GenAI и большие языковые модели (LLM)

От vLLM в Docker до промышленного AI API: как модель превращается в сервис

Егор Андреев

Впрод

Демистификация вайбкодинга для инженеров

Александр Токарев

Яндекс

Что нужно агенту, чтобы занять топ-3 на BIRD-SQL?

Радионов Максим Сергеевич

Сбер

Почему spec-driven development плохо работает на микросервисах: где LLM теряет контекст и как это чинить

Станислав Королев

Авито

От документа к действию: создаём инженерный гайдлайн, который понимает AI-агент

Евгений Харченко

Райффайзен Банк

CV + LLM = объяснимый инцидент. Как мы построили систему, которая понимает, когда на событие действительно стоит реагировать

Илья Смирнов

ГК «Юзтех»

Тернистный путь к подсчету стоимости токена в железе

Анжела Шумилова

X5 Tech

Собираем своего кодинг-агента для анализа данных на Yandex AI Studio

Дмитрий Сошников

МАИ / НИУ ВШЭ / Yandex Cloud / Econdata

Кейсы внедрения ИИ в строительной отрасли

Кошман Патрисия

МТС

LLM и обработка миллионов событий

Антон Белоусов

Киберразведка

False Positive или RCE? Как репозиторий может обмануть LLM-триаж SAST-находок

Князев Максим Андреевич

К2 Кибербезопасность

AI ни разу не ошибся. Фичу переделывали четыре раза

Кирилл Фролов

VK Tech

Анатомия надёжности LLM: white-box мониторинг активаций для предотвращения галлюцинаций

Марк Паненко

Ozon Банк

Harness важнее модели: как собрать GraphRAG на одной GPU и, главное, зачем?

Иван Бондаренко

НГУ

Эволюция рефразера промптов в Alice AI ART: от трюка для улучшение качества к несущему адаптеру

Алексей Кириллов

Яндекс

Multi-agent ML platform для RecSys: автоматизация гипотез от research до production validation

Лев Рагулин

Аэроклуб

AI-исполнитель в Yandex Crowd: от микросервиса до LLMOps-пайплайна

Олег Лайок

Яндекс Крауд

Боремся с системными искажениями в федеративном обучении: метрики и динамическая корректировка весов клиентов

Максим Мухамедов

K2 Cloud

AI Agent Observability: как понять, что агент делает не так

Виталий Протасов

Just AI

Хакеры против вайбкодеров: Атаки на кодовых ассистентов и как их отражать

Данил Капустин

HiveTrace

AI не знает, что вы имели в виду: как превратить инженерные практики в рабочий контекст для агентов

Евгений Харченко

Райффайзен Банк

False Positive или RCE? Поговорим о качестве триажа с использованием AI

Князев Максим Андреевич

К2 Кибербезопасность

ИИ-агент за 90 минут: от идеи до продакшена

Евгений Денисов

Ингосстрах

LLM в поддержке: как AgentOps повышает автоматизацию Фантеха Яндекса

Иван Насонов

Яндекс

vLLM под капотом: техники реального ускорения

Кирилл Нетреба

Авито