Мастер-классAI-агенты: как доверять результату и контролировать действия?

Свой LLM-инференс из конструктора: семь кейсов на одной потребительской карте

Подробнее о докладе

НаправлениеСмоллтех
Дата1 декабря, 14:35
ЗалРио-де-Жанейро
ФорматМастер-класс, 50 минут
Уровень
Средняя сложность

Спикеры

Технический менеджер по внедрению искусственного интеллекта | ex-DevOps | ex-RTE

Отзыв программного комитета

Ищете, как построить свой инференс собственными руками из конструктора? На этом мастер-классе вы вместе с докладчиком сможете изучить, как это сделать, и получить рабочее решение.

Кому полезно

DevOps- и MLOps-инженеры, архитекторы, тимлиды и «человек-оркестр» из смоллтех/мидтех-компаний, которым нужно поднять ИИ внутри периметра своими руками: без бигтех-бюджета, без штата. Enterprise-инженерам тоже полезно — как ответ на вопрос «что мы соберём, если ресурсов мало»

О чём доклад

Мастер-класс: on-prem ИИ-стек из open-source, который можно собрать командой из 1–2 человек.

Демостенд. Четыре мини-ПК, Kubernetes и одна потребительская карта — RTX 5060 Ti, 16 ГБ видеопамяти. Всё, что видно в зале, считает это железо (если иное не часть кейса).

Конструктор из слоёв. Стек собран из open-source блоков: каждый берётся, меняется и выбрасывается отдельно, не утаскивая за собой остальные.

4 крупных блока: инфраструктура и инференс · прикладные сервисы · безопасный выход наружу · агентский режим.

7 практических кейсов на одной карте: 27B со 128K контекста, внешняя модель под DLP и стражем, транскрибация, OCR, RAG, агент в песочнице, генерация изображения. Каждый кейс — про эффективность и про цену одного гигабайта видеопамяти.

Интерактив. Участники заходят на живые адреса стенда со своих ноутбуков по Wi-Fi в зале.