Отзыв программного комитета
Ищете, как построить свой инференс собственным руками из конструктора? На этом мастер-классе вы вместе с докладчиком сможете изучить, как это сделать и получить рабочее решение.
Создание ИИ песочницы для нескольких тысяч щепетильных пользователей
Спикеры
Михаил Соколов
ГНИВЦ
Технический менеджер по внедрению искусственного интеллекта | ex-DevOps | ex-RTE
Кому полезно
DevOps и MLOps-инженеры, архитекторы, технические лиды и руководители небольших команд, которые внедряют ИИ в компании, где данные нельзя отдавать наружу, — и хотят сделать это из open-source без bigtech-бюджета и раздутого штата.
О чём доклад
Формат - доклад + демо стенд
Компании, которой нельзя отдавать данные наружу, публичные API не помогут — нужен свой ИИ-стек. В ГНИВЦ мы собрали первую версию ИИ-песочницы целиком из open-source: инференс текстовых, мультимодальных и голосовых моделей, веб и API, RAG, наблюдаемость, агенты в контуре. Год назад одна A100, сейчас ~20 GPU, ~1000 пользователей, 60B токенов за 30 дней — подняли всё "двумя" руками. Расскажу, из чего собрать такую платформу и что забрать команде из 1–2 DevOps.
