Создание ИИ-песочницы для нескольких тысяч щепетильных пользователей
1 декабря, 13:30, «Сан-Паулу»
Мнение Программного комитета о докладе
Ищете, как построить свой инференс собственными руками из конструктора? На этом мастер-классе вы вместе с докладчиком сможете изучить, как это сделать, и получить рабочее решение.
Целевая аудитория
DevOps и MLOps-инженеры, архитекторы, технические лиды и руководители небольших команд, которые внедряют ИИ в компании, где данные нельзя отдавать наружу, — и хотят сделать это из open-source без bigtech-бюджета и раздутого штата.
Тезисы
Формат - доклад + демостенд
Компании, которой нельзя отдавать данные наружу, публичные API не помогут — нужен свой ИИ-стек. В ГНИВЦ мы собрали первую версию ИИ-песочницы целиком из open-source: инференс текстовых, мультимодальных и голосовых моделей, веб и API, RAG, наблюдаемость, агенты в контуре. Год назад одна A100, сейчас ~20 GPU, ~1000 пользователей, 60B токенов за 30 дней — подняли всё "двумя" руками. Расскажу, из чего собрать такую платформу и что забрать команде из 1–2 DevOps.
Спикеры
ГНИВЦ
