Создание ИИ песочницы для нескольких тысяч щепетильных пользователей
Доклад принят в программу конференции
Целевая аудитория
DevOps и MLOps-инженеры, архитекторы, технические лиды и руководители небольших команд, которые внедряют ИИ в компании, где данные нельзя отдавать наружу, — и хотят сделать это из open-source без bigtech-бюджета и раздутого штата.
Тезисы
Формат - доклад + демо стенд
Компании, которой нельзя отдавать данные наружу, публичные API не помогут — нужен свой ИИ-стек. В ГНИВЦ мы собрали первую версию ИИ-песочницы целиком из open-source: инференс текстовых, мультимодальных и голосовых моделей, веб и API, RAG, наблюдаемость, агенты в контуре. Год назад одна A100, сейчас ~20 GPU, ~1000 пользователей, 60B токенов за 30 дней — подняли всё "двумя" руками. Расскажу, из чего собрать такую платформу и что забрать команде из 1–2 DevOps.
Технический менеджер по внедрению искусственного интеллекта | ex-DevOps | ex-RTE
Видео
Другие доклады секции
Platform Engineering
