Мультиарендный OpenCode в закрытом контуре: агентная платформа без SaaS на нескольких H200

Агентная платформа

Программный комитет ещё не принял решения по этому докладу

Целевая аудитория

1. Инженеры платформ (Platform Engineers) — ключевая ЦА Кто: Специалисты, строящие внутренние агентные платформы для тысяч инженеров . Их боль: Как построить агентную платформу в закрытом контуре enterprise, где нельзя использовать внешние API (Cursor, Devin, OpenAI). Нужно своё железо, своя модель, своя инфраструктура. Их запрос: Архитектура on-premise инференса на H200, управление очередью задач, изоляция агентов, жизненный цикл процессов. «Готовый чертёж агентной платформы для тех, кому нельзя в облако — с реальными узкими местами и цифрами пропускной способности» . 2. SRE и инженеры по эксплуатации GPU-кластеров Кто: Специалисты, отвечающие за эксплуатацию высоконагруженных вычислительных систем. Их боль: GPU-инференс — новая highload-дисциплина. Падения под нагрузкой, OOM, KV-кэш, мульти-GPU — как это мониторить и поддерживать . Их запрос: Опыт эксплуатации GPU-кластеров для LLM, управление пропускной способностью, приоритезация интерактивных пользователей над батчем агентов. 3. Архитекторы высоконагруженных систем Кто: Технические лидеры, принимающие решения о масштабировании и инфраструктуре. Их боль: Как организовать мультиарендность в закрытом контуре, чтобы разные команды не мешали друг другу. Их запрос: Изоляция агентов, очередь задач, лимиты на арендатора, жизненный цикл процесса-на-задачу . 4. Инженеры по безопасности Кто: Специалисты по защите данных и управлению доступом. Их боль: Как обеспечить безопасность в закрытом контуре, когда агенты имеют доступ к широкому спектру данных. Их запрос: Безопасность агентных систем, контроль действий и прав, границы доверия

Тезисы

• Cursor/Devin/OpenHands завязаны на внешние API — в закрытом контуре enterprise они не живут. Показываю, что живёт: свой инференс на H200 + мультиарендный OpenCode • Шлюз к локальной модели как узкое место: очередь задач, лимиты на арендатора, приоритет интерактивного пользователя над батчем агентов • Процесс-на-задачу: изоляция агентов, жизненный цикл, что делаем при падении посреди многочасовой задачи • SSE-стриминг на Spring WebMVC + Centrifugo: стабильная доставка потока токенов и событий агента до браузера • Локальная модель слабее облачной: что ломается у агентов и как компенсируем (короткие проверяемые задачи, чекпоинты, human-in-the-loop)

Илья Петров

Диасофт

Илья Перов является ключевым экспертом компании «Диасофт» в области практического внедрения искусственного интеллекта в корпоративной среде и возглавляет разработку и вывод на рынок флагманской ИИ-платформы Digital Q.GPT — решения для создания управляемых ИИ-агентов и мультиагентных систем в корпоративной среде.