На чем возможно построить мощную ИИ-инфраструктуру: ПАК vs не ПАК (самосбор)
1 декабря, 17:00, «Рио-де-Жанейро»
Высокая сложность
Доклад принят в программу конференции
Отказоустойчивость
Распределенные системы
Обучение, дообучение и выбор LLM/SLM
Инференс и оптимизация GPU-ресурсов
Экономика, зрелость и стратегия AI-продуктов
Отказоустойчивость
Распределенные системы
Обучение, дообучение и выбор LLM/SLM
Инференс и оптимизация GPU-ресурсов
Экономика, зрелость и стратегия AI-продуктов
Целевая аудитория
Инженеры, архитекторы, ML\AI специалисты, которые работают с разветвленными ИИ-инфраструктурами государственных систем и крупного бизнеса.
Тезисы
Выступление относится к формату «Дебаты»
- Почему стандартом единицы, формирующей инфраструктуру, должны становиться апплаенсы или так называемые ПАКи?
- Можно ли построить ПАК на китайских GPU?
- Сопоставимы ли метрики производительности GPU при использовании китайских GPU?
- Можно ли достроить инфраструктуру с помощью китайских GPU, если она ранее была создана на Nvidia?
- Нужно ли централизованное управление GPU, если мы говорим про ПАК?
- Комплектующие ПАК могут быть не в реестре, и это ни на что не повлияет.
- Китайские GPU – хуже, так как приходится иметь дело с непроверенными и ненадежными поставщиками.
- Что экономически более оправдано – ПАК (как отдельный особенный вид on-prem) или облако?
Спикеры
Юдин Антон Владимирович
Группа Rubytech (Скала^р)
Руководитель направления развития технологий ИИ в продуктах Скала^р Группы Rubytech.
Эксперт в области искусственного интеллекта и аппаратного обеспечения. Более 13 лет опыта в разработке и продвижении высокотехнологичных продуктов и инфраструктурных решений.
