Стена памяти и цена токена: аналитическая оценка LLM-инференса
Другие доклады
Спикеры
4 года в IT, прошла путь от валидации качества разметок для YandexGPT до развития инфраструктуры для LLM в X5 Tech. Продолжаю увлекаться тестированием качества, безопасности и производительности LLM и агентов.
Отзыв программного комитета
Объект изучения этого доклада - это не токен и не ресурсы, а формула, методика. Предлагаем вместе с докладчиком изучить от самых начал и до продвинутых сценариев, как считать ресурсы для инференса.
Кому полезно
NLP-инженеры, специалисты по инфраструктуре, технические менеджеры, принимающие финансовые решения.
О чём доклад
Оценка ресурсов для инференса LLM обычно начинается с готовых рецептов и заканчивается профилированием, но между этими этапами остаётся вопрос, который редко разбирают явно: из чего на самом деле складываются количество требуемых GPU и стоимость токена. В докладе мы построим аналитическую оценку, которая опирается на характеристики ускорителя и архитектуру модели и позволяет получить обоснованный бейзлайн ещё до первых замеров. На практическом примере покажем, насколько такая оценка может расходиться с опубликованными рекомендациями и чем объясняется эта разница. Отдельно обсудим, какие свойства современных фреймворков и сценариев использования делают итоговый результат менее предсказуемым. Доклад будет полезен инженерам и техническим руководителям, которые планируют закупку или аренду GPU под собственные LLM-сервисы.