Стена памяти и цена токена: аналитическая оценка LLM-инференса

Оценка ресурсов для инференса LLM обычно начинается с готовых рецептов и заканчивается профилированием, но между этими этапами остаётся вопрос, который редко разбирают явно: из чего на самом деле складываются количество требуемых GPU и стоимость токена. В докладе мы построим аналитическую оценку, которая опирается на характеристики ускорителя и архитектуру модели и позволяет получить обоснованный бейзлайн ещё до первых замеров. На практическом примере покажем, насколько такая оценка может расходиться с опубликованными рекомендациями и чем объясняется эта разница. Отдельно обсудим, какие свойства современных фреймворков и сценариев использования делают итоговый результат менее предсказуемым. Доклад будет полезен инженерам и техническим руководителям, которые планируют закупку или аренду GPU под собственные LLM-сервисы.