Тернистный путь к подсчету стоимости токена в железе
Спикеры
Анжела Шумилова
X5 Tech
4 года в IT, прошла путь от валидации качества разметок для YandexGPT до развития инфраструктуры для LLM в X5 Tech. Продолжаю увлекаться тестированием качества, безопасности и производительности LLM и агентов. В свободное время занимаюсь спортивной гимнастикой, читаю много художественной и научпоп литературы.
Кому полезно
NLP-инженеры, специалисты по инфраструктуре, технические менеджеры, принимающие финансовые решения.
О чём доклад
Расскажу о том, почему это нетривиальная задача - ответить на такие вопросы, как: - Сколько видеокарт нужно, чтобы разместить LLM? - Насколько быстро LLM будет отвечать в определенной конфигурации? - Какая конфигурация лучшая?
