Тернистный путь к подсчету стоимости токена в железе
Программный комитет ещё не принял решения по этому докладу
Целевая аудитория
NLP-инженеры, специалисты по инфраструктуре, технические менеджеры, принимающие финансовые решения.
Тезисы
Расскажу о том, почему это нетривиальная задача - ответить на такие вопросы, как: - Сколько видеокарт нужно, чтобы разместить LLM? - Насколько быстро LLM будет отвечать в определенной конфигурации? - Какая конфигурация лучшая?
4 года в IT, прошла путь от валидации качества разметок для YandexGPT до развития инфраструктуры для LLM в X5 Tech. Продолжаю увлекаться тестированием качества, безопасности и производительности LLM и агентов. В свободное время занимаюсь спортивной гимнастикой, читаю много художественной и научпоп литературы.
Видео
Другие доклады секции
GenAI и большие языковые модели (LLM)
