Evals в production: как измерить пользу LLM-агента в вашей системе

Публичные лидерборды говорят, какая модель "умнее", но не сообщают о главном - будет ли агент полезен именно в вашей системе - с вашим API, компилятором, legacy и ограничениями.

Разрыв между public score и production usefulness - первое, с чем сталкивается команда, внедряющая LLM агентов.

Расскажу, как мы строили собственный evals benchmark для AI агентов, встроенных в игровой движок и его скриптовую экосистему: - почему оценивать важно систему, а не модель, и как спроектировать eval задачи, как изолированные воспроизводимые sandbox среды - как вместо единого score построить карту навыков агента: исправление ошибок, работа с документацией и API, end-to-end сценарии, безопасность - зачем мы отказались от агрегированного score в пользу семи независимых диагностических сигналов

Слушатель уйдет с практическим фреймворком, который можно адаптировать под свой стек.