Приложения, использующие большие языковые модели (LLM), становятся все более популярными в различных отраслях. Однако, тестирование таких приложений представляет собой сложную задачу.

LLM-приложения имеют свои особенности, которые необходимо учитывать при тестировании.

В докладе представлены современные методики и стратегии, которые были разработаны на основе последних достижений в данной области и личного опыта.

Тестирование функциональности и соответствия спецификациям.
Тестирование производительности и масштабируемости (время отклика, обработка запросов, использование ресурсов).
Тестирование безопасности и сохранения приватности данных.
Тестирование устойчивости модели к ошибкам ввода и непредвиденным условиям.
Определение и применение метрик качества для LLM-приложений