Разговорные рекомендации в KION с агентным циклом самоулучшения
Программный комитет ещё не принял решения по этому докладу
Целевая аудитория
ML/DL и просто разработчики, которые работают с рекомендациями и большими каталогами айтемов
Тезисы
Расскажу как построить пайплайн разговорных LLM рекомендаций, который будет держать 10+ RPS, а также как задизайнить цикл его самоулучшения через агентские циклы - как бороться с ревардхакингом и какие guardrails стоит сделать, чтобы код не слопизировался, а тесты и голденсеты не подстраивались под модель.
5 лет в рекомендациях, прошел путь от классического ML до DL и агентов. Масштабировал нагрузку и повышал маржу трафика в Яндекс рекламе через ML, теперь улучшаю рекомендации KION и создаю высоконагруженную поверхность-чатбота со всеми сервисами МТС Медиа
Видео
Другие доклады секции
GenAI и большие языковые модели (LLM)
