В современном мире генерацией любого текстового контента на LLM уже никого не удивишь. Однако в практическом применении больших языковых моделей (LLM) все еще возникают значительные сложности, такие как галлюцинации, проблемы производительности, высокая стоимость обработки, а также проблемы интеграции с реальными системами.
В своем докладе я поделюсь двумя практическими кейсами, как мы решали реальные задачи с использованием LLM.
Первая задача связана с парсингом информации из открытых источников и ее оценкой с помощью LLM. В этом кейсе мы рассмотрим, как экономично извлекать тональность отзывов на веб-сайтах, обрабатывать различные типы страниц и обеспечивать высокое качество анализа.
Вторая задача касается разработки бота для онлайн-библиотеки, который должен одновременно быть креативным и иметь фантазию, но при этом рекомендовать только имеющиеся в наличии книги. Мы обсудим, как интегрировать знания LLM о литературе с конкретным ассортиментом онлайн-библиотеки и как решать проблемы интеграции бота с поисковым API.