В современном мире генерацией любого текстового контента на LLM уже никого не удивишь. Однако, в практическом применении больших языковых моделей(LLM) все еще возникают значительные сложности, такие как галлюцинации, проблемы производительности , высокая стоимость обработки, а также проблемы интеграции с реальными системами.

В своем докладе я поделюсь двумя практическими кейсами, как мы решали реальные задачи с использованием LLM.

Первая задача связана с парсингом информации из открытых источников и ее оценкой с помощью LLM. В этом кейсе мы рассмотрим, как экономично извлекать тональность отзывов на веб-сайтах, обрабатывать различные типы страниц и обеспечивать высокое качество анализа.

Вторая задача касается разработки бота для онлайн-библиотеки, который должен одновременно быть креативным и иметь фантазию, но при этом рекомендовать только имеющиеся в наличии книги. Мы обсудим, как интегрировать знания LLM о литературе с конкретным ассортиментом онлайн-библиотеки и как решать проблемы интеграции бота с поисковым API.