Практический подход к использованию LLM: особенности и сложности

BigData и инфраструктура машинного обучения (data engineering)

Поисковые системы
Критерии выбора технологий для проекта
Автоматизация тестирования
Рекомендации / ML

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Доклад посвящен практическим аспектам применения LLM в реальных бизнес-кейсах. Автор расскажет о полном цикле разработки от создания и проектирования системы на базе LLM до финального продукта в реальной жизни!

Целевая аудитория

Инженеры, заинтересованные в использовании LLM для решения прикладных задач (data mining, подбор товаров, умный поиск и др.).

Тезисы

В современном мире генерацией любого текстового контента на LLM уже никого не удивишь. Однако в практическом применении больших языковых моделей (LLM) все еще возникают значительные сложности, такие как галлюцинации, проблемы производительности, высокая стоимость обработки, а также проблемы интеграции с реальными системами.

В своем докладе я поделюсь двумя практическими кейсами, как мы решали реальные задачи с использованием LLM.

Первая задача связана с парсингом информации из открытых источников и ее оценкой с помощью LLM. В этом кейсе мы рассмотрим, как экономично извлекать тональность отзывов на веб-сайтах, обрабатывать различные типы страниц и обеспечивать высокое качество анализа.

Вторая задача касается разработки бота для онлайн-библиотеки, который должен одновременно быть креативным и иметь фантазию, но при этом рекомендовать только имеющиеся в наличии книги. Мы обсудим, как интегрировать знания LLM о литературе с конкретным ассортиментом онлайн-библиотеки и как решать проблемы интеграции бота с поисковым API.

Сооснователь и CTO нескольких B2B SaaS в AdTech- (k50.ru) и CommerceTech- (searchbooster.io) областях.
Последние 2 года интересуется практической стороной применения больших языковых моделей в проекте wikilect.com.

searchbooster.io

В Wikilect.com используют AI для решения задач среднего и крупного бизнеса.

Видео

Другие доклады секции

BigData и инфраструктура машинного обучения (data engineering)