Игорь Терехин на Saint HighLoad++ 2025

LLMOps: адаптация классических практик MLOps для разработки и деплоя LLM-решений

BigData и инфраструктура машинного обучения (data engineering)

Google Outlook Apple

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Игорь часто выступает с темами про MLOps и рассказывает о том, как в реальности выглядит работа с ML в компаниях небольшого размера. В этом докладе он сделает основной фокус на практике деплоя и ежедневной работы с большими языковыми моделями: лучшие практики того, что он делает для разных клиентов.

Целевая аудитория

Team Lead ML, Head of ML смогут понять общие блоки для MLOps в LLM, текущие боли и решения и наложить это на свои команды/отделы для организации подобной экосистемы.

Тезисы

В современном мире масштабные языковые модели (LLM) требуют нового подхода к организации процессов разработки, тестирования и деплоя. Доклад посвящен практическому разбору адаптации классического MLOps для LLM-проектов в средних компаниях.

В рамках выступления будут рассмотрены:
* ключевые отличия разработки LLM-решений, включая особенности работы с данными, промптами (тестирование, безопасность, версионирование) и инференс-процессом;
* проблематика мониторинга — от отслеживания биллинга и токенов до сбора комплексных метрик;
* сравнение API-like- и on-premise-подходов, а также инструментарий для дебаггинга и отладки в условиях эксплуатации LLM;
* практический roadmap по созданию LLMOps-инфраструктуры с конкретными метриками для оценки эффективности.

Аудитория получит четкий набор рекомендаций и примеров, позволяющих не только повысить скорость релиза, но и обеспечить безопасность и контроль качества в LLM-проектах.

Игорь Терехин

Napoleon IT

* В настоящее Head of AI в Napoleon IT, ранее Data Engineer в EPAM SYSTEMS.
* 5 лет опыта в AI-коммерческих проектах и продуктах, начиная от Computer Vision-задач, заканчивая NLP-/LLM-проектами.
* Реализована и обеспечена поддержка продукта мониторинга цен, товаров и выкладки для крупных ретейл-сетей (средняя точность распознавания 94%, кол-во обрабатываемых изображений в неделю — 17-20 млн).
* Создание с нуля отдела MLOps, наработки которого смогли оптимизировать ряд показателей (скорость поставки решений с CV в 4 раза, увеличена утилизация серверов на 40%).
* Разработка продукта видеоаналитики для задач СИЗ, АнтиФрод, обеспечивающая 90+% точность распознавания и работу в реальном времени.