ДокладКогда стандартной производительности уже недостаточно

Как подготовить интернет к обучению LLM: архитектура пайплайна на сотнях миллиардов документов

Спикеры

- 5+ лет опыта в ML - Создавал решения от classic ML до мультиагентных harness - Лидировал ML-направление сервиса генерации синтетических данных SyntData (продукта из реестра российского ПО, отмеченного патентами и премией DataAwards 2025) - Создал и внедрил методики оценки качества синтетических данных

Отзыв программного комитета

Спикер расскажет о том, как в Сбере с помощью ИИ строят пайплайны для обработки данных в разных модальностях: текста, видео, звука. Данные затем используются для обучения ИИ-моделей, но перед этим нужно отфильтровать то, что будет полезным, сохранить связи и оптимально загрузить GPU.

Кому полезно

ML, AI Researchers, ML Ops, архитекторы, DevOps

О чём доклад

Как строить pipeline на сотни миллиардов сырых HTML-страниц без бесконечного GPU-кластера. Погрузимся в архитектуру распределённой обработки веба: extraction основного контента, LID, document-level filtering, дедупликацию и каскадную маршрутизацию сложных страниц. Покажем, как сочетать CPU-first алгоритмы, лёгкие классификаторы и GPU-fallback, а также какие инженерные компромиссы возникают между throughput, стоимостью обработки и качеством итоговых данных.