Как подготовить интернет к обучению LLM: архитектура пайплайна на сотнях миллиардов документов
Подробнее о докладе
Другие доклады
Спикеры
- 5+ лет опыта в ML - Создавал решения от classic ML до мультиагентных harness - Лидировал ML-направление сервиса генерации синтетических данных SyntData (продукта из реестра российского ПО, отмеченного патентами и премией DataAwards 2025) - Создал и внедрил методики оценки качества синтетических данных
Отзыв программного комитета
Спикер расскажет о том, как в Сбере с помощью ИИ строят пайплайны для обработки данных в разных модальностях: текста, видео, звука. Данные затем используются для обучения ИИ-моделей, но перед этим нужно отфильтровать то, что будет полезным, сохранить связи и оптимально загрузить GPU.
Кому полезно
ML, AI Researchers, ML Ops, архитекторы, DevOps
О чём доклад
Как строить pipeline на сотни миллиардов сырых HTML-страниц без бесконечного GPU-кластера. Погрузимся в архитектуру распределённой обработки веба: extraction основного контента, LID, document-level filtering, дедупликацию и каскадную маршрутизацию сложных страниц. Покажем, как сочетать CPU-first алгоритмы, лёгкие классификаторы и GPU-fallback, а также какие инженерные компромиссы возникают между throughput, стоимостью обработки и качеством итоговых данных.