ML в физическом мире: как мы построили устойчивый пайплайн распознавания товаров в ритейле

Data Engineering

Программный комитет ещё не принял решения по этому докладу

Целевая аудитория

ML Engineers, Data Engineers и Tech Leads, которые строят и эксплуатируют production-ML-системы под реальными нагрузками.

Тезисы

В докладе разберём, как мы построили и довели до продакшена устойчивый ML-пайплайн распознавания товаров в ритейле, работающий на сотнях камер в физическом мире. Камеры разряжаются и сдвигаются, полки перекрывают тележками и людьми, освещение меняется в течение дня, а разметка стоит дорого. В таких условиях наивный подход "обрабатывать всё подряд" быстро приводит к перегрузке инфраструктуры, росту стоимости и деградации качества.

Мы покажем, как выстроили многоуровневую систему оптимизации: контроль качества изображений, детекцию сдвигов камер и препятствий, фильтрацию мусорных кадров, детекцию изменений на полке, инкрементальную обработку и трекинг между кадрами. Отдельно расскажем, как оптимизировали контур разметки с помощью cold/hot-разметки и активного обучения, чтобы не тратить человеческое время на тривиальные кейсы.

Доклад – про то, как проектировать ML-пайплайны под реальные нагрузки и физический мир: где экономить вычисления, как строить устойчивость к сбоям, и почему в таких системах инженерия данных и инфраструктуры важнее, чем выбор архитектуры нейросети.

Артём Сметанин – исследователь и инженер в области компьютерного зрения и машинного обучения.

Работает на стыке науки и промышленной разработки: занимается созданием систем, которые автоматизируют инженерные решения в Data Science – от выбора архитектур до сборки production-пайплайнов под реальные бизнес-задачи.

Руководитель и участник НИОКР-проектов в области интеллектуального управления ML-экспериментами, фреймворков для CV-задач, автоматизации выбора и комбинирования моделей.

Автор и соавтор научных публикаций в журналах и конференциях (Engineering Applications of Artificial Intelligence, Computer Optics, AIP Conference Proceedings и др.).

Соавтор патентов и программных продуктов в области AutoML и систем поддержки принятия решений для Data Science.

Регулярный участник международных и всероссийских конференций, включая RusAutoCon, Mathematical Modeling and Computational Physics, Конгресс молодых ученых ИТМО.

Видео