Edge ML на промышленных устройствах : как ограничения памяти, CPU и энергопотребления меняют архитектуру production inference
Программный комитет ещё не принял решения по этому докладу
Целевая аудитория
Тезисы
Мы строили embedded ML-систему для распознавания рабочей активности сотрудников по данным с промышленных часов. На практике система была нужна для автоматического анализа загрузки и активности персонала на крупных производственных объектах — чтобы получать объективную картину происходящего без ручного контроля и дополнительной инфраструктуры вроде камер. Модель должна была в реальном времени определять, работает ли сотрудник, перемещается или находится в состоянии простоя, полностью автономно работая на embedded-устройстве.
На этапе разработки казалось, что после сбора данных останется лишь обучить модель и перенести ее на устройство. Однако именно запуск production inference на носимых часах оказался самой сложной частью проекта. Ограниченный объем памяти, вычислительные ресурсы, энергопотребление и нестабильная связь полностью изменили привычную архитектуру ML-системы и заставили отказаться от нескольких, на первый взгляд, очевидных решений.
В докладе будет показано, как эти ограничения повлияли на архитектуру всей системы. Мы разберем несколько вариантов организации inference — обработку на сервере, запуск модели непосредственно на устройстве и использование компактного представления данных — а также обсудим, какие инженерные компромиссы пришлось принимать на каждом этапе. В результате удалось построить архитектуру, которая сочетает автономную работу устройства, минимальный объем передаваемых данных и возможность последующей обработки на сервере.
Более 6 лет опыта разработки и внедрения production ML-систем. Специализируется на анализе временных рядов, компьютерном зрении и проектировании ML-решений для реальных производственных задач.
В профессиональной деятельности занималась разработкой систем анализа данных с промышленных сенсоров и носимых устройств, а также созданием ML-решений полного цикла — от сбора и подготовки данных до внедрения и сопровождения моделей в production.
Магистр по направлению «Программная инженерия», Южно-Уральский государственный университет (ЮУрГУ).
Руководитель департамента разработки программного обеспечения
Более 15 лет опыта разработки программно-аппаратных комплексов. Под руководством создано и внедрено пять крупных распределенных систем, разработаны и внедрены программные продукты по сбору и обработке нейрофизиологических данных.
Специализируется в области разработки и проектирования высоконагруженных систем, их внедрением, развитием и сопровождением. Автор 3 патентов в области AI \ ML.
Высшее математическое образование (МИРЭА)
Диплом MBA («Информационный менеджмент»)
Видео
Другие доклады секции
Edge Computing и распределенные вычисления
