Как просто интегрировать ML-решение на базе компьютерного зрения с реальным устройством (кейс ECOBOT)
Доклад отклонён
Целевая аудитория
Тезисы
В своем докладе мы расскажем о том, как подружить ML-решение с реальным устройством, опираясь на кейс ECOBOT.
Задача
Перед нами стояла задача разработать модуль распознавания мусора для прототипа автоматического сортировщика мусора, который состоит из движущегося конвейера с мусором, камеры, делающей снимки мусора на ленте, и роборуки, непосредственно осуществляющей сортировку.
Для этого необходимо было решить сложную задачу: интегрировать несколько компонент в одну работающую систему.
Решение
Чтобы решить задачу, мы выбрали подход, основанный на Robot Operating System, позволивший, во-первых, сделать симуляцию системы, а во-вторых, представить уже реальную систему в виде совокупности взаимодействующих друг с другом нод:
- нода захвата изображений с камеры,
- нода детекции и распознавания мусора (на базе нейронных сетей),
- нода преобразования пиксельных координат в реальные,
- нода взаимодействия с аппаратной частью ECOBOT.
Программный комплекс работает на Jetson Nano.
Оценка
Таким образом, мы расскажем о том, как с помощью ROS добиться:
- разбиения всей систему на модули, а затем объединения их в одно функционирующее целое,
- интеграции программной части, включая нейросетевое решение, с аппаратной частью,
- простой отладки всей системы и возможности следить за тем, что происходит на каждом этапе работы системы в реальном времени.
Занимаюсь проектами в области компьютерного зрения в компании Agima AI в роли ML-Engineer. За время работы успела поработать над проектами в роботехнике, кейсами с распознаванием предметов искусства по фотографии, исследованиями в области распознавания лиц, проектами в табличном ML.
Agima AI
