Как просто интегрировать ML-решение на базе компьютерного зрения с реальным устройством (кейс ECOBOT)

Нейронные сети, искусственный интеллект

Доклад отклонён

Тезисы

В своем докладе мы расскажем о том, как подружить ML-решение с реальным устройством, опираясь на кейс ECOBOT.

Задача

Перед нами стояла задача разработать модуль распознавания мусора для прототипа автоматического сортировщика мусора, который состоит из движущегося конвейера с мусором, камеры, делающей снимки мусора на ленте, и роборуки, непосредственно осуществляющей сортировку.
Для этого необходимо было решить сложную задачу: интегрировать несколько компонент в одну работающую систему.

Решение

Чтобы решить задачу, мы выбрали подход, основанный на Robot Operating System, позволивший, во-первых, сделать симуляцию системы, а во-вторых, представить уже реальную систему в виде совокупности взаимодействующих друг с другом нод:
- нода захвата изображений с камеры,
- нода детекции и распознавания мусора (на базе нейронных сетей),
- нода преобразования пиксельных координат в реальные,
- нода взаимодействия с аппаратной частью ECOBOT.
Программный комплекс работает на Jetson Nano.

Оценка

Таким образом, мы расскажем о том, как с помощью ROS добиться:
- разбиения всей систему на модули, а затем объединения их в одно функционирующее целое,
- интеграции программной части, включая нейросетевое решение, с аппаратной частью,
- простой отладки всей системы и возможности следить за тем, что происходит на каждом этапе работы системы в реальном времени.

Занимаюсь проектами в области компьютерного зрения в компании Agima AI в роли ML-Engineer. За время работы успела поработать над проектами в роботехнике, кейсами с распознаванием предметов искусства по фотографии, исследованиями в области распознавания лиц, проектами в табличном ML.

Agima AI

Agima AI - компания, которая занимается машинным зрением, разработкой чат-ботов, рекомендательными системами и бизнес-аналитикой. Кейсы компании можно посмотреть на сайте https://agima.ai.

Видео