Как устроена система восприятия робота-доставщика Яндекса

Как робот-доставщик Яндекса передвигается в реальном городе, избегая пешеходов, машин и неожиданных препятствий?

Доклад раскроет устройство системы восприятия, ключевой технологии робота. Я расскажу, какой hardware мы используем для получения данных из окружающего мира и их обработки (сенсоры: парктроники, камеры, лидар; вычислитель). Коснемся ML-моделей восприятия, а именно модели 3D-детекции объектов и сегментации лидарного облака, карты заполненности, трекера объектов, модели детекции светофоров, различных вспомогательных моделей.

Конечно, будут истории из production — как мы добиваемся realtime-скорости обработки данных, как модели справляются со сложными городскими условиями. Посмотрим на способы предотвращения восстания машин через качественную проверку роботов — от офлайн-валидации и симуляций до приемки релизов и уличных испытаний. Это практический кейс для всех, кто строит realtime-системы с машинным обучением для реального мира!

Что вы унесете с собой:
* Детальный обзор архитектуры системы восприятия робота-доставщика Яндекса.
* Знания о ML-моделях восприятия и их адаптации под жесткие realtime-требования.
* Истории и уроки из production-тестирования в реальном мире.
* Советы по оптимизации AI для Edge-устройств с фокусом на scalability.