Как робот доставки Яндекса передвигается в реальном городе, избегая пешеходов, машин и неожиданных препятствий?

Доклад раскроет устройство системы восприятия, ключевой технологии робота. Я расскажу какой hardware мы используем для получения данных из окружающего мира и их обработки (сенсоры - парктроники, камеры, лидар; вычислитель). Коснемся ML моделей восприятия, а именно модели 3D-детекции объектов и сегментации лидарного облака, карты заполненности, трекера объектов, модели детекции светофоров, различных вспомогательных моделей.

Конечно будут истории из production - как мы добиваемся realtime скорости обработки данных, как модели справляются со сложными городскими условиями. Посмотрим на способы предотвращения восстания машин через качественную проверку роботов - от оффлайн валидации и симуляций до приемки релизов и уличных испытаний. Это практический кейс для всех, кто строит realtime-системы с машинным обучением для реального мира!

Что вы унесете с собой:
- Детальный обзор архитектуры системы восприятия робота доставки Яндекса;
- Знания о ML-моделях восприятия и их адаптации под жесткие realtime требования;
- Истории и уроки из production-тестирования в реальном мире;
- Советы по оптимизации AI для edge-устройств с фокусом на scalability.