Как устроена система восприятния робота доставки Яндекса

Технологии будущего и специализированные темы

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Как робот Яндекса 'видит' город и избегает препятствий? Доклад раскроет систему восприятия: от hardware (лидар, камеры, парктроники) и подсистем (локализация, планировщик) до ML-моделей (3D-детекция, трекинг, светофоры). Узнайте production-истории, оптимизацией latency и тестированием релизов.

Целевая аудитория

Все кто интересуется роботами, автономным транспортом и компьютерным зрением.

Тезисы

Как робот доставки Яндекса передвигается в реальном городе, избегая пешеходов, машин и неожиданных препятствий?

Доклад раскроет устройство системы восприятия, ключевой технологии робота. Я расскажу какой hardware мы используем для получения данных из окружающего мира и их обработки (сенсоры - парктроники, камеры, лидар; вычислитель). Коснемся ML моделей восприятия, а именно модели 3D-детекции объектов и сегментации лидарного облака, карты заполненности, трекера объектов, модели детекции светофоров, различных вспомогательных моделей.

Конечно будут истории из production - как мы добиваемся realtime скорости обработки данных, как модели справляются со сложными городскими условиями. Посмотрим на способы предотвращения восстания машин через качественную проверку роботов - от оффлайн валидации и симуляций до приемки релизов и уличных испытаний. Это практический кейс для всех, кто строит realtime-системы с машинным обучением для реального мира!

Что вы унесете с собой:
- Детальный обзор архитектуры системы восприятия робота доставки Яндекса;
- Знания о ML-моделях восприятия и их адаптации под жесткие realtime требования;
- Истории и уроки из production-тестирования в реальном мире;
- Советы по оптимизации AI для edge-устройств с фокусом на scalability.

Сергей Голованов

Яндекс

Занимается машинным обучением с 2017 года. Имеет экспертизу в таких областях, как Natural Language Processing, Computer Vision, Reinforcement Learning. Он занимался R&D проектами в Neuromation, работал над DL моделями для гуманоидных роботов в Giant.AI и Сбере, разрабатывал AI тренера в Altis. Сейчас работает в команде восприятия робота доставки в Яндексе. Любит Deep Learning, читать научную фантастику и кататься на велосипеде.