Как проезжать миллион километров в YTsaurus

Архитектура

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Рассказ о многопоточной симуляции для обучения ML на основе акторов, которая хорошо утилизирует железо и GPU. В задаче есть множество подводных камней от детерминированности до кэширования, и спикер покажет, как YTsaurus можно использовать в качестве надежного фундамента для работы с данными.

Целевая аудитория

Интересующиеся обработкой больших данных, YTsaurus или разработкой автономного транспорта.

Тезисы

Расскажу, что такое YTsaurus и как он работает на примере задачи симуляции езды автономного транспорта:
* как устроена map-reduce-операция в YTsaurus;
* какие есть подводные камни, влияющие на скорость симуляции;
* как быстрее читать входные данные;
* как оптимальнее доставлять код приложения.

А также покажу, какие еще есть способы уменьшить общее время симуляции.

Владислав Долбилов

Яндекс Автономный транспорт

Разрабатывает нагруженные сервисы, интересуется инструментами и скоростью разработки.

Яндекс Автономный транспорт

Яндекс – один из мировых лидеров в разработке автономного транспорта от софта до железа. Разрабатывают собственное программное обеспечение, автономные модули для автомобилей и роботов, включая лидары и бортовые компьютеры, создают HD-карты, развивают систему управления автономным транспортом. Также занимаются новыми исследованиями и разработками, которые позволяют непрерывно совершенствовать продукты. Их роботы-доставщики каждый день не только доставляют заказы, но и приносят радость тысячам людей, а беспилотные автомобили делают перевозку пассажиров и транспортировку грузов безопаснее.

Видео

Другие доклады секции

Архитектура