В проекте Modin (распределенный pandas) мы поддерживаем ряд программных технологий распределения вычислений в бэкэндах. Появилась проблема поддержки фронтенд функциональности сразу на всех бэкэндах и необходимость добавления поддержки MPI технологии.
Мы разработали универсальный python API для работы с фрэймворками Ray, Dask, MPI и стандартным Python multiprocessing, который вылился в отдельный проект Unidist.
В докладе познакомимся с распределенной структурой данных Modin DataFrame и принципах её параллельной обработки. Выясним, как ряд фрэймворков для распараллеливания вычислений унифицирован в библиотеке Unidist. Рассмотрим реализацию task-based подхода на технологии MPI.