Тысячи асинхронных задач в секунду в облачных s3 на Rust/Axum/Tokio — шлифуем ржавчину до блеска

Platform Engineering

API
Java
PHP
Python
Бэкенд / другое
Облака
Инфраструктура

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Интересное пересечение двух тем — Rust и параллельной работы c разными облачными хранилищами в условиях «догоняющей» консистентности. Узнаем, какие тонкости нас ждут, как можно добиваться значительного рейта команд к S3 максимально дешево и как при этом нарастить экспертизу в инструменте.

Целевая аудитория

* Разработчики и инженеры, работающие с облачными технологиями; * специалисты по облачным технологиям; * администраторы и архитекторы облачных решений; * представители компаний и организаций, использующих или планирующих использовать отечественные облачные сервисы.

Тезисы

Почему и как мы пишем на Rust новые утилиты массовой асинхронно-неблокирующей работы с AWS-совместимыми облаками для Яндекс Облака и VK Cloud. Расскажем, как мы реплицируем события бакета s3 и как мы удалили несколько петабайт и миллиарды файлов на Rust, активно используя асинхронные сокеты и аллокатор jemalloc. Поделимся опытом, как правильно и быстро писать полезные утилиты, работающие с AWS-совместимым API и как быстро прокачать стеку асинхронного Rust разработчиков других стеков: Python, Java, PHP, JavaScript.

Эксперт в области Big Data, разработки программного обеспечения, системного анализа и проектирования. Курирует направление контроля качества интеграции и внедрений. Участвует как архитектор и разработчик в проектах компании, связанных с высокой нагрузкой и отказоустойчивостью.
Постоянный спикер отраслевых конференций и семинаров по интернет-тематике («РИФ+КИБ», RIW, High- Load, РИТ++, CodeFest, FailOver Conference и других).

Видео