Как из готовых инструментов сделать систему на петабайт данных

Архитектура

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Архитектурная история, знакомая многим. Есть весьма непростая задача, и даже есть план, что же делать дальше?

Целевая аудитория

Data Scientist, архитекторы и те, кому интересно импортозамещение.

Тезисы

1. Intro. О проекте с большим количеством внешних систем для сбора данных.
2. Решаем, как будем собирать данные и как их обрабатывать.
3. Систематизация и хранение данных: готовые импортозамещенные инструменты.
4. Расскажу и покажу, почему не стоит париться из-за безопасности.
5. Почему бизнесу важно следить за проектом в реальном времени и принимать решения.

Реальный кейс о том, как я собрал такую систему и в итоге все были счастливы — бизнес, разработчики и я =)

Системный архитектор и Deputy CTO в AGIMA.

За 7 лет в IT работал:
* на множестве проектов из разных сфер: наука, геология, трейдинг и т. д.;
* с большими клиентами: от Госуслуг до АльфаСтрахование.

Чем занимается:
* разрабатывает сложные системы на Python, PostgreSQL, Docker, Redis и др.;
* внедряет архитектурные подходы вроде C4-моделей, DDD и Clean Architecture;
* разбирается в сложных задачах и делится опытом: менторит коллег и выступает на конференциях, например, на TechLeadConf, PiterPy и других.

Любит отрасль и старается ее развивать, даже успел получить медаль М. В. Ломоносова за вклад в науку и инновации.

Видео

Другие доклады секции

Архитектура