Что делать со своим первым миллиардом?

Дмитрий Иванов (Postgres Professional - российский вендор PostgreSQL, который осуществляет поддержку полного цикла: IT-аудит, консалтинг, разработка, администрирование, поддержка, обучение.)

Максим Яковлев (Timeweb Cloud — российская облачная инфраструктура c дата-центрами в России, Европе и СНГ. Занимает 6 место в рейтинге крупнейших поставщиков IaaS Enterprise и входит в реестр отечественного ПО.)

На этой конференции вы услышите или уже услышали много рассказов о построении распределенных систем, высоконагруженных систем и, вообще, самых правильных. Узнаете забавные интерпретации библейских истин, например, новое понятие eventual consistency, саги о репликах и другие забавные вещи. Вообще, мы хотели рассказать про 20 с лишним миллиардов — это у нас в продакшене есть кластер с таким количеством записей, но "первый миллиард" звучит красивее. Собственно, мы и расскажем, что на практике можно делать с миллиардами различных объектов.

В докладе 3 части:

• куда деть эти миллиарды записей, как их хранить, как масштабироваться и не задохнуться;
• как устроить свой собственный вычислительный кластер для обработки этого миллиарда, а заодно и для решения других задач — как сделать облачную платформу за своим файерволом ;
• как, вообще, можно обработать миллиарды записей — почему уже неинтересно запускать mapreduce, какие с ним бывают проблемы, как в реалтайме построить целый потоковый процесс с сотней вычислительных приложений, которые будут без проблем переваривать такие объемы.

Мы вам расскажем про много разных баззвордов, про то, как они работают на практике.

Так что будет изрядная доля иронии и немного сарказма :)