Что делать со своим первым миллиардом?
Доклад принят в Программу конференции
Виталий Семененко (Changellenge >> - это агентство по развитию бренда работодателя. Мы помогаем компаниям стать привлекательным работодателем и нанимать самых талантливых молодых специалистов с помощью таких активностей как организация стажировок, кейс-чемпионатов, дней карьеры, вебинаров и многих других.)
Софья Волынская (Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.)
На этой конференции вы услышите или уже услышали много рассказов о построении распределенных систем, высоконагруженных систем и, вообще, самых правильных. Узнаете забавные интерпретации библейских истин, например, новое понятие eventual consistency, саги о репликах и другие забавные вещи. Вообще, мы хотели рассказать про 20 с лишним миллиардов — это у нас в продакшене есть кластер с таким количеством записей, но "первый миллиард" звучит красивее. Собственно, мы и расскажем, что на практике можно делать с миллиардами различных объектов.
В докладе 3 части:
- куда деть эти миллиарды записей, как их хранить, как масштабироваться и не задохнуться;
- как устроить свой собственный вычислительный кластер для обработки этого миллиарда, а заодно и для решения других задач — как сделать облачную платформу за своим файерволом ;
- как, вообще, можно обработать миллиарды записей — почему уже неинтересно запускать mapreduce, какие с ним бывают проблемы, как в реалтайме построить целый потоковый процесс с сотней вычислительных приложений, которые будут без проблем переваривать такие объемы.
Мы вам расскажем про много разных баззвордов, про то, как они работают на практике.
Так что будет изрядная доля иронии и немного сарказма :)