До 2022 года, в Ozon была практика переезда из одного кластера Hadoop в другой при смене датацентра примерно раз в год/два.
А это значит заново создать всю инфраструктуру, переносить данные и клиентов, их код и согласовать это с тысячами интеграций завязанных на прошлый кластер. Это было очень дорого и долго.
Долго, потому что в Ozon около 25 команд разработки использующих Hadoop.
И поэтому дорого. В основном это data-science ребята, которые месяц занимались операционкой переезда.

Мы решили больше не проводить своих DE, DS и аналитиков через эти трудности, и решили попробовать то, что все гайды по Hadoop категорически не рекомендуют. А именно, растянуть Hadoop на 3 DC.

В докладе расскажу:
Зачем нам вообще hadoop.
Почему не 3 hadoop-кластера, а один растянутый. PnL.
Какие у нас были вводные по железу, по данным и клиентам
Как распределить данные. Репликация и шардирование
Как раскидать потребителей YARN.
Какие результаты мы получили
Планы. Своя BlockPlacementPolicy. 3+ DC.