Доклады

Архитектуры и масштабируемость (2)

Heavy load: большие blob’ы в ваших сетях

Андрей Рикунов

Яндекс.Медиалаб

Онлайн-кинотеатры работают с большими каталогами фильмов, непрерывно обновляя и перерабатывая каталог. Фильмы — это большие и сложно структурированные данные. Размер одного фильма может составлять несколько терабайт, весь каталог исчисляется петабайтами. Подготовка фильма для последующей доставки — это длительная и ресурсоемкая операция. Расскажу о том, сколько нужно ресурсов и какие использовать технологии, чтобы такие большие blob'ы не раздавили вас.

Доклад принят в программу конференции

Как вырастить поисковый индекс в 3 раза, трафик в 2 раза и сэкономить 30% CPU

Алексей Салмин

Яндекс Поиск

В этом докладе я расскажу краткую историю развития ядра веб-поиска Яндекса за последние несколько лет. Основной задачей команды, которая разрабатывает наш движок, можно назвать экономию ресурсов. Экономия не является самостоятельной целью, но при этом имеет огромное значение: она позволяет на том же железе наращивать поисковую базу, внедрять новые фичи и модели в ранжирование, принимать растущий пользовательский трафик. С конца 2017 года мы прошли интересный путь: входящий трафик и поисковая база выросли в несколько раз, и при этом мы не только не нарастили потребление CPU и RAM, но и смогли передать десятки процентов мощностей на другие проекты поиска. Конечно, это сравнение неполное, т.к. за это время мы проапгрейдили сеть и диски, но интегральное потребление именно по CPU и RAM у нас не растет.

Вы узнаете, как снизить потребление CPU с помощью:
* сжатия (sic!);
* микросервисов (sic!);
* асинхронного IO (???);
* заменой горизонтального шардирования на вертикальное и наоборот.
И другие интересные технологические решения: erasure-recovery в реальном времени, key-value storage на десятки миллионов RPS, e2e-сжатие со словарем, батчевание применения нейросетей и деревьев.

Доклад строится вокруг практического опыта, в нем мало теории. С другой стороны, многие из описанных приемов принесут пользу только в больших рантаймах (грубо говоря, от 10к ядер CPU), и не у всех слушателей будет возможность сразу применить эти идеи на практике. Но в любом случае будет интересно.

Доклад принят в программу конференции

Базы данных и системы хранения (1)

Архитектура облачного кластера PostgreSQL в Yandex Cloud

В типичном кластере, который мы предоставляем разработчикам сервисов Яндекса есть много спорных моментов. Какой должна быть топология кластера? Как разделить ресурсы кластера? Какой режим пулинга использовать? Какие транзакции - долгие?
В этом докладе я собираюсь пойти от требований предъявляемых СУБД к особенностям, которые приносят много вопросов.

Доклад принят в программу конференции

DevOps и эксплуатация (1)

Решение проблемы ресурсов у команд участников цикла разработки

Александр Крылов

Росгосстрах

Представим, что команда DevOps делает не только всё, что связанно с CI/CD, но и сильно выходит за эти рамки.

Представим, что коллеги из тестирования и разработки имеют ограниченные права везде и по любому чиху дёргают инженеров. А как быть с фокусом на развитие и внедрение новых технологий и систем, при этом успевая всё?

Сказ пойдёт о том, как решить проблему перераспределения ресурсов в командах участников цикла разработки. Казалось бы, зачем это делать? Для того чтобы высвободить ресурсы одних команд, повысить компетенции других команд со сменой фокуса на целевые активности.

Доклад принят в программу конференции

BigData и машинное обучение (1)

Разработка универсального API для работы с технологиями распределенных вычислений

В проекте Modin (распределенный pandas) мы поддерживаем ряд программных технологий распределения вычислений в бэкэндах. Появилась проблема поддержки фронтенд функциональности сразу на всех бэкэндах и необходимость добавления поддержки MPI технологии.
Мы разработали универсальный python API для работы с фрэймворками Ray, Dask, MPI и стандартным Python multiprocessing, который вылился в отдельный проект Unidist.
В докладе познакомимся с распределенной структурой данных Modin DataFrame и принципах её параллельной обработки. Выясним, как ряд фрэймворков для распараллеливания вычислений унифицирован в библиотеке Unidist. Рассмотрим реализацию task-based подхода на технологии MPI.

Доклад принят в программу конференции

Цифровая культура / CTO-трек (1)

Демократизируй это. Как управлять тех. стеком в группе компаний.

Леруа Мерлен - международная компания, с офисами по всему миру: Франции, Италии, Бразилии, но это не значит, что мы пользуемся только теми технологиями, которые спускаются нам из других стран.
Наоборот, я своем докладе я расскажу:
Как разработчик из Москвы/Перми/Санкт-Петербурга может повлиять на тех стек, которым пользуются коллеги из Рио-де-Жанейро или Мадрида.
Как мы демократизировали обращение с технологиями не только на уровне российского бизнес юнита, но и на глобальном уровне.
Какие у этого есть плюсы и какие подводные камни.

Доклад принят в программу конференции