Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем

Масштабируемый пайплайн обработки больших данных с помощью Cadence

Golang Conf: Technologies

Go: Technologies

Фреймворки
GO
Обработка данных

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Вы когда-нибудь мечтали, чтобы все рутинные и типичные задачи решали готовые компоненты? Особенно, если компоненты написаны и тюнятся на Go. Александр рассказывает про типичную ETL (extract-transform-load) задачу с жёсткими ограничениями, которую удалось сделать быстрой, надёжной, дешёвой, и на Go.

Целевая аудитория

Разработчики/

Тезисы

Обработка больших файлов обладает рядом требований (из-за возможных сбоев и пиковых нагрузок) к ресурсам и необходимостью эффективного масштабирования. Время и качество обработки регулируются строгими соглашениями с клиентами.

В данном докладе представлен опыт и практические рекомендации, полученные при создании конвейера обработки с использованием Cadence. Обсудим, как Cadence используется в нашей инфраструктуре, его архитектуру, а также альтернативные варианты решения.

Долгое время работал C#-разработчиком, пока не открыл для себя Go.

Weborama

Компания специализируется на создании решений, основанных на работе с аудиторными данными, для их применения в маркетинговых стратегиях рекламодателей.

Видео