Конференция завершена. Ждем вас на HighLoad++ в следующий раз!

Обзор архитектуры быстрого сборщика логов на Go

Бэкенд, теория программирования

Логи

Доклад принят в программу конференции

Целевая аудитория

Системные программисты, web highload.

Тезисы

Поговорим о лучших практиках, на которых основан очень быстрый сборщик логов, используемый в Ozon.

Расскажем, как c помощью этого инструмента мы сократили издержки на сбор логов в 10 раз по CPU и добились 100% доставляемости логов.

Вы узнаете:
* как организована общая архитектура сборщика логов;
* как написать быстрый плагин для чтения логов из файлов;
* как оптимизировать внутреннюю обработку потока логов;
* как правильно распараллелить обработку;
* как гарантировать доставку.

Руководитель направления разработки Observability-платформы в Ozon.
Работал тимлидом в Lingualeo и Miro.
Диплом первой степени на всероссийской ACM-олимпиаде по программированию.
Третье место на олимпиаде по специальности "Электронно-вычислительные системы, комплексы и сети".

Ozon

Ozon Tech — это команда разработки лидирующего e-com в России. В команде более 3000 человек — и мы продолжаем расти. Десятки миллионов людей пользуются нашими сервисами, наша IT-инфраструктура управляет миллионами процессов каждый час. У нас микросервисы на Go и C#, в стеке технологий есть Vue.js, Swift и Kotlin, Kubernetes, Kafka, Hadoop и другое

Видео