Мнение Программного комитета о докладе
Хайлоад в offline-ритейле. Сбор детальных логов с маломощных "IoT" устройств (касс) потребовал нестандартных решений как клиенте так и на сервере. Архитектура еще одного "велосипеда" вокруг ClickHouse.
«Веслосипед» для сбора логов
Доклад отозван
Целевая аудитория
Разработчики, лиды и ит-архитекторы . Команды, которые эксплуатируют или находятся на этапе выбора и внедрения высоконагруженных систем доставки и обработки дынных
Тезисы
В докладе хотим рассказать о том, как с нуля создали собственный инструмент для сбора логов в режиме реального времени, который в дальнейшем стал ключевым для нашей системы сбора и обработки данных, позволяющей обрабатывать до 5 млн уникальных сообщений в секунду и до 120 млрд в день.
Наша система построена на стеке - Golang+Kafka+Clickhouse. Система универсальна и позволяет качественно сопровождать ключевые ИТ сервисы X5 - от анализа событий кассовых операций до сбора логов защитного периметра WAF + NGFW.
Мы разберем основные технологические и архитектурные решения, которые вам придется принять при создании приложения подобного класса.
Прогуляемся по нашим граблям и проблемами, с которыми столкнулись. Разберем и протестируем в бою стандартные инструменты для сбора логов. А также дадим базовые рекомендации для проектирования подобных систем.
Корпоративный Архитектор
25+ лет опыта руководства разработкой
X5 Tech
X5 Tech — ИТ-компания в составе X5 Group, которая выступает в качестве основного цифрового партнера розничных сетей и предприятий Группы. Это команда, состоящая из более чем 3500 специалистов, разрабатывает цифровые решения, которые помогают десяткам миллионов клиентов каждый день находить свои любимые продукты.
Видео
Другие доклады секции
Архитектуры и масштабируемость
