Высокопроизводительные системы обмена сообщениями: Spread Toolkit Основная секция
Доклад принят в Программу конференции
Дзен — контентная платформа, которой каждый месяц пользуются 32,5 миллиона человек. Рекомендательные алгоритмы отбирают контент для персональных лент пользователей от 100 тысяч авторов из почти 5 миллионов возможных вариантов.
Тезисы
Spread Zaytsev3
View SlideShare presentation or Upload your own.
Высокопроизводительные системы обмена сообщениями: Spread Toolkit / Илья Зайцев
Тезисы
Цель доклада – рассказать об использовании библиотеки с открытым кодом Spread Toolkit для связывания элементов распределенных систем.
Часто в веб-приложениях при обработке запросов требуется передать «прожорливые» запросы (например, генерацию графиков данных с биржи, создание сложных PDF отчетов и т.п.) на обработку на другие сервера для освобождения ресурсов веб-сервера. Для этого, конечно же, потребуется механизм взаимодействия между компонентами системы. Взаимодействие можно организовать несколькими способами. Вызовом внешнего веб-сервиса или прямого соединения через сокеты например. А можно воспользоваться средствами программного обеспечения среднего слоя, ориентированного на передачу сообщений (message oriented middleware). Spread является одним из таких средств.
Spread toolkit – высокопроизводительный кроссплатформенный сервис передачи сообщений с открытым кодом, устойчивый к сетевым сбоям и пригодный для использования как в локальных так и глобальных сетях. Реализует функцию шины для распределенных приложений и предоставляет оптимизированный мультикаст на уровне приложения. Позволяет организовать как групповую связь «один ко многим», так и «один к одному». Возможности разнятся от достоверной доставки сообщений до полностью упорядоченной доставки с подтверждением. Применим как в работе одного сервера, так и кластера серверов. Имеет API для языков C/ C++, Java, Python, Perl, Ruby, Squeak, Lua, Tcl и других.
В ходе доклада я хочу рассказать о возможностях Spread, об его архитектуре и опыте использования на конкретных примерах.
Целевая аудитория
Архитекторы и разработчики систем.О докладчике
Илья Зайцев, ведущий разработчик МФД-Инфоцентр.
Контакты: i.i.zaytsev@gmail.comДругие доклады секции Основная секция
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
«Платформа Сфера» — универсальная экосистема продуктов для производства технологических решений, которая включает в себя более 40 инструментов для управления разработкой, тестированием, эксплуатацией программного обеспечения, а также инженерных инструментов для работы с исходным кодом и инструментами мониторинга рабочих станций и анализа бизнес-процессов.
Sber Automotive Technologies (SberAutoTech) — разработчик технологии автономного вождения, совместимой с различными видами транспорта: от легковых автомобилей до грузовиков. Ключевое направление работы — создание универсальной беспилотной технологии.
SiteGround
СберМаркет (ООО «Инстамарт Технолоджис») — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда СберМаркета создает один из самых сложных высоконагруженных e-commerce-проектов в России и делает это с любовью.
Компания «ЭвоКарго» разрабатывает автономные логистические решения. «ЭвоКарго» предлагает принципиально новую экономически эффективную логистическую услугу по сервисной модели с применением автономного транспорта собственного производства на складских и производственных площадках. За три года компания стала одной из первых в мире, успешно запустивших полностью автономный логистический сервис грузоперевозок. Сервис позволяет снизить расходы на содержание флота до 30%.
Lamoda Tech — это IТ-компания, где более 500 человек создают digital-продукты для e-commerce и делают моду ближе для миллионов пользователей Lamoda.
Дзен — контентная платформа, которой каждый месяц пользуются 32,5 миллиона человек. Рекомендательные алгоритмы отбирают контент для персональных лент пользователей от 100 тысяч авторов из почти 5 миллионов возможных вариантов.
«Перкона» (Percona)
«Перкона» (Percona)
DDoS-Guard — cпециализированный провайдер защиты от DDoS-атак на базе собственных разработок. Им доверяют тысячи клиентов по всему миру, среди которых ISPsystem, Selectel, Reg.ru, hh.ru и другие. За 2023 год система защиты DDoS-Guard отразила 1.4 млн атак.
Компания Last.Backend занимается созданием DevOps-технологий и продуктов. Имеет собственную систему оркестровки контейнеров аналога Kubernetes. Также занимается DevOps-акселерацией компаний, помогая в кратчайшие сроки получить качественную автоматизированную инфраструктуру под проект с дальнейшим 24/7-мониторингом.
БФТ-Холдинг – российский разработчик программных продуктов и заказных решений для государственного сектора России. Проекты, выполняемые нами, меняют в лучшую сторону жизнь людей по всей России.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У нас десятки тысяч rps к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
VK — это более 200 технологичных проектов, свыше 11 000 сотрудников и более 20 лет опыта создания высоконагруженных интернет-сервисов. ВКонтакте, Одноклассники, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей по всей стране.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
На Авито каждый может найти что-то свое среди миллионов частных объявлений и предложений компаний по всей России: от квартиры и автомобиля до работы и кандидатов на вакансии. Сервис делают более 1300 инженеров. В Авито небольшой монолит на PHP, несколько сотен микросервисов на Go и Python, фронтенд на JavaScript, базы данных PostgreSQL, MongoDB и Redis, автоматические тесты, обученная на данных система модерации и поисковый движок Sphinx. Продуктом каждый месяц пользуется треть населения России.
QIWI — международная группа компаний, которая предоставляющая платежные и финансовые сервисы в России и в других странах.
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
Yandex Cloud — публичная облачная платформа, которая предоставляет корпорациям, среднему бизнесу и частным разработчикам масштабируемую инфраструктуру, сервисы хранения данных, инструменты машинного обучения и средства разработки.
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
Международная технологическая платформа транспортных и бытовых услуг.
Технологический партнер с комплексной экспертизой в области построения и развития инфраструктуры, внедрения информационных систем, разработки программных решений и сервисной поддержки. КРОК реализует проекты, которые задают тон индустрии: от крупнейшего ЦОДа в стране до «умной» инфраструктуры спортивных объектов.
SberDevices — IT-компания полного цикла в экосистеме Сбера, R&D-центр экспертизы в области искусственного интеллекта: речевые технологии, понимание естественного языка, компьютерное зрение, лицевая и голосовая биометрия. Производит умные устройства — от лампочек до телевизоров. В портфолио SberDevices — ruGPT-3, ruDall-E, RuSBERT и другие масштабные ML-проекты, высоконагруженные системы и технологии обработки Big Data.
Разрабатывают и поддерживают inhouse-продукт — рекламную платформу.
Data Egret
Команда Тинькофф — это разработчики, продакт-менеджеры, дизайнеры, маркетологи, аналитики, тестировщики, SRE-инженеры и другие специалисты. Вместе они создают новые и развивают существующие финтех-продукты, которыми пользуются 25 миллионов клиентов и каждый из нас.
Доклад будет о личном проекте, так что в его контексте автор и есть компания :)
Badoo
Дзен — контентная платформа, которой каждый месяц пользуются 32,5 миллиона человек. Рекомендательные алгоритмы отбирают контент для персональных лент пользователей от 100 тысяч авторов из почти 5 миллионов возможных вариантов.
Доклад будет о личном проекте, так что в его контексте автор и есть компания :)
Разрабатывают и поддерживают inhouse-продукт — рекламную платформу.
X5 Tech — IT-компания и основной цифровой партнер торговых сетей и бизнесов X5 Group. Команда из более 3500 специалистов разрабатывает решения, которые помогают 325 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты.
Грамант
Основная цель Яндекса — решать задачи людей. Любые задачи: в сети и в реальном мире, повседневные и редкие, бытовые и научные, за третий класс и за пятый курс. Именно для этого они совершенствуют свой поиск и создают новые сервисы.
IT-компания и основной цифровой партнер торговых сетей и бизнесов X5 Group. Команда из более 3500 специалистов разрабатывает решения, которые помогают 325 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты.
Wildberries — онлайн-платформа с 18-летней историей. География присутствия площадки охватывает 7 стран мира, в том числе Россию, Белоруссию, Казахстан, Армению, Киргизию. Ежедневно на площадке оформляется 8 млн заказов, а 90% её продавцов — представители малого бизнеса.
СберМаркет (ООО «Инстамарт Технолоджис») — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда СберМаркета создает один из самых сложных высоконагруженных e-commerce-проектов в России и делает это с любовью.
Иннотех — масштабная развивающаяся компания, занимающаяся разработкой ПО банковской отрасли.
SberDevices — IT-компания полного цикла в экосистеме Сбера, R&D-центр экспертизы в области искусственного интеллекта: речевые технологии, понимание естественного языка, компьютерное зрение, лицевая и голосовая биометрия. Производит умные устройства — от лампочек до телевизоров. В портфолио SberDevices — ruGPT-3, ruDall-E, RuSBERT и другие масштабные ML-проекты, высоконагруженные системы и технологии обработки Big Data.
Hilbert Team — системный IТ‑интегратор. Отраслевой эксперт в области DevOps, DataOps, DevSecOps и FinOps.
Т1 — многопрофильный холдинг, один из лидеров российского IТ-рынка, является партнером ключевых производителей и разработчиков в сфере информационных технологий. В штате — 20 тысяч сотрудников. В 2022 году оборот холдинга составил свыше 166,7 млрд рублей. По версии аналитических агентств CNews Analytics, TAdviser и RAEX, Т1 входит в топ-3 крупнейших российских IТ-компаний. В состав холдинга входят кластеры: Т1 (компании Т1 Интеграция, Т1 Консалтинг, Т1 Cloud, Сервионика), МультиКарта, Иннотех, Дататех и НОТА.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У нас десятки тысяч rps к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Команда Тинькофф — это разработчики, продакт-менеджеры, дизайнеры, маркетологи, аналитики, тестировщики, SRE-инженеры и другие специалисты. Вместе они создают новые и развивают существующие финтех-продукты, которыми пользуются 25 миллионов клиентов и каждый из нас.
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
Мы меняем IT-индустрию, ценим инициативу и любим то, что делаем. Команда Тинькофф — это разработчики, продакт-менеджеры, дизайнеры, маркетологи, аналитики, тестировщики, SRE-инженеры и другие специалисты. Вместе мы создаем новые и развиваем существующие финтех-продукты, которыми пользуются более 20 миллионов клиентов и каждый из нас.
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Команда Тинькофф — это разработчики, продакт-менеджеры, дизайнеры, маркетологи, аналитики, тестировщики, SRE-инженеры и другие специалисты. Вместе они создают новые и развивают существующие финтех-продукты, которыми пользуются 25 миллионов клиентов и каждый из нас.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
