Асинхронная обработка в высокопроизводительных системах Основная секция
Доклад принят в Программу конференции
Сообщество, занимающееся разработкой и поддержкой WordPress и связанных проектов — 22 открытые для новичков команды и Core Security.
Тезисы
Async2
View SlideShare presentation or Upload your own.
Асинхронная обработка в высокопроизводительных системах / Иван Панченко (Стек)
Тезисы
Взаимодействие Веба с пользователем, в принципе, асинхронно. Это можно использовать для повышения эффективности многих процессов.
Оказывается, что и на сервере оказывается часто более естественной асинхронная, а не синхронная обработка.
Под асинхронной обработкой будем понимать возможность основному «контролирующему процессу» запустить «подпроцесс», и, не ожидая его завершения, продолжать свою работу, получив результаты «подпроцесса» тогда, когда они будут готовы.
При этом понятие "процесс" не следует ограничивать рамками процесса ОС.
В сложных системах неизбежно разделение процессов и, как следствие, взаимные ожидания.
Асинхронизм дает возможность повысить эффективность использования ресурсов, поскольку избавляет от ожидания.
Что и как может быть сделано асинхронно на сервере, какие тут плюсы и минусы? В каких случаях выигрыш от асинхронизма компенсирует усложнение системы?
Рассмотрим несколько практических задач, начав с простой – асинхронного выполнения длительной вычислительной или коммуникационной задачи; перейдем затем к асинхронным апдейтам данных, и к мультагентному асинхронному диспетчеру. Нельзя не упомянуть и ряд вспомогательных асинхронных типов задач, связанных с очисткой мусора, мониторингом, и т.д.
О докладчике
Иван Панченко
Контакты: ivan@stack.netДругие доклады секции Основная секция
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
МТС — мультисервисная цифровая экосистема и ведущий телеком-оператор в России. Компания развивает сервисы и продукты в сфере больших данных, искусственного интеллекта, облачного хранения, медиа и финансов, телекоммуникаций. Штат IT-специалистов превышает 9,5 тыс. человек.
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает Ит-индустрию, поддерживает комьюнити и делится экспертизой.
Звук — это аудиостриминг c музыкой в HiFi-качестве, подкастами, аудиокнигами, эксклюзивными плейлистами и разделом для детей. Это продуктово-инженерная компания из 700+ экспертов. Более 450 инженеров, разработчиков и продактов, 6 продуктовых стримов и 19 продуктовых команд каждый день делают стриминг надежнее и наполняют его полезными фичами.
GMCS – российская аккредитованная ИТ-компания, один из лидеров по внедрению бизнес-решений и разработке ПО. Мы помогаем заказчикам осуществить цифровую трансформацию бизнеса с помощью решений ведущих мировых и российских поставщиков, а также продуктов собственной разработки.
Сибирские нейросети - молодая, но быстро развивающаяся компания, которая занимается продуктами в области обработки естественного языка и речевой аналитики.
ндекс — международная ІT-компания с собственной поисковой системой и множеством сервисов. Среди них Еда, Такси, Путешествия, Музыка, Кинопоиск, Реклама и другие. Мы создаём уникальные технологии, контрибьютим в опенсорс, улучшаем IT-образование и запускаем продукты и сервисы, которые помогают людям решать задачи и достигать своих целей в жизни.
Школа управления СКОЛКОВО была создана в 2006 году российскими предпринимателями — основателями крупных компаний, меценатами, представляющими основные отрасли российской экономики. Результатом партнерства стала реализация амбициозной идеи: от проекта на бумаге до основания крупнейшей частной бизнес-школы в России и на всем постсоветском пространстве. Поддержка и внимание учредителей помогают развиваться сообществу СКОЛКОВО и сегодня. Вся деятельность Школы управления СКОЛКОВО ориентирована на реализацию миссии, которой Школа достигает, опираясь на свои ценности.
Data Egret
SiteGround
Звук — это музыка в HiFi-качестве, а также подкасты, аудиокниги, эксклюзивные плейлисты и раздел для детей. Звук можно послушать в приложении, доступном во всех популярных сторах, на сайте zvuk.com, а также в автомобилях с поддержкой CarPlay и AndroidAuto.
Грамант
Мы специализируется на юридическом сопровождении IТ-компаний. С 2020 года работаем в сфере IT-права и интеллектуальной собственности. У нас: - 100% успешных регистраций в Реестре российского ПО; - Экспертные статьи на vc.ru, habr.ru; - Канал в Telegram на аудиторию более 3000 подписчиков; - 290 уверенных в своем бизнесе клиентов; - Проводим вебинары и корпоративное обучение.
«Татнефть Цифровые Технологии» — дочерняя IT-компания ПАО «Татнефть», центр внутренней продуктовой разработки и технического сопровождения. Команда работает над автоматизацией деятельности группы компаний и разработкой пользовательских сервисов.
Wildberries — онлайн-платформа с 20-летней историей, где представлен широкий ассортимент продукции российских и международных брендов. География присутствия площадки охватывает 7 стран. Ежедневно покупателям отправляется свыше 12 млн товаров, а сеть пунктов выдачи заказов превышает 46 000 точек.
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
В Nexign пишут на Java, Gо, C# и С++, создают микросервисы и используют собственную СУБД. В команде 2000 экспертов, которые всегда знают, как сделать лучше. Они доказывают это в каждом проекте, будь то внедрение биллинговой платформы крупнейшим телеком-операторам или создание кастомизируемой HRM-системы.
РТЛабс — разработчик Госуслуг. Мы развиваем цифровую экосистему портала gosuslugi.ru и работаем над тем, чтобы изменить представление о государственных сервисах. Команда РТЛабс работает по agile, и наша главная метрика — довольный пользователь. Среди проектов компании: цифровые сервисы Госуслуг, мобильное приложение «Госуслуги», цифровой ассистент робот Макс, Единая система идентификации и аутентификации (ЕСИА), Система межведомственного электронного взаимодействия (СМЭВ) и другие.
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
Райффайзен Банк — часть австрийской банковской группы Raiffeisen Bank International; работает в России с 1996 года и входит в тройку самых надежных российских банков по версии Forbes. В команде банка более 3000 IT-специалистов, которые работают над продуктами будущего и развивают финтех в России. И не любят легаси.
YADRO известна как разработчик и производитель всего, что можно увидеть в серверной и ЦОД: систем хранения данных, серверов, коммутаторов. Компания также создает телеком-оборудование операторского класса. Go-разработчики заняты как в развитии СХД, так и в телеком-направлении.
SberDevices — российская IT-компания полного цикла. R&D-центр экспертизы в области искусственного интеллекта: речевые технологии, понимание естественного языка, компьютерное зрение, лицевая и голосовая биометрия. Производит умные устройства, разрабатывает высокотехнологичные сервисы для бизнеса, делает масштабные ML-проекты, LLM, высоконагруженные системы и технологии обработки Big Data. В портфолио SberDevices — SberBox, SberJazz, GigaChat, Kandinsky и другие легенды.
Купер (ООО «Инстамарт Технолоджис») — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда Купера создает один из самых сложных высоконагруженных e-commerce-проектов в России и делает это с любовью.
ВКонтакте — крупнейшая социальная сеть в России и странах СНГ. Миссия ВКонтакте — соединять людей, сервисы и компании, создавая простые и удобные инструменты коммуникации. VK — это более 200 технологичных проектов, больше 15 000 сотрудников и миллион возможностей проявить себя. Мы делаем современные и быстрые интернет-сервисы, доступные каждому.
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Мы переосмысливаем DIY-ритейл так же, как другие технологические лидеры до этого меняли банкинг и ИТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
Островок! — travel-tech компания, создающая платформы онлайн-бронирования отелей, авиабилетов и других услуг как для индивидуальных путешественников, так и для корпоративных клиентов и тревел-агентств. Наши бренды: Островок!, B2B.Ostrovok.ru, Островок! Командировки. Мы развиваем проекты как в России, так и за рубежом.
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает Ит-индустрию, поддерживает комьюнити и делится экспертизой.
ЕВРАЗ — это горно-металлургическая компания с предприятиями по всей России: от Тулы до Новокузнецка. ООО «ЕвразТехника ИС» выполняет работы (оказывает услуги) по разработке, адаптации, модификации, а также услуги по установке, тестированию и сопровождению программного обеспечения и цифровых решений в группе ЕВРАЗ.
«Перкона» (Percona)
В компании 900+ человек, 4 города присутствия: Ижевск, Москва, Уфа, Тюмень. Мы разрабатываем программные продукты и сервисы для управления цифровыми процессами и документами. Оказываем полный спектр услуг по выстраиванию цифрового взаимодействия: анализируем бизнес-процессы, создаем, внедряем и сопровождаем ИТ-решения для организаций различных масштабов и отраслей.
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
ВКонтакте — крупнейшая социальная сеть в России и странах СНГ. Миссия ВКонтакте — соединять людей, сервисы и компании, создавая простые и удобные инструменты коммуникации. VK — это более 200 технологичных проектов, больше 15 000 сотрудников и миллион возможностей проявить себя. Делают современные и быстрые интернет-сервисы, доступные каждому.
Цифровой СИБУР является развивающимся IТ-кластером топового нефтегазохимического холдинга России.
СберТех — российский разработчик программного обеспечения для бизнеса и государства, основной поставщик решений для Сбера. Флагманское решение компании — цифровая облачная платформа Platform V для создания приложений любого масштаба и сложности и обеспечения технологической̆ независимости на уровне ПО.
devhands.io
Авито, Sphinx
YADRO известна как разработчик и производитель всего, что можно увидеть в серверной и ЦОД: систем хранения данных, серверов, коммутаторов. Компания также создает телеком-оборудование операторского класса. Go-разработчики заняты как в развитии СХД, так и в телеком-направлении.
«Перкона» (Percona)
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У нас десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Циан — IT-компания, разрабатывающая сервисы для покупки, продажи, сдачи в аренду и оценки стоимости недвижимости, а также для расчета и подбора ипотеки.
Index — специализированное IT-рекрутинговое агентство, работающее на рынке России и Европы.
IT Test — команда по разработке, тестированию и дизайну сложных отраслевых IT-решений. Делаем компании более эффективными за счет цифровизации процессов. 8+ лет на рынке digital-услуг, 200+ реализованных проектов, 70+ проверенных партнеров, 85+ наград в ключевых рейтингах digital-агентств. Занимаемся не только заказной разработкой, но и создаем собственные продукты: наша TMS DoQA увеличивает эффективность процессов тестирования, усиливает аналитику и стандартизирует документацию.
СберТех — российский разработчик программного обеспечения для бизнеса и государства, основной поставщик решений для Сбера. Флагманское решение компании — цифровая облачная платформа Platform V для создания приложений любого масштаба и сложности и обеспечения технологической̆ независимости на уровне ПО.
Компания на рынке уже более 7 лет, занимается сложными трансформациями крупных компаний из финтеха, ритейла и классифайд на рынках РФ и Казахстана.
В МТС мы прямо сейчас создаем цифровую экосистему масштаба страны.
Компания занимается разработкой ПО на заказ
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
СИБУР Диджитал — это цифровое подразделение ПАО «СИБУР Холдинг», одной из крупнейших нефтехимических компаний России и Восточной Европы. Основные направления деятельности : Компания занимается цифровизацией бизнес-процессов СИБУРа, внедрением современных технологий и разработкой IT-решений для повышения эффективности производства, логистики, продаж и управления. Ключевые проекты и технологии : 1. Промышленный интернет вещей (IIoT) – сбор и анализ данных с оборудования для предиктивного обслуживания. 2. Искусственный интеллект и машинное обучение – оптимизация производственных процессов. 3. Цифровые двойники – виртуальные модели заводов для тестирования сценариев. 4. Big Data & Аналитика – обработка больших данных для принятия решений. 5. Блокчейн – пилотные проекты в логистике и снабжении. 6. Кибербезопасность – защита промышленных и корпоративных систем. Преимущества : - Интеграция цифровых решений в реальное производство. - Собственные разработки и сотрудничество с ведущими IT-компаниями. - Поддержка инноваций и цифровой трансформации нефтехимической отрасли.
Я работаю в компании Wildberries уже три года и в течение этого времени команда моего продукта изменялась и прошла путь от стартапа до большой продуктовой команды.
ITentika (ранее российский центр разработки DataArt) - разработчик ПО с 25-летним опытом создания ИТ-решений для ведущих международных компаний и крупнейших экосистем РФ. Мы проектируем и разрабатываем технологически сложные решения на стыке информационных технологий и бизнес-консалтинга, позволяющие нашим клиентам кратно увеличить прибыль и стать лидером отрасли. ITentika входит в ТОП-20 крупнейших разработчиков ПО (Рейтинговое агентство RAEX).
Ростелеком — крупнейший в России интегрированный провайдер digital-решений и услуг для населения, бизнеса и государства. Миссия компании — дать людям качественные и удобные цифровые сервисы для комфортной жизни и эффективного бизнеса.
