Асинхронная обработка в высокопроизводительных системах Основная секция
Доклад принят в Программу конференции
CloudReports. Мы разрабатываем программные решения для работы с данными: Системы аналитики Службы интеграции данных Алгоритмы машинного обучения За 10 лет работы мы помогли многим компаниям построить надежные и эффективные процессы для работы с информацией.
Тезисы
Async2
View SlideShare presentation or Upload your own.
Асинхронная обработка в высокопроизводительных системах / Иван Панченко (Стек)
Тезисы
Взаимодействие Веба с пользователем, в принципе, асинхронно. Это можно использовать для повышения эффективности многих процессов.
Оказывается, что и на сервере оказывается часто более естественной асинхронная, а не синхронная обработка.
Под асинхронной обработкой будем понимать возможность основному «контролирующему процессу» запустить «подпроцесс», и, не ожидая его завершения, продолжать свою работу, получив результаты «подпроцесса» тогда, когда они будут готовы.
При этом понятие "процесс" не следует ограничивать рамками процесса ОС.
В сложных системах неизбежно разделение процессов и, как следствие, взаимные ожидания.
Асинхронизм дает возможность повысить эффективность использования ресурсов, поскольку избавляет от ожидания.
Что и как может быть сделано асинхронно на сервере, какие тут плюсы и минусы? В каких случаях выигрыш от асинхронизма компенсирует усложнение системы?
Рассмотрим несколько практических задач, начав с простой – асинхронного выполнения длительной вычислительной или коммуникационной задачи; перейдем затем к асинхронным апдейтам данных, и к мультагентному асинхронному диспетчеру. Нельзя не упомянуть и ряд вспомогательных асинхронных типов задач, связанных с очисткой мусора, мониторингом, и т.д.
О докладчике
Иван Панченко
Контакты: ivan@stack.netДругие доклады секции Основная секция
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У них десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
МТС — мультисервисная цифровая экосистема и ведущий телеком-оператор в России. Компания развивает сервисы и продукты в сфере больших данных, искусственного интеллекта, облачного хранения, медиа и финансов, телекоммуникаций. Штат IT-специалистов превышает 9,5 тыс. человек.
Спортмастер - цифровая спортивная платформа
МТС — мультисервисная цифровая экосистема и ведущий телеком-оператор в России. Компания развивает сервисы и продукты в сфере больших данных, искусственного интеллекта, облачного хранения, медиа и финансов, телекоммуникаций. Штат IT-специалистов превышает 9,5 тыс. человек.
Группа компаний VK это крупнейшая ИТ компания, которая объединяет в себе социальные платформы, почту, облако, образовательные и технологические сервисы для пользователей и компаний.
ООО «Вымпелком-Информационные технологии» ведет аккредитованную деятельность в сфере информационных технологий с 2021 года. Сотрудники компании обеспечивают разработку и поддержку программного обеспечения по самым высоким стандартам. Компания сотрудничает с крупными компаниями, реализует сложные и нетривиальные решения, благодаря чему оттачивается и углубляется высокотехнологичный опыт. https://vcomit.ru/
Грамант
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
Data Egret
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
В «Магните» занимается управлением портфелем IT-проектов, трансформацией IT-вертикали, а также контролирует эффективность производственного цикла. Одна из задач — повышение эффективности управления изменениями для бизнес-заказчиков.
AG-LEGAL — юридический консалтинг, сопровождающий IT-компании, а также крупные федеральные компании по вопросам интеллектуальной собственности, категорирования КИИ, персональных данных, включением в Реестр отечественного ПО. Телеграм-канал (3к подписчиков) https://t. me/aglegal. Проводят вебинары, выступали на других конференциях и проводили корпоративное обучение для других компаний.
KION - онлайн кинотеатр, который раздает десятки гигабит видео в секунду и делает жизнь чуть интереснее
НЛМК ИТ — команда, которая делает IT-системы для металлургии и генерит существенную часть успеха Группы НЛМК, лидера среди российских производителей стали. В нашей готовой продукции нет ни единой строчки кода, но в ее производстве участвует большая IT-команда. Поэтому мы немножечко IT-металлурги. Делаем цифру реальностью!
SiteGround
Gravity Field — это B2B-SaaS-платформа для персонализации пользовательского опыта на основе больших данных и продвинутого набора инструментов сегментирования пользователей, алгоритмов товарных рекомендаций, А/В-тестирования, триггерных коммуникаций, продвинутой аналитики и оптимизации кампаний.
«Перкона» (Percona)
Сейчас я в большей степени сфокусирован на преподавании и создании контента для таких площадок, как Яндекс Практикум и Стратоплан, в основном по вопросам управления в ИТ (курсы для Владельцев Продуктов, Менеджеров Проектов, CTO)
Purrweb компания которая специализируется на разработке MVP приложений и стартапов, за последнее время компания выросла до 200 человек и продолжает развиваться.
Разработка цифровых решений на базе ИИ для группы компаний Северсталь.
Домклик – дочка Сбера, через нас выдаётся больше половины ипотеки в нашей стране. Наши IT решения и архитектура позволяют нам первыми на рынке запускать крупные продукты и решать любые вопросы с недвижимостью.
Я не хочу делать этот доклад от конкретной компании.
В конце 2021 года запустил многопрофильное маркетинговое агентство uForce. Реализовали 1000+ крупных проектов. Делаем разное: запускаем ORM компании в комментариях на YouTube с оплатой по CPM, работаем с микроблогерами, настраиваем перфоманс под ключ, работаем с репутацией, привлекаем через мессенджеры клиентов для сложных продуктов и услуг, проводим исследования нестандартными методами.
«Перкона» (Percona)
Авито, Sphinx
Сибур — крупный нефтегазохимический холдинг.
Билайн - один из ведущих поставщиков телекоммуникационных услуг в России
ООО Группа Лоджик Старс является ведущим игроком на рынке IT и уже более 20 лет разрабатывает высококачественное программное обеспечение в сфере автобизнеса. Специализируются на создании инновационных решений, которые помогают ихклиентам оптимизировать бизнес-процессы, повышать эффективность и достигать высоких результатов.
билайн – технологичная компания, предоставляющая клиентам услуги в области Big Data, IT, безопасности, облачных технологий, интернета вещей и рекламных инструментов. В штате работают более 3000 IT-специалистов, они помогают более 80 000 клиентам из разных отраслей бизнеса быть более эффективными.
devhands.io
Сибур — крупный нефтегазохимический холдинг.
МТС — одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. Штат IT-специалистов компании превышает 8 000 человек.
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Мы переосмысливаем DIY-ритейл так же, как другие технологические лидеры до этого меняли банкинг и ИТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
Магнит OMNI — это более 400 инженеров, объединенные в 40+ продуктовых и платформенных команд. Основные направления продуктовой разработки — программа лояльности «Магнит Плюс» с десятками миллионов пользователей, «Фудтех» — доставка из магазинов Магнит, маркетплейс «Магнит Маркет» и приложение «Магнит: акции и доставка».
СберТех — российский разработчик программного обеспечения. Флагманское решение компании — цифровая облачная платформа Platform V для создания бизнес-решений и промышленных приложений любого масштаба и сложности. Она включает более 80 продуктов, которые закрывают потребности разработки на всех уровнях архитектуры предприятия.
Лемана Тех — ИТ-компания, которая строит технологическую платформу для бренда Лемана ПРО и создает ИТ-инфраструктуру, которая улучшает клиентский опыт и делает его бесшовным. Сейчас в около 140 продуктовых командах компании работает около 1200 ИТ-специалистов.
Лемана Тех (Леруа Мерлен) — лидер рынка DIY в России. Переосмысливают DIY-ретейл так же, как другие технологические лидеры до этого меняли банкинг и IТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
Они — Скала! Облегчают Заказчикам вход в дивный мир российских продуктов, хотят доказать всем, что импортозамещение — это не больно. Продукты Скала^р являются серийно выпускаемыми преднастроенными комплексами и позволяют осуществлять быстрое развёртывание и ввод в эксплуатацию.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Сбер — крупнейший банк России, третий по величине эквайер в мире
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У нас десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
СберЗдоровье — российская медицинская компания, специализирующаяся на телемедицинских услугах и цифровых решениях в области здравоохранения.
В Nexign пишут на Java, Gо, C# и С++, создают микросервисы и используют собственную СУБД. В команде 2000 экспертов, которые всегда знают, как сделать лучше. Они доказывают это в каждом проекте, будь то внедрение биллинговой платформы крупнейшим телеком-операторам или создание кастомизируемой HRM-системы.
MTS Web Services (MWS) — облачные сервисы для решения задач вашего бизнеса. Мы предоставляем сетевые сервисы; продукты для вычисления, хранения и обработки данных; PaaS-решения; инструменты кибербезопасности; профессиональные сервисы и ИИ-решения. Мы также строим публичную облачную платформу собственной разработки с нуля. Она станет доступна в 2025 году.
«Татнефть Цифровые Технологии» — дочерняя IT-компания ПАО «Татнефть», центр внутренней продуктовой разработки и технического сопровождения. Команда работает над автоматизацией деятельности группы компаний и разработкой пользовательских сервисов.
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
СберЗдоровье — российская медицинская компания, специализирующаяся на телемедицинских услугах и цифровых решениях в области здравоохранения.
SberDevices — это компания полного цикла. Мы создаём идеи, самостоятельно разрабатываем продукты, занимаемся прототипированием, конструированием, придумываем дизайн, программные решения, контролируем качество на фабриках и создаём инструменты для аппаратного тестирования.
СберТех — российский разработчик программного обеспечения для бизнеса и государства, основной поставщик решений для Сбера. Флагманское решение компании — цифровая облачная платформа Platform V для создания приложений любого масштаба и сложности и обеспечения технологической̆ независимости на уровне ПО.
