p2p & edge-to-edge: разоблачая необходимость высоких нагрузок Основная секция
Доклад принят в Программу конференции
Тезисы
Hl09 P2p Ever Mesh Pantyukhin
View more documents from HighLoad2009.
Тезисы:
- Codename: EverMesh
- Homepage: http://wiki.cenkes.org/Cenkes/EverMesh
- Аудитория: стратеги-мечтатели, armchair generals, ИТ-архитекторы
- Buzzwords: p2p, edge-to-edge, mesh, grid, distributed, mashup
Концептуальный взгляд на вытеснение высоких нагрузок технологиями p2p, edge-to-edge, распределёнными вычислениями и повсеместным meshing — в любом ИТ-процессе и сервисе, от физических подключений до гипертекстового веба, от коммуникаций реального времени до управления базами знаний, от написания кода до доставки контента.
Это одна из моих больных псевдо-исследовательских тем. О том, что высокие нагрузки — результат неправильного подхода к использованию сети. О том, что за последние 20 лет никто не освоил радикально новых бизнес-моделей и валютой интернет-бизнеса остаётся трафик (в широком смысле).
Всё это пока звучит странно, но в этом году уже неожиданно зазвенели звоночки типа Google Wave и Opera Unite. До этого появлялись mashup-редакторы, из которых Microsoft Popfly и Google Mashup Editor уже скончались, но Yahoo Pipes и Mozilla Ubiquity набирают обороты.
Я бы хотел рассказать о переходах central server — decentralized servers — distributed servers — CDN — p2p в вебе и о движении от сервисов к стандартам вообще. На идеологическом, технологическом и коммерческом уровнях.
*Насколько это реально именно в вебе? Или это только идея?*
Технически вполне реально. Более того, зачаточные решения показывали работоспособность ещё в 90-х (например, рабочий и широко использовавшийся edge-to-edge есть в squid уже очень давно, просто web2.0 требует пересмотра технологии). Сейчас тяжёлый веб-контент переползает на p2p: поддержка есть во flash 10 и других плагинах. Для Firefox давно есть XMPP-extension, это p2p-ориентированный протокол, готовый эффективно передавать всё, от html до звука и видео.
Короче, остаётся только соединить точки. Доклад теоретический, идейно-аналитический. Никакой практики, только красивые разговоры :)
Дисклеймер: эта тема НЕ о том, как ускорить сервер в 100 раз, хостить порно со спокойной совестью или зарабатывать $1000 в час, просто кликая мышкой.
Другие доклады секции Основная секция
Разработка офисных продуктов.
MWS (МТС Web Services) - облачный сервис для внутреннего и внешнего пользователя
АО ИНЛАЙН ГРУП - российская компания с 25 летней историей, классический ИТ системный интегратор. Продукт ИКСАР выведен на рынок в 2018 году и на данный момент занимает лидирующие позиции на рынке AR для Промышленности. Сайт продукта: https://iksar.pro/ ТГ канал продукта: https://t.me/iksarpro
"Открытая Мобильная Платформа" обеспечивает компании надёжными отечественными решениями для построения доверенной безопасной мобильной инфраструктуры.
Газпромбанк. Тут сложно что-то еще добавить.
Билайн — один из ведущих поставщиков телекоммуникационных услуг в России.
AGIMA — крупнейший интегратор digital‑решений.
AG-LEGAL — юридический консалтинг, сопровождающий IT-компании, а также крупные федеральные компании по вопросам интеллектуальной собственности, категорирования КИИ, персональных данных, включением в реестр отечественного ПО.
Купер. Лучший сервис доставки продуктов ❤️
Яндекс — российская технологическая компания: начинала как поисковик, а сейчас это большая экосистема сервисов (поиск, карты, такси, музыка, маркетплейс и др.). Развивает ИИ-технологии и строит высоконагруженные системы.
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
MTS Digital, KION - онлайн кинотеатр, который раздает десятки гигабит видео в секунду и делает жизнь чуть интереснее
РСХБ.Цифра — это бренд, объединяющий все технологические решения Россельхозбанка и его дочерних компаний. Команда занимается цифровой трансформацией одного из крупнейших банков России и управляет высоконагруженными системами: АБС, ДБО, процессингом. Более 5000 человек по всей стране создают и выводят на рынок собственное ПО для банков и госкорпораций, финансовых, страховых организаций и агропромышленных предприятий. 26 программных продуктов РСХБ.цифра вошли в реестр отечественного ПО.
Объединенная компания Wildberries & Russ — международная IT-компания, лидер рынков e-commerce и наружной рекламы в России. Образована в результате слияния крупнейшего маркетплейса СНГ Wildberries и оператора наружной рекламы Russ. Бизнес-модель Wildberries & Russ построена на использовании технологий. Компания активно развивает собственную IT-инфраструктуру, а также продукты для покупателей, продавцов, рекламодателей и других категорий пользователей.
MWS Cloud Platform — новое облако для запуска виртуальных машин и не только.
Nexign — российская компания-разработчик OSS/BSS-систем и решений FinTech, также решений для цифровизации бизнеса, первый в России разработчик биллинга для телекоммуникационных компаний. Дочерняя компания МегаФона.
VK Tech занимается облачными решениями и не только.
VK Tech занимается облачными решениями и не только.
MAGNIT TECH — IT-компания, которая трансформирует один из крупнейших ритейлеров страны. Это более 5000 сотрудников, 800+ систем, 260+ проектов и одна цель: изменить ритейл в такт передовым технологиям. Мы не просто обслуживаем процессы, мы проектируем инновации с нуля, запускаем флагманские продукты и перестраиваем логику ритейла – от логистики и аналитики до клиентских платформ и AI-решений.
BI.ZONE — компания по управлению цифровыми рисками. Мы создаем IT-продукты для обеспечения кибербезопасности: от мобильных приложений до сложных платформ, в основе которых лежат методы машинного обучения.
Fiamo (fiamo.ru) — финтех-платформа, финансовый помощник для малого и среднего бизнеса: автоматический разбор банковских выписок, платежи, отчёты и аналитика для предпринимателей. Разработка продукта полностью перестроена под работу с AI-агентами — этот опыт и лёг в основу доклада.
SberDevices — это компания полного цикла. Мы создаём идеи, самостоятельно разрабатываем продукты, занимаемся прототипированием, конструированием, придумываем дизайн, программные решения, контролируем качество на фабриках и создаём инструменты для аппаратного тестирования.
Разработка офисных продуктов.
Компромиссная производительность (или какой логикой руководствуются владельцы коммерческих ресурсов)
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
Tempesta Technologies
Компания Биокад — биотехнологическая компания полного цикла, то есть занимается как разработкой, так и производством лекарственных препаратов. В компании более 3000 сотрудников. Треть из них с научными степенями. IТ-департамент — более 250 человек.
Команда «Онтико» создает пространства для обмена опытом между профессионалами — мы проводим лучшие в России (и одни из лучших в мире) профессиональные конференции для IT-разработчиков.
Ви.Tech – Это компания занимающаяся разработкой для крупнейшего в россии DIY магазина
Миссия компании — обучить хотя бы 15% руководителей современным методикам управления и сделать Россию лидером в области корпоративного менеджмента.
Инфраструктурная платформа Genesis Core максимально упрощает «пользовательский путь» разработчика, от первой строчки и до деплоя на прод через локальные стенды.
ООО «СИБИНТЕК-СОФТ» – дочернее общество ООО ИК «СИБИНТЕК» - внутреннего ИТ-интегратора компании Роснефть. Основной профиль – оказание услуг по реализации ИТ-проектов, сопровождению и развитию информационных систем, созданию и внедрению цифровых платформ и решений, в том числе разработка собственных продуктов в сфере информационных технологий как для поддержки процессов финансово-хозяйственной деятельности, так и для решения задач производственной автоматизации.
ОТП Банк входит в международную финансовую Группу ОТП (OTP Group), которая является одним из лидеров рынка финансовых услуг Центральной и Восточной Европы. ОТП Банк — это универсальная кредитная организация, предоставляющая широкий спектр банковских услуг и продуктов для корпоративных клиентов и частных лиц. Активы Банка на 1 апреля 2020 г. составили 152,6 млрд руб., собственный капитал — 33,7 млрд руб. ОТП Банк входит в число 50 крупнейших банков России, а по ряду направлений входит в число лидеров рынка. Занимает 2-е место на рынке POS-кредитования и 7-е место на рынке кредитных карт. ОТП Банк является участником Системы страхования вкладов, членом Ассоциации российских банков, Ассоциации Европейского Бизнеса, Национальной ассоциации участников фондового рынка, Национальной фондовой ассоциации, Московской Биржи. ОТП Банк обслуживает более 3,7 млн клиентов и присутствует более чем в 3 700 населенных пунктов России. Осуществление обслуживания происходит через собственную сеть, которая состоит в настоящее время из 171 049 точек потребительского кредитования, 88 кредитно-кассовых офисов (ККО), сети отделений из 135 точек клиентского обслуживания, банкоматной сети — 195 АТМ и 269 терминалов самообслуживания. ОТП Банк обладает аккредитацией на участие в конкурсах Агентства по страхованию вкладов, а также входит в список банков, поручительством которых могут быть обеспечены кредиты Банка России.
СберЗдоровье — российская медицинская компания, специализирующаяся на телемедицинских услугах и цифровых решениях в области здравоохранения.
Авито, Sphinx
Газпромбанк. Тут сложно что-то еще добавить.
МФТИ / Физтех — ведущий российский исследовательский университет. Насчитывает 10 Нобелевских лауреатов. В топ‑100 глобального рейтинга Times Higher Education. Десятки научных школ, международные лаборатории, одни из сильнейших программ.
AgentArea - безопасная платформа для управления ИИ-агентами. Молодая команда уже стала финалистом AI Championship в кибербезопасности.
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 50 миллионов клиентов. Т-Банк развивает IТ-индустрию, активно внедряет современные технологии и делится экспертизой.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У них десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
РСХБ.Цифра — это бренд, объединяющий все технологические решения Россельхозбанка и его дочерних компаний. Команда занимается цифровой трансформацией одного из крупнейших банков России и управляет высоконагруженными системами: АБС, ДБО, процессингом. Более 5000 человек по всей стране создают и выводят на рынок собственное ПО для банков и госкорпораций, финансовых, страховых организаций и агропромышленных предприятий. 26 программных продуктов РСХБ.цифра вошли в реестр отечественного ПО.
AgentArea — безопасная платформа для управления ИИ-агентами. Молодая команда уже стала финалистом AI Championship в кибербезопасности.
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
Грамант
Билайн — один из ведущих поставщиков телекоммуникационных услуг в России.
В «Магните» занимается управлением портфелем IT-проектов, трансформацией IT-вертикали, а также контролирует эффективность производственного цикла. Одна из задач — повышение эффективности управления изменениями для бизнес-заказчиков.
Авто.ру — это проект Яндекса, который помогает людям купить или продать машину
МТС — одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. Штат IT-специалистов компании превышает 8 000 человек.
ROGII — международная компания, разрабатывающая продукты для геонавигации.
- Компания Virtual Minds - старейший adtech Германии, обслуживающий одни из самых крупных немецких компаний в publisher adserving, DSP, и SSP. - Tarantool - отечественная база данных от VK, с сервером приложений на борту, ориентированная на сверхвысокие OLTP нагрузки и исполнение кода прямо в базе.
GoRunDebug - что пришло в голову когда пришла идея поработать над интересным для меня направление.
YADRO — российская технологическая компания, объединяющая направления разработки и производства вычислительных платформ, систем обработки и хранения данных, телекоммуникационного и сетевого оборудования, персональных и «умных» устройств, микропроцессорных ядер и fabless-разработку микропроцессоров. R&D-центры расположены в Москве, Санкт-Петербурге, Екатеринбурге, Нижнем Новгороде и Минске. Сейчас в компании работает более 6000 амбициозных профессионалов. Разработчики на С++ в YADRO решают разнообразные задачи, свойственные мультипродуктовой компании: от написания многопоточных и асинхронных программ до разработки программного обеспечения для базовой станции. В работе специалисты не только применяют последние фишки стандарта С++20, но и занимаются низкоуровневой оптимизацией кода для лучшей производительности.
Помощь в повышении квалификации для работающих разработчиков и open source-разработка.
«СКБ Контур» — крупная ИТ‑компания: в группе работает более 10 000 человек. Мы разрабатываем востребованные сервисы для бизнеса — от электронного документооборота до учёта и проверки контрагентов. Входит в число крупнейших ИТ-Компаний.
NGENIX
VK Tech занимается облачными решениями и не только.
Компания Axiom JDK — поставщик российской платформы Java, основана управляющей командой Центра разработки Oracle в Санкт-Петербурге. Инженерное ядро сформировано из разработчиков, которые стояли у истоков создания Java в России и заботятся о безопасности платформы с 1997 г. Компания производит и поддерживает безопасный стек базовых технологий для разработки и исполнения Java приложений с обеспечением санкционной устойчивости.
Fiamo (fiamo.ru) — финтех-платформа, финансовый помощник для малого и среднего бизнеса: автоматический разбор банковских выписок, платежи, отчёты и аналитика для предпринимателей. Разработка продукта полностью перестроена под работу с AI-агентами — этот опыт и лёг в основу доклада.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У них десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Data Egret
Яндекс Go — продуктовая компания с устойчивой Data Driven-культурой, где все решения анализируются и проверяются с оглядкой на данные, а скрипт на Python или SQL может написать любой.
