p2p & edge-to-edge: разоблачая необходимость высоких нагрузок Основная секция
Доклад принят в Программу конференции
Тезисы
Hl09 P2p Ever Mesh Pantyukhin
View more documents from HighLoad2009.
Тезисы:
- Codename: EverMesh
- Homepage: http://wiki.cenkes.org/Cenkes/EverMesh
- Аудитория: стратеги-мечтатели, armchair generals, ИТ-архитекторы
- Buzzwords: p2p, edge-to-edge, mesh, grid, distributed, mashup
Концептуальный взгляд на вытеснение высоких нагрузок технологиями p2p, edge-to-edge, распределёнными вычислениями и повсеместным meshing — в любом ИТ-процессе и сервисе, от физических подключений до гипертекстового веба, от коммуникаций реального времени до управления базами знаний, от написания кода до доставки контента.
Это одна из моих больных псевдо-исследовательских тем. О том, что высокие нагрузки — результат неправильного подхода к использованию сети. О том, что за последние 20 лет никто не освоил радикально новых бизнес-моделей и валютой интернет-бизнеса остаётся трафик (в широком смысле).
Всё это пока звучит странно, но в этом году уже неожиданно зазвенели звоночки типа Google Wave и Opera Unite. До этого появлялись mashup-редакторы, из которых Microsoft Popfly и Google Mashup Editor уже скончались, но Yahoo Pipes и Mozilla Ubiquity набирают обороты.
Я бы хотел рассказать о переходах central server — decentralized servers — distributed servers — CDN — p2p в вебе и о движении от сервисов к стандартам вообще. На идеологическом, технологическом и коммерческом уровнях.
*Насколько это реально именно в вебе? Или это только идея?*
Технически вполне реально. Более того, зачаточные решения показывали работоспособность ещё в 90-х (например, рабочий и широко использовавшийся edge-to-edge есть в squid уже очень давно, просто web2.0 требует пересмотра технологии). Сейчас тяжёлый веб-контент переползает на p2p: поддержка есть во flash 10 и других плагинах. Для Firefox давно есть XMPP-extension, это p2p-ориентированный протокол, готовый эффективно передавать всё, от html до звука и видео.
Короче, остаётся только соединить точки. Доклад теоретический, идейно-аналитический. Никакой практики, только красивые разговоры :)
Дисклеймер: эта тема НЕ о том, как ускорить сервер в 100 раз, хостить порно со спокойной совестью или зарабатывать $1000 в час, просто кликая мышкой.
Другие доклады секции Основная секция
Яндекс – технологическая компания, которая создает инновационные продукты и сервисы на основе машинного обучения и нейронных сетей. Компания объединяет более 85 пользовательских сервисов. Основные бизнес-направления компании – поиск и портальные сервисы, электронная коммерция, сервисы объявлений, фантех, сервисы онлайн-заказа такси и заказа еды, автономный транспорт. Яндекс также предлагает продукты для рекламодателей и владельцев бизнеса.
Школа управления СКОЛКОВО — ведущая бизнес-школа России и один из признанных центров мирового управленческого образования. Программы СКОЛКОВО по ИИ, данным и продуктовому подходу — возможности от освоения ИИ-инструментов до компетенций директора по ИИ и стратегического руководства компанией.
Сбер — крупнейший банк России и технологическая компания, чья экосистема закрывает финансы, e-commerce, медиа и облачные сервисы. В команде десятки тысяч специалистов в IT, кибербезопасности и AI: собственные Big Data-платформы, модели GigaChat и Kandinsky, исследования в Институте искусственного интеллекта. Один из крупнейших IT-работодателей страны.
Звук — hifi-аудиомузыкальный сервис, который помогает пользователям находить и слушать музыку под настроение и стиль жизни. Фокусируется на персонализации, умных рекомендациях и удобном пользовательском опыте. Предлагает удобные подборки для любого настроения и подписку с широким каталогом треков.
Яндекс - технологическая компания.
AG-LEGAL — юридический консалтинг, сопровождающий IT-компании, а также крупные федеральные компании по вопросам интеллектуальной собственности, категорирования КИИ, персональных данных, включением в реестр отечественного ПО.
Разработка офисных продуктов.
Битрикс24 — одна из крупнейших IT-компаний России. Уже более 25 лет создают продукты, которые помогают работать бизнесу во всем мире. В их онлайн-сервисе собраны все нужные инструменты для работы компании и управления бизнесом. Среди них: сервис для создания, поддержки и развития веб-проектов, готовый набор инструментов для совместной работы компании и CRM-система.
Райффайзен Банк, один из самых надежных российских банков, который создает финансовые решения для частных и корпоративных клиентов
Служила в Московском Новом Драматическом Театре. Участвует в независимых театральных проектах. С 2016 года преподавала технику речи в школе телевидения ex-tv. С 2019 года преподаватель курсов раскрепощения и творческой свободы в Школе молодых лидеров. С 2020 года преподаватель собственного курса по импровизации и раскрепощению в высшей школе медиа коммуникации.
- Компания Virtual Minds - старейший adtech Германии, обслуживающий одни из самых крупных немецких компаний в publisher adserving, DSP, и SSP. - Tarantool - отечественная база данных от VK, с сервером приложений на борту, ориентированная на сверхвысокие OLTP нагрузки и исполнение кода прямо в базе.
BI.ZONE — компания по управлению цифровыми рисками. Мы создаем IT-продукты для обеспечения кибербезопасности: от мобильных приложений до сложных платформ, в основе которых лежат методы машинного обучения.
«Яндекс» — российская транснациональная компания в отрасли информационных технологий, владеющая одноименной системой поиска в интернете и интернет-сервисами в нескольких странах. Компания охватывает широкий спектр областей: от поиска информации в интернете и навигации до электронной коммерции, развлечений и облачных технологий.
MiOps — провайдер IT-решений, который помогает бизнесу создавать, развивать и поддерживать современную инфраструктуру цифровых продуктов. Мы автоматизируем процессы разработки и эксплуатации, строим отказоустойчивые платформы, внедряем технологии искусственного интеллекта и обеспечиваем стабильную работу критически важных сервисов.
Одна из самых быстрорастущих финтех-компаний в России. Мы создаем финансовые сервисы, которые встроены в повседневную жизнь клиентов.
Авито, Sphinx
Разработка офисных продуктов.
ООО «СИБИНТЕК-СОФТ» – дочернее общество ООО ИК «СИБИНТЕК» - внутреннего ИТ-интегратора компании Роснефть. Основной профиль – оказание услуг по реализации ИТ-проектов, сопровождению и развитию информационных систем, созданию и внедрению цифровых платформ и решений, в том числе разработка собственных продуктов в сфере информационных технологий как для поддержки процессов финансово-хозяйственной деятельности, так и для решения задач производственной автоматизации.
Одна из самых быстрорастущих финтех-компаний в России. Мы создаем финансовые сервисы, которые встроены в повседневную жизнь клиентов.
Проектируют и разрабатывают IT-продукты под цели заказчика для e-commerce, ретейла, банков и других бизнесов по всему миру. Одни из лучших в стране по реализации высоконагруженных систем и микросервисной архитектуре.
Яндекс Go — продуктовая компания с устойчивой Data Driven-культурой, где все решения анализируются и проверяются с оглядкой на данные, а скрипт на Python или SQL может написать любой.
Райффайзен Банк, один из самых надежных российских банков, который создает финансовые решения для частных и корпоративных клиентов
Райффайзен Банк, один из самых надежных российских банков, который создает финансовые решения для частных и корпоративных клиентов
Сбер — крупнейший банк России и технологическая компания, чья экосистема закрывает финансы, e-commerce, медиа и облачные сервисы. В команде десятки тысяч специалистов в IT, кибербезопасности и AI: собственные Big Data-платформы, модели GigaChat и Kandinsky, исследования в Институте искусственного интеллекта. Один из крупнейших IT-работодателей страны.
Tempesta Technologies
Райффайзен Банк, один из самых надежных российских банков, который создает финансовые решения для частных и корпоративных клиентов
HIPER — международный производитель IT-техники для бизнеса и потребителей, на рынке с 2001 года. Продуктовый портфель: ноутбуки, мониторы, моноблоки, мини-ПК, серверное оборудование, ИБП и интерактивные панели. Произведено и продано 3 955 636 устройств корпоративного назначения; производственная мощность — до 50 000 устройств в месяц, спецпроизводство под проект — от одного месяца. Решения HIPER адаптированы для российских пользователей и закрывают ИТ-инфраструктуру бизнеса любого размера. Компания обеспечивает оперативное сервисное обслуживание и техническую поддержку через авторизованную сеть сервисных центров по всей стране. HIPER — технологии, создающие возможности.
Яндекс — российская технологическая компания: начинала как поисковик, а сейчас это большая экосистема сервисов (поиск, карты, такси, музыка, маркетплейс и др.). Развивает ИИ-технологии и строит высоконагруженные системы.
NGENIX
VK — это более 200 технологичных и высоконагруженных проектов, свыше 15 000 сотрудников. ВКонтакте, ОК, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей. ВКонтакте — крупнейшая социальная сеть в России. Команда ВКонтакте разрабатывает технологические решения, которые отвечают критериям быстродействия, отказоустойчивости и качества, чтобы пользователи получали максимум для общения, работы, учебы, развлечения и творчества.
позже заполню
РТЛабс — разработчик Госуслуг. Мы развиваем цифровую экосистему портала gosuslugi.ru и работаем над тем, чтобы изменить представление о государственных сервисах. Команда РТЛабс работает по agile, и наша главная метрика — довольный пользователь.
Ви.Tech – Это компания занимающаяся разработкой для крупнейшего в россии DIY магазина
Т‑Банк — онлайн-экосистема, основанная на финансовых и лайфстайл-услугах. Клиентами Т‑Банка стали 52 млн человек по всей России. Т‑Банк — второй крупнейший банк страны по количеству активных клиентов
VK — это более 200 технологичных и высоконагруженных проектов, свыше 15 000 сотрудников. ВКонтакте, ОК, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей. ВКонтакте — крупнейшая социальная сеть в России. Команда ВКонтакте разрабатывает технологические решения, которые отвечают критериям быстродействия, отказоустойчивости и качества, чтобы пользователи получали максимум для общения, работы, учебы, развлечения и творчества.
AdminDivision — 15 лет, инфраструктура для высоконагруженных и бизнес-критичных систем: DevOps, Kubernetes, мониторинг. Впрод — вендор инфраструктурного софта, продукт LLMaaS: платформа для запуска LLM в production на open-source стеке.
RaiffeisenBank - один из системно значимых банков Россиию
Ozon Fintech — технологичное подразделение экосистемы Ozon, разрабатывающее инновационные финансовые сервисы для 30+ млн пользователей. Команда создаёт продукты с нуля на микросервисной архитектуре, самостоятельно реализуя ключевые системы: банковское ядро, процессинг, AML-платформы и интеграции с платёжными сервисами, минимизируя legacy-код.
Лидер трайба Цифровой ассистент в B2C.
Яндекс - технологическая компания.
Вебпрактик разрабатывает сервисы и продукты для крупнейших корпораций в стране, много лет входит в топы разработчиков в премиум-ценовом сегменте.
Спираль — агентство полного цикла в Telegram и Макс. Мы делаем контент и ведем рекламные кампании для большого количества бизнесов. Закрываем канал привлечения трафика и лидов для клиента целиком, от стратегии и текстов до закупки рекламы и автоматизации. Работаем четвёртый год, в команде 18 человек, все на удалёнке. Сайт https://spiral.agency/
Data Egret
МТС — мультисервисная цифровая экосистема и ведущий телеком-оператор в России. Компания развивает сервисы и продукты в сфере больших данных, искусственного интеллекта, облачного хранения, медиа и финансов, телекоммуникаций. Штат IT-специалистов превышает 9,5 тыс. человек.
Сбер — крупнейший банк в России, поставщик технологических решений и один из ведущих финансовых институтов страны. SberDevices — исторически технологический стартап внутри Сбера, который создал «умные» устройства Sber, Jazz (платформу видеозвонков), GigaChat и многое другое.
X5 Tech — IT-компания и основной цифровой партнёр торговых сетей и бизнесов X5. Команда из более 5000 специалистов разрабатывает решения, которые помогают более 417 тыс. сотрудникам группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты. Мы доказываем, что супермаркет — это тоже цифровой проект, в котором есть место большим данным, машинному зрению, мобильным приложениям и многому другому. В команде Х5 Tech сосредоточена экспертиза специалистов, которые отвечают за цифровое развитие всей компании.
Яндекс - технологическая компания.
https://www.sberbank.ru/
GoRunDebug - что пришло в голову когда пришла идея поработать над интересным для меня направление.
X5 Tech — IT-компания и основной цифровой партнёр торговых сетей и бизнесов X5. Команда из более 5000 специалистов разрабатывает решения, которые помогают более 417 тыс. сотрудникам группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты. Мы доказываем, что супермаркет — это тоже цифровой проект, в котором есть место большим данным, машинному зрению, мобильным приложениям и многому другому. В команде Х5 Tech сосредоточена экспертиза специалистов, которые отвечают за цифровое развитие всей компании.
Selectel — крупнейший независимый провайдер сервисов IT-инфраструктуры в России. Они создают облачные решения и предлагаем в аренду серверы, которые размещаем в своих дата-центрах в России. За каждым продуктом — опыт и экспертиза 1000+ сотрудников. Админы в Selectel работают с высоконагруженными сервисами, выстраивают и поддерживают инфраструктуру огромных масштабов. В компании 13 команд и направлений работы системных администраторов: от CloudOPS до Ceph-инженеров.
МТС — мультисервисная цифровая экосистема и ведущий телеком-оператор в России. Компания развивает сервисы и продукты в сфере больших данных, искусственного интеллекта, облачного хранения, медиа и финансов, телекоммуникаций. Штат IT-специалистов превышает 9,5 тыс. человек.
Битрикс24 — одна из крупнейших IT-компаний России. Уже более 25 лет создают продукты, которые помогают работать бизнесу во всем мире. В их онлайн-сервисе собраны все нужные инструменты для работы компании и управления бизнесом. Среди них: сервис для создания, поддержки и развития веб-проектов, готовый набор инструментов для совместной работы компании и CRM-система.
Грамант
VK — это более 200 технологичных и высоконагруженных проектов, свыше 15 000 сотрудников. ВКонтакте, ОК, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей. ВКонтакте — крупнейшая социальная сеть в России. Команда ВКонтакте разрабатывает технологические решения, которые отвечают критериям быстродействия, отказоустойчивости и качества, чтобы пользователи получали максимум для общения, работы, учебы, развлечения и творчества.
Лидерская кухня — проект для руководителей всех уровней (от линейного до C-level), направленный на развитие лидерских навыков, укрепление командных компетенций и повышение управленческой зрелости.
