p2p & edge-to-edge: разоблачая необходимость высоких нагрузок Основная секция
Доклад принят в Программу конференции
IT_One — компания по разработке программного обеспечения для крупных игроков российского бизнеса и созданию собственных технологических решений и инноваций. Наша команда реализует крупнейшие проекты цифровой трансформации страны.
Тезисы
Hl09 P2p Ever Mesh Pantyukhin
View more documents from HighLoad2009.
Тезисы:
- Codename: EverMesh
- Homepage: http://wiki.cenkes.org/Cenkes/EverMesh
- Аудитория: стратеги-мечтатели, armchair generals, ИТ-архитекторы
- Buzzwords: p2p, edge-to-edge, mesh, grid, distributed, mashup
Концептуальный взгляд на вытеснение высоких нагрузок технологиями p2p, edge-to-edge, распределёнными вычислениями и повсеместным meshing — в любом ИТ-процессе и сервисе, от физических подключений до гипертекстового веба, от коммуникаций реального времени до управления базами знаний, от написания кода до доставки контента.
Это одна из моих больных псевдо-исследовательских тем. О том, что высокие нагрузки — результат неправильного подхода к использованию сети. О том, что за последние 20 лет никто не освоил радикально новых бизнес-моделей и валютой интернет-бизнеса остаётся трафик (в широком смысле).
Всё это пока звучит странно, но в этом году уже неожиданно зазвенели звоночки типа Google Wave и Opera Unite. До этого появлялись mashup-редакторы, из которых Microsoft Popfly и Google Mashup Editor уже скончались, но Yahoo Pipes и Mozilla Ubiquity набирают обороты.
Я бы хотел рассказать о переходах central server — decentralized servers — distributed servers — CDN — p2p в вебе и о движении от сервисов к стандартам вообще. На идеологическом, технологическом и коммерческом уровнях.
*Насколько это реально именно в вебе? Или это только идея?*
Технически вполне реально. Более того, зачаточные решения показывали работоспособность ещё в 90-х (например, рабочий и широко использовавшийся edge-to-edge есть в squid уже очень давно, просто web2.0 требует пересмотра технологии). Сейчас тяжёлый веб-контент переползает на p2p: поддержка есть во flash 10 и других плагинах. Для Firefox давно есть XMPP-extension, это p2p-ориентированный протокол, готовый эффективно передавать всё, от html до звука и видео.
Короче, остаётся только соединить точки. Доклад теоретический, идейно-аналитический. Никакой практики, только красивые разговоры :)
Дисклеймер: эта тема НЕ о том, как ускорить сервер в 100 раз, хостить порно со спокойной совестью или зарабатывать $1000 в час, просто кликая мышкой.
Другие доклады секции Основная секция
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Компания Last.Backend занимается созданием DevOps технологий и продуктов. Имеет собственную систему оркестровки контейнеров аналога kubernetes. Так же занимается DevOps акселерацией компаний, помогая в кратчайшие сроки получить качественную автоматизированную инфраструктуру под проект с дальнейшим 24/7 мониторингом.
AG-legal - ведущая юридическая консалтинговая компания в области IT-права, предоставляет полное юридическое сопровождение для IT-компаний. Помимо участия в конференциях проводят вебинары, пишут экспертные статьи на vc.ru и активно участвуют в формировании судебной практики в спорах айти-компаний.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
IT_One — компания по разработке программного обеспечения для крупных игроков российского бизнеса и созданию собственных технологических решений и инноваций. Наша команда реализует крупнейшие проекты цифровой трансформации страны.
Vi.Tech — это дочерняя компания ВсеИнструменты.ру, в которой мы делаем IT-продукты для одного из крупнейших игроков на рынке e-commerce.
VK — это более 200 технологичных проектов, свыше 11 000 сотрудников и более 20 лет опыта создания высоконагруженных интернет-сервисов. ВКонтакте, Одноклассники, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей по всей стране.
СберМаркет (ООО «Инстамарт Технолоджис») — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда СберМаркета создает один из самых сложных высоконагруженных e-commerce-проектов в России и делает это с любовью.
Компромиссная производительность (или какой логикой руководствуются владельцы коммерческих ресурсов)
ВКонтакте — крупнейшая социальная сеть в России и странах СНГ. Мы ставим перед собой масштабные вызовы и делаем технологии доступными для каждого пользователя. ВКонтакте помогает решать любые повседневные задачи — и даже больше!
Wildberries является крупнейшим интернет-магазином России по объему онлайн-продаж согласно данным аналитического агентства Data Insight. Wildberries входит в десятку крупнейших интернет-ресурсов России по посещаемости по данным SimilarWeb.
Яндекс Go — это суперапп, предоставляющий сервисы, связанные с передвижением по городу. Он объединяет водителей и курьеров в сервисах для заказа такси, доставки и транспортировки грузов.
СберМаркет (ООО «Инстамарт Технолоджис») — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда СберМаркета создает один из самых сложных высоконагруженных e-commerce-проектов в России и делает это с любовью.
Yandex Cloud — публичная облачная платформа, которая предоставляет корпорациям, среднему бизнесу и частным разработчикам масштабируемую инфраструктуру, сервисы хранения данных, инструменты машинного обучения и средства разработки.
VK — это более 200 технологичных проектов, свыше 11 000 сотрудников и более 20 лет опыта создания высоконагруженных интернет-сервисов. ВКонтакте, Одноклассники, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей по всей стране.
Yandex Cloud — публичная облачная платформа, которая предоставляет корпорациям, среднему бизнесу и частным разработчикам масштабируемую инфраструктуру, сервисы хранения данных, инструменты машинного обучения и средства разработки.
Команда Тинькофф — это разработчики, продакт-менеджеры, дизайнеры, маркетологи, аналитики, тестировщики, SRE-инженеры и другие специалисты. Вместе они создают новые и развивают существующие финтех-продукты, которыми пользуются 25 миллионов клиентов и каждый из нас.
Грамант
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
Vi.Tech — это дочерняя компания ВсеИнструменты.ру, в которой делают IT-продукты для одного из крупнейших игроков на рынке e-commerce.
Дзен — это контентная платформа, ленту рекомендаций которой ежедневно используют более 20 млн пользователей. Отталкиваясь от интересов каждого пользователя, Дзен собирает ленту из статей, видео, коротких видео и постов.
Evrone — это более 15 лет опыта в разработке высоконагруженных и ресурсоемких проектов со сложной бизнес-логикой, в продуктовой разработке для стартапов, аудите и консалтинге. Команда обладает экспертизой в Ruby, Go, Python, Rust, Elixir, React.js, Vue.js и приветствует Open Source-инициативы.
Авито, Sphinx
Sidero Labs: we deliver better ways to run Kubernetes. Облегчаем жизнь обладателям больших и маленьких кластеров Kubernetes с помощью Talos Linux и Sidero Omni.
Один из крупнейших в РФ онлайн-сервисов по заказу лекарств.
Data Egret
СберМаркет (ООО «Инстамарт Технолоджис») — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда СберМаркета создает один из самых сложных высоконагруженных e-commerce-проектов в России и делает это с любовью.
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
Tempesta Technologies
Университет, который занимается как образовательной деятельностью, так и научными разработками.
AG-legal - ведущая юридическая консалтинговая компания в области IT-права, предоставляет полное юридическое сопровождение для IT-компаний. Помимо участия в конференциях проводят вебинары, пишут экспертные статьи на vc.ru и активно участвуют в формировании судебной практики в спорах айти-компаний.
Команда Тинькофф — это разработчики, продакт-менеджеры, дизайнеры, маркетологи, аналитики, тестировщики, SRE-инженеры и другие специалисты. Вместе они создают новые и развивают существующие финтех-продукты, которыми пользуются 25 миллионов клиентов и каждый из нас.
Дзен — контентная платформа, которой каждый месяц пользуются 32,5 миллиона человек. Рекомендательные алгоритмы отбирают контент для персональных лент пользователей от 100 тысяч авторов из почти 5 миллионов возможных вариантов.
В ScrumTrek мы уже 17 лет помогаем компаниям внедрять инновации и продуктовый подход, проводить трансформацию, обучать людей и повышать эффективность бизнеса при помощи гибких практик управления. Также мы организуем крупные конференции: AgileDays и ArchDays, которые собирают сотни людей с новыми идеями и занимательными кейсами.
Райффайзен Банк — часть австрийской банковской группы Raiffeisen Bank International. Работают в России с 1996 года и входят в тройку самых надежных российских банков по версии Forbes. В команде Райфа более 1500 IT-специалистов, которые работают над продуктами будущего и развивают финтех в России. И не любят легаси.
VK — это более 200 технологичных проектов, свыше 11 000 сотрудников и более 20 лет опыта создания высоконагруженных интернет-сервисов. ВКонтакте, Одноклассники, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей по всей стране.
«Газпромбанк» (Акционерное общество) — один из крупнейших универсальных финансовых институтов России, предоставляющий широкий спектр продуктов и услуг корпоративным и частным клиентам, финансовым институтам, институциональным и частным инвесторам.
VK — это более 200 технологичных проектов, свыше 11 000 сотрудников и более 20 лет опыта создания высоконагруженных интернет-сервисов. ВКонтакте, Одноклассники, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей по всей стране.
AG-legal - ведущая юридическая консалтинговая компания в области IT-права, предоставляет полное юридическое сопровождение для IT-компаний. Помимо участия в конференциях проводят вебинары, пишут экспертные статьи на vc.ru и активно участвуют в формировании судебной практики в спорах айти-компаний.
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
Kinescope — видеоинфраструктура для интернета. Помогают бизнесу раскрыть потенциал профессиональных видеорешений для своих задач. Объединяют все необходимое для хранения, обработки, CDN-доставки и защиты видео в одном месте. Продукты Kinescope подходят как для стартапов, так и для компаний из списка РБК500 и государственных предприятий с высокими нагрузками и сложной логикой.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
NGENIX
YADRO известна как разработчик и производитель всего, что можно увидеть в серверной и ЦОД: систем хранения данных, серверов, коммутаторов. С недавних пор компания также создает телеком-оборудование операторского класса. Go-разработчики заняты как в развитии СХД, так и в телеком-направлении.
beCloud является одним из ведущих поставщиков облачных решений, ИТ-инфраструктуры и хостинга в Беларуси. Провайдер оказывает услуги на базе опорной сети для Единой сети передачи данных и Республиканского центра обработки данных, основываясь на лучших мировых практиках и инновационном опыте лидеров. Компания, основанная 19 декабря 2012 года, стала первым инфраструктурным оператором страны.
YADRO известна как разработчик и производитель всего, что можно увидеть в серверной и ЦОД: систем хранения данных, серверов, коммутаторов. С недавних пор компания также создает телеком-оборудование операторского класса. Go-разработчики заняты как в развитии СХД, так и в телеком-направлении.
Дзен — это контентная платформа, ленту рекомендаций которой ежедневно используют более 20 млн пользователей. Отталкиваясь от интересов каждого пользователя, Дзен собирает ленту из статей, видео, коротких видео и постов.
AG-legal - ведущая юридическая консалтинговая компания в области IT-права, предоставляет полное юридическое сопровождение для IT-компаний. Помимо участия в конференциях проводят вебинары, пишут экспертные статьи на vc.ru и активно участвуют в формировании судебной практики в спорах айти-компаний.
Samokat.tech — продуктово-технологическая команда, которая делает ИТ для ритейла реального времени. От доставки продуктов и товаров для дома за 15 минут до развития нового слоя городской инфраструктуры для мгновенной доставки любых товаров – с помощью технологий.
Мы международная IT-компания. Наши ключевые направления – разработка кроссплатформенных мобильных приложений на Flutter и высоконагруженных проектов любой сложности. Мы реализуем все этапы разработки: от прототипирования и дизайна до тестирования и поддержки. В портфолио Фрифлекс – более 80 разработанных мобильных приложений, установленных в смартфонах у миллионов пользователей.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У нас десятки тысяч rps к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
IT_One — компания по разработке программного обеспечения для крупных игроков российского бизнеса и созданию собственных технологических решений и инноваций. Наша команда реализует крупнейшие проекты цифровой трансформации страны.
VK — это более 200 технологичных проектов, свыше 11 000 сотрудников и более 20 лет опыта создания высоконагруженных интернет-сервисов. ВКонтакте, Одноклассники, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей по всей стране.
VK Cloud — платформа с широким набором облачных сервисов для эффективной разработки и работы с данными для компаний любого масштаба. VK Cloud входит в портфель решений VK Tech и базируется на многолетнем опыте развития интернет-сервисов и технологий на базе открытого кода.
Дзен — контентная платформа, которой каждый месяц пользуются 32,5 миллиона человек. Рекомендательные алгоритмы отбирают контент для персональных лент пользователей от 100 тысяч авторов из почти 5 миллионов возможных вариантов.
Команда Тинькофф — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются более 38 миллионов клиентов. Тинькофф развивает IT-индустрию, поддерживает комьюнити и делится экспертизой.
Samokat.tech — продуктово-технологическая команда, которая делает IТ для ретейла реального времени. От доставки продуктов и товаров для дома за 15 минут до развития нового слоя городской инфраструктуры для мгновенной доставки любых товаров — с помощью технологий.
Kinescope — видеоинфраструктура для интернета. Помогают бизнесу раскрыть потенциал профессиональных видеорешений для своих задач. Объединяют все необходимое для хранения, обработки, CDN-доставки и защиты видео в одном месте. Продукты Kinescope подходят как для стартапов, так и для компаний из списка РБК500 и государственных предприятий с высокими нагрузками и сложной логикой.
