Highload++ 2017 завершён!

Профессиональная конференция разработчиков высоконагруженных систем

СКОЛКОВО, Москва 7 и 8 ноября

11-я ежегодная конференция для разработчиков highload-систем, которая соберет   2 700 участников из разных регионов России и мира. Мероприятие направлено на обмен знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей.

Программа охватывает такие аспекты веб-разработок, как архитектуры крупных проектов, базы данных и системы хранения, системное администрирование, нагрузочное тестирование, эксплуатация крупных проектов и другие направления, связанные с высоконагруженными системами.

Особенности виртуального UNIX-хостинга и основные проблемы нагрузочного характера
Основная секция

Доклад принят в Программу конференции
NGENIX

Технический директор NGENIX CDN. 18 лет работы с internet-проектами, глубокий технический бэкграунд в области разработки и эксплуатации облачных сервисов, сетевой инфраструктуры и ЦОД. 15 лет на ключевых позициях лидеров отрасли. Уверен, что только команда может свернуть горы, поэтому активно занимается вопросами управления проектами и командами.

Тезисы

Тезисы:

Особенности виртуального UNIX-хостинга и основные проблемы нагрузочного характера

Рассмотрим типовую структуру хостинговой системы.

Базовое ПО и бОльшая часть системных ресурсов на типовом виртуальном хостинге общая и штатным средствами четко не делится. Причем основным узким местом в случае разумных настроек системы обычно являются процессорные ресурсы, реже - память, и только на последнем месте дисковая подсистема.

Основные проблемные места:

  • web-сервер (для хостинга apache - стандарт де-факто):
  • сам web-сервер (раздача контента)
  • обработка пользовательских правил (rewrite и т.п.)
  • обработка пользовательских скриптов модулями сервера (php и т.п.)
  • скрипты пользователей
  • сервер БД (чаще всего MySQL)
  • другие общесистемные процессы, нагруженные в результате действий пользователей (например, отправка большого количества почты)

Мы рассмотрим, каким образом в разных случаях распределяются ресурсы по пользователям, как они лимитируются стандатными средствами и какие при этом возникают сложности.

Типовые методы выявления проблемных ресурсов и предотвращения типовых проблем

В данном разделе мы рассмотрим типовые причины появления высокой нагрузки на рассмотренных выше участках и достаточно стандартные действия, позволяющие как предотвратить чрезмерный рост нагрузки, так и локализовать узкое место и ресурс, создающий нагрузку. Эти процедуры далеко не всегда эффективны и иногда занимают заметное время, но сама схема виртуального хостинга и используемое ПО часто не оставляют других стандартных вариантов.

Варианты доработки хостинговой системы для увеличения эффективности работы с нагрузками

В этом разделе мы рассмотрим возможные механизмы автоматизации и варианты доработки хостинговой среды (от простого к сложному), позволяющие эффективнее работать с нагрузками на разных стадиях:

  • автоматизация ручных операций для минимизации времени реагирования и снижения затрат
  • простые и эффективные доработки web-сервера (apache)
  • простые доработки сервера БД MySQL

Другие доклады секции
Основная секция

Строят публичную облачную платформу Yandex Cloud, чтобы дать компаниям доступ к технологиям и сервисам, которые проверены нагрузками Яндекса. Продукты Yandex Cloud — это масштабируемая инфраструктура, сервисы хранения данных, инструменты машинного обучения и средства разработки.
Маркет позволяет покупателям заказывать товары прямо из дома и получать заказы по всей стране, а партнёрам — развивать свой бизнес, повышая продажи и привлекая новых клиентов. Для этого команда Маркета строит архитектуру так, чтобы можно было быстро делать новые фичи и не ломать важные сценарии, учится выдерживать многократный рост нагрузки и не перерасходовать ресурсы, следит, чтобы сайт Маркета работал как надо. У них есть целый арсенал технологий: микросервисы и микрофронты, тыквы и gracefull degradation, отложенная обработка запросов и автоматические системы нагрузочного тестирования. Изменяют архитектуру всех сервисов Маркета и помогают продуктовым командам быстро и безопасно развиваться.
IT_One — компания по разработке программного обеспечения для крупных игроков российского бизнеса и созданию собственных технологических решений и инноваций. Наша команда реализует крупнейшие проекты цифровой трансформации страны.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Команда Яндекс 360 создает продукты, которые решают повседневные задачи миллионов пользователей: от хранения воспоминаний до деловой переписки. В Яндекс 360 входят Почта, Диск, Документы, Телемост, Календарь, Заметки и Мессенджер
VK - Продукты для бизнесов и покупателей (Проект Юла)
VK — это более 200 технологичных проектов, свыше 11 000 сотрудников и более 20 лет опыта создания высоконагруженных интернет-сервисов. ВКонтакте, Одноклассники, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей по всей стране.
Evrone — это более 15 лет опыта в разработке высоконагруженных и ресурсоемких проектов со сложной бизнес-логикой, в продуктовой разработке для стартапов, аудите и консалтинге. Команда обладает экспертизой в Ruby, Go, Python, Rust, Elixir, React.js, Vue.js и приветствует Open Source-инициативы.
«Яндекс.Метрика» — бесплатный интернет-сервис компании Яндекс, предназначенный для оценки посещаемости веб-сайтов и анализа поведения пользователей. По данным w3techs.com, в 2019 году Яндекс. Метрика являлась третьей по размеру системой веб-аналитики в Европе. По данным «Лаборатории Касперского», в 2021-2022 годах она была самым распространенным трекинговым сервисом в России и странах СНГ.
beCloud является одним из ведущих поставщиков облачных решений, ИТ-инфраструктуры и хостинга в Беларуси. Провайдер оказывает услуги на базе опорной сети для Единой сети передачи данных и Республиканского центра обработки данных, основываясь на лучших мировых практиках и инновационном опыте лидеров. Компания, основанная 19 декабря 2012 года, стала первым инфраструктурным оператором страны.
Строят публичную облачную платформу Yandex Cloud, чтобы дать компаниям доступ к технологиям и сервисам, которые проверены нагрузками Яндекса. Продукты Yandex Cloud — это масштабируемая инфраструктура, сервисы хранения данных, инструменты машинного обучения и средства разработки.
СберМаркет (ООО «Инстамарт Технолоджис») — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда СберМаркета создает один из самых сложных высоконагруженных e-commerce-проектов в России и делает это с любовью.
Garage Eight — международная продуктовая IT-компания. Создаем экосистему финансовых продуктов и сервисов на зарубежных рынках. К 2024 году у наших продуктов сотни тысяч активных пользователей в 183 странах.
«Флант» — лидер российского рынка DevOps и Kubernetes. №1 контрибьютор Kubernetes из России и единственный в России сертифицированный CNCF-поставщик услуг по Kubernetes (KCSP). С 2008 года занимается созданием и обслуживанием ИТ-инфраструктуры для критичных бизнес-приложений, с 2021 года предлагает продукты собственной разработки — экосистему решений Deckhouse для надежной enterprise-инфраструктуры. В 2023 году объединились с «Экспресс 42», и сегодня компания является вендором ПО и сервисной компанией по построению DevOps-решений под ключ.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
СберМаркет (ООО «Инстамарт Технолоджис») — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда СберМаркета создает один из самых сложных высоконагруженных e-commerce-проектов в России и делает это с любовью.
Райффайзен Банк — часть австрийской банковской группы Raiffeisen Bank International; работает в России с 1996 года и входит в тройку самых надежных российских банков по версии Forbes. В команде банка более 3000 IT-специалистов, которые работают над продуктами будущего и развивают финтех в России. И не любят легаси.
KTS Студия. На данный момент работаю в штате команды MLOps AlfaBank.
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
Компания Last.Backend занимается созданием DevOps технологий и продуктов. Имеет собственную систему оркестровки контейнеров аналога kubernetes. Так же занимается DevOps акселерацией компаний, помогая в кратчайшие сроки получить качественную автоматизированную инфраструктуру под проект с дальнейшим 24/7 мониторингом.
Строят публичную облачную платформу Yandex Cloud, чтобы дать компаниям доступ к технологиям и сервисам, которые проверены нагрузками Яндекса. Продукты Yandex Cloud — это масштабируемая инфраструктура, сервисы хранения данных, инструменты машинного обучения и средства разработки.
Яндекс 360 — это виртуальное пространство, в котором собраны сервисы для работы и повседневных задач: Почта, Диск для хранения файлов, Телемост с видеозвонками, Документы, Мессенджер, Рассылки, Заметки и Календарь. Яндекс 360 помогает организовать работу как одному человеку, так и целой команде организации в рамках продуктов Яндекс 360 для бизнеса.
Предоставляют полный цикл DevOps-услуг и сопутствующие программные продукты.
Samokat.tech — продуктово-технологическая команда, которая делает IТ для ритейла реального времени. От доставки продуктов и товаров для дома за 15 минут до развития нового слоя городской инфраструктуры для мгновенной доставки любых товаров — с помощью технологий.
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
Ozon — лидирующая платформа e-commerce в России. В команде Ozon Tech 3 800 инженеров — и она продолжает расти. Десятки миллионов людей пользуются сервисами Ozon, их IT-инфраструктура управляет миллионами процессов каждый час. Микросервисы на Go и C#, в стеке технологий есть Vue.js, Swift и Kotlin, Kubernetes, Kafka, Hadoop и ClickHouse.
Команда Тинькофф — это разработчики, продакт-менеджеры, дизайнеры, маркетологи, аналитики, тестировщики, SRE-инженеры и другие специалисты. Вместе они создают новые и развивают существующие финтех-продукты, которыми пользуются 25 миллионов клиентов и каждый из нас.
IT_One — компания по разработке программного обеспечения для крупных игроков российского бизнеса и созданию собственных технологических решений и инноваций. Наша команда реализует крупнейшие проекты цифровой трансформации страны.
IT_One — компания по разработке программного обеспечения для крупных игроков российского бизнеса и созданию собственных технологических решений и инноваций. Наша команда реализует крупнейшие проекты цифровой трансформации страны.
Яндекс Go — это суперапп, предоставляющий сервисы, связанные с передвижением по городу. Он объединяет водителей и курьеров в сервисах для заказа такси, доставки и транспортировки грузов.
ГК Юзтех входит в топ-15 лидеров разработки программного обеспечения на российском рынке согласно рейтингу CNews Analytics и в топ-7 лучших IT-работодателей России в 2022 г. по версии HH и Хабр. С 2006 года ГК Юзтех осуществляет полный спектр работ в области заказной разработки ПО для своих Заказчиков в отраслях: ретейл, финансы, телеком, IТ и в государственном секторе. Несколько фактов о ГК Юзтех: • 2000+ успешных проектов; • 50+ постоянных заказчиков; • 8 офисов по всей России; • больше половины топ-20 банков России — клиенты компании; • больше половины топ-10 российских FMCG-сетей — клиенты компании; • многие корпорации из Fortune 1000 — клиенты компании; • 20+ млн. пользователей ежедневно используют программные решения ГК Юзтех; • 60% сотрудников уровня Senior.
Samokat.tech — продуктово-технологическая команда, которая делает ИТ для ритейла реального времени. От доставки продуктов и товаров для дома за 15 минут до развития нового слоя городской инфраструктуры для мгновенной доставки любых товаров – с помощью технологий.
Vi.Tech — это дочерняя компания ВсеИнструменты.ру, в которой делают IT-продукты для одного из крупнейших игроков на рынке e-commerce.
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У нас около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Мы работаем над созданием удобных онлайн-сервисов в самых разных сферах.
Samokat.tech — продуктово-технологическая команда, которая делает IТ для ретейла реального времени. От доставки продуктов и товаров для дома за 15 минут до развития нового слоя городской инфраструктуры для мгновенной доставки любых товаров — с помощью технологий.
Компания «Эрливидео» cуществует с 2010 года и известна в мире под брендом Flussonic. Мы разрабатываем продукты Fussonic Media Server и Flussonic Watcher — это ПО, с помощью которого наши клиента запускают IPTV, OTT и сервисы облачного видеонаблюдения. Наши клиенты — это крупные операторы связи, онлайн кинотеатры, операторы видеонаблюдения, гос.структуры, провайдеры и корпорации.Тысячи клиентов пользуются продуктами Flussonic, более чем в 100 странах мира, доставляя видео сотням тысяч пользователей. У нас нет авралов, рутины, бюрократии, простых задач, интриг и неодооцененных сотрудников. Мы в поиске талантливых коллег, единомышленников и визионеров, которые будут вместе с нами развивать рынок и индустрию медиастримминга в мире.
Группа «Иннотех» — это современная высокотехнологичная быстроразвивающаяся ИТ-компания, входит в Холдинг Т1. С 2020 года мы разрабатываем инновационные решения для цифровизации бизнеса. Группа «Иннотех» выстраивает партнерские отношения с ведущими компаниями финансового сектора, предлагая им комплексные решения для фронт- и бэк-офисов, современные финтех-продукты, системы работы с большими данными. Кроме того, группа «Иннотех» выполняет на заказ технологические проекты любой сложности, помогая своим клиентам на пути цифровой трансформации.
AG-legal - ведущая юридическая консалтинговая компания в области IT-права, предоставляет полное юридическое сопровождение для IT-компаний. Помимо участия в конференциях проводят вебинары, пишут экспертные статьи на vc.ru и активно участвуют в формировании судебной практики в спорах айти-компаний.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Cloud.ru облачный провайдер, предоставляющий облачные решения и экспертную поддержку для бизнес-задач. Атмосфера стартапа, создание инноваций, клиентоцентричный подход –– это все мы, люди Cloud.
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
«Газпромбанк» (Акционерное общество) — один из крупнейших универсальных финансовых институтов России, предоставляющий широкий спектр продуктов и услуг корпоративным и частным клиентам, финансовым институтам, институциональным и частным инвесторам.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
ВКонтакте — крупнейшая социальная сеть в России и странах СНГ. Мы ставим перед собой масштабные вызовы и делаем технологии доступными для каждого пользователя. ВКонтакте помогает решать любые повседневные задачи — и даже больше!
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
СберМаркет (ООО «Инстамарт Технолоджис») — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда СберМаркета создает один из самых сложных высоконагруженных e-commerce-проектов в России и делает это с любовью.
KTS Студия. На данный момент работаю в штате команды MLOps AlfaBank.
Ozon — лидирующая платформа e-commerce в России. В команде Ozon Tech 3 800 инженеров — и она продолжает расти. Десятки миллионов людей пользуются сервисами Ozon, их IT-инфраструктура управляет миллионами процессов каждый час. Микросервисы на Go и C#, в стеке технологий есть Vue.js, Swift и Kotlin, Kubernetes, Kafka, Hadoop и ClickHouse.
Команда Тинькофф — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются более 38 миллионов клиентов. Тинькофф развивает IT-индустрию, поддерживает комьюнити и делится экспертизой.
Rambler's Top100