Highload++ 2017 завершён!

Профессиональная конференция разработчиков высоконагруженных систем

СКОЛКОВО, Москва 7 и 8 ноября

11-я ежегодная конференция для разработчиков highload-систем, которая соберет   2 700 участников из разных регионов России и мира. Мероприятие направлено на обмен знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей.

Программа охватывает такие аспекты веб-разработок, как архитектуры крупных проектов, базы данных и системы хранения, системное администрирование, нагрузочное тестирование, эксплуатация крупных проектов и другие направления, связанные с высоконагруженными системами.

Горизонтальное масштабирование SQL Server на основе зависимой от данных маршрутизации
Основная секция

Доклад принят в Программу конференции
VK — это более 200 технологичных и высоконагруженных проектов, свыше 15 000 сотрудников. ВКонтакте, ОК, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей. ВКонтакте — крупнейшая социальная сеть в России. Команда ВКонтакте разрабатывает технологические решения, которые отвечают критериям быстродействия, отказоустойчивости и качества, чтобы пользователи получали максимум для общения, работы, учебы, развлечения и творчества.

Тезисы

Аннотация

Как известно, существуют два основных подхода к масштабированию приложений: вертикальное масштабирование, когда хостом выступает отдельная машина, вычислительные мощности которой наращиваются по мере необходимости, и горизонтальное масштабирование, когда вычислительная система состоит из группы однотипных серверов потребительского класса, работающих совместно. Повышение масштабируемости в этом случае осуществляется простым добавлением новых узлов в группу. Каждый подход имеет свои сильные и слабые стороны. В настоящем докладе разбираются условия, при которых предпочтительным вариантом является горизонтальное масштабирование в целом, и, в частности, метод, известный как зависимая от данных маршрутизация (Data Dependent Routing) при построени горизонтально масштабируемых систем. Доклад основывается на материалах лаборатории масштабирования SQL Server (SQL Server Scalability lab), занимавшейся практическим сценарием построения коммуникационной платформы для сайта MSN (The Microsoft Network). В качестве операционной системы выступала Microsoft Windows® Server™ 2003, Enterprise Edition.

Введение

Предыдущее десятилетие ознаменовалось взрывным ростом объемов данных. Сейчас, когда многие бизнес-приложения изначально ориентированы на работу в Интернете, компании взаимодействуют с миллионами он-лайновых пользователей, которые делают покупки, хранят сообщения электронной почты, просматривают финансовую информацию и т.д. Сердцем корпоративных информационных систем выступают, естественно, базы данных. SQL Server является одной из лидирующих платформ СУБД в центрах данных.

Каждое соединение и каждый запрос потребляют процессорное время, память, дисковые, сетевые и др.ресурсы. Поэтому традиционно масштабируемость достигалась путем апгрейда стандартных SMP-архитектур, когда в сервер ставились дополнительные процессоры, память, диски, сетевые карты и другое необходимое аппаратное обеспечение. Вертикальное масштабирование является достаточным в большинстве нынешних сценариев внедрения SQL Server. Однако машину нельзя апгрейдить до бесконечности. Когда мы ежесекундно имеем дело с миллионами пользовательских запросов могут происходить ситуации, когда сервер просто достигает предела своих аппаратных характеристик. В этом случае решение видится в горизонтальном масштабировании, когда данные и нагрузка распределяются по массиву из SMP-узлов.

Горизонтально масштабируемые системы «растут» добавлением узлов в массив. В идеале оно должно происходить прозрачно для пользователя. Равно как пользователя не должно заботить, на каком узле лежат потребные ему данные и кто из узлов в настоящий момент обрабатывает его запрос. Кластер программируется и управляется как единая система.

По аналогии с процессорной архитектурой стоит отметить, что к горизонтальному масштабированию также может применяться симметричный или асимметричный подход. В качестве иллюстрации последнего можно привести разбиение на основе сервисов, когда, например, каталог продукции располагается и обслуживается одним сервером БД, складской учет ведется на другом, корзины покупателей – на третьем и т.д. Промежуточный бизнес-слой «знает», к какому серверу обращаться по какому вопросу. Другая стратегия разбиения предполагает, что по узлам распределяются большие таблицы независимо от того, к какой БД/сервису они относятся. Этот подход носит более симметричный характер. Как бы то ни было, помимо разбиения, горизонтальное масштабирование ставит в более сложные условия процессы управления и администрирования массивов серверов, но имеет при этом следующие преимущества по сравнению с «монолитными» системами.

  • Массивы могут состоять из недорогих распространенных серверов потребительского класса, следовательно, минимальная дельта наращивания экономически эффективна.
  • Выход из строя узла не обязательно делает приложение недоступным.
  • Относительная независимость узлов облегчает повышение отказоустойчивости и высокой доступности.

Далее в докладе будут разобраны детали реализации и показатели производительности симметричного горизонтального решения на примере федерации серверов SQL Server 2005 для обслуживания сайта MSN.

Другие доклады секции
Основная секция

VK — это более 200 технологичных и высоконагруженных проектов, свыше 15 000 сотрудников. ВКонтакте, ОК, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей. ВКонтакте — крупнейшая социальная сеть в России. Команда ВКонтакте разрабатывает технологические решения, которые отвечают критериям быстродействия, отказоустойчивости и качества, чтобы пользователи получали максимум для общения, работы, учебы, развлечения и творчества.
МТС — мультисервисная цифровая экосистема и ведущий телеком-оператор в России. Компания развивает сервисы и продукты в сфере больших данных, искусственного интеллекта, облачного хранения, медиа и финансов, телекоммуникаций. Штат IT-специалистов превышает 9,5 тыс. человек.
Компания разрабатывает, продвигает и продаёт статический анализатор C, C++, C# и Java-кода PVS-Studio. Это инструмент для программистов, который экономит деньги компаний за счет раннего обнаружения программных ошибок и потенциальных уязвимостей путём анализа исходного кода.
R77.AI -- топ-3 ИИ-интегратор в РФ. Среди клиентов Сбер, Московская биржа, Альфа-Банк, Яндекс, МТС, Билайн и другие всем известные компании -- в том числе за рубежом. Специализируется на внедрении и разработке ИИ-решений, развивает собственную линейку frontier-продуктов . В штате высококлассные специалисты, выпускники МФТИ, ИТМО, ШАД и тд, лучшие инженеры, продакты, доменные эксперты.
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
VK — это более 200 технологичных и высоконагруженных проектов, свыше 15 000 сотрудников. ВКонтакте, ОК, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей. ВКонтакте — крупнейшая социальная сеть в России. Команда ВКонтакте разрабатывает технологические решения, которые отвечают критериям быстродействия, отказоустойчивости и качества, чтобы пользователи получали максимум для общения, работы, учебы, развлечения и творчества.
Компания разрабатывает, продвигает и продаёт статический анализатор C, C++, C# и Java-кода PVS-Studio. Это инструмент для программистов, который экономит деньги компаний за счет раннего обнаружения программных ошибок и потенциальных уязвимостей путём анализа исходного кода.
Венчурный фонд ФРИИ. 450+ инвестиций с 2013 года. Самый большой по количеству инвестиций фонд в России. Среди инвестиций: Vision Labs, Flowwow, Pravo.tech, Unim Histology, Promobot… Акселератор ФРИИ. В различных рейтингах акселераторов топ-10/топ-20 в мире. 2000+ IТ-компаний, прошедших программы акселерации. Naumen.ru. 1000+ сотрудников, лидер в сегментах рынка программных продуктов Service Desk и Call-центров.
Компания «Эрливидео» cуществует с 2010 года и известна в мире под брендом Flussonic. Разрабатывают продукты Fussonic Media Server и Flussonic Watcher — это ПО, с помощью которого клиенты компании запускают IPTV, OTT и сервисы облачного видеонаблюдения. Клиенты «Эрливидео» — это крупные операторы связи, онлайн-кинотеатры, операторы видеонаблюдения, госструктуры, провайдеры и корпорации. Тысячи клиентов пользуются продуктами Flussonic, более чем в 100 странах мира, доставляя видео сотням тысяч пользователей. У «Эрливидео» нет авралов, рутины, бюрократии, простых задач, интриг и недооцененных сотрудников. Находятся в поиске талантливых коллег, единомышленников и визионеров, которые будут вместе с ними развивать рынок и индустрию медиастриминга в мире.
Raft — это компания, которая специализируется на разработке и интеграции решений с использованием новейших AI-технологий.
Trisigma — собственная разработка Авито для проведения и анализа A/B-экспериментов. Платформа помогает продуктовым и аналитическим командам управлять экспериментами, рассчитывать и хранить продуктовые метрики и анализировать результаты в единой системе.
Нейросеть "Искра" помогает решать рабочие задачи с ИИ: документы, аналитика, планирование, обучение, переводы и отчёты. Доступно на компьютере, в телефоне и в Telegram. Искра работает с вашими файлами и сервисами: читает и создаёт документы, таблицы и презентации, разбирает почту, ведёт календарь и задачи, делает вычисления и исследования. Она помнит контекст вашей работы и подключается к корпоративным источникам. Для компании это управляемый контур: доступы, роли и данные остаются под контролем, включая развёртывание в закрытом периметре.
Raft — это компания, которая специализируется на разработке и интеграции решений с использованием новейших AI-технологий.
Компания разрабатывает, продвигает и продаёт статический анализатор C, C++, C# и Java-кода PVS-Studio. Это инструмент для программистов, который экономит деньги компаний за счет раннего обнаружения программных ошибок и потенциальных уязвимостей путём анализа исходного кода.
МФТИ / Физтех — ведущий российский исследовательский университет. Насчитывает 10 Нобелевских лауреатов. В топ‑100 глобального рейтинга Times Higher Education. Десятки научных школ, международные лаборатории, одни из сильнейших программ.
Райффайзен Банк, один из самых надежных российских банков, который создает финансовые решения для частных и корпоративных клиентов
ЕДИНЫЙ ЦУПИС (https://1cupis.ru/) развивает платежные и цифровые сервисы в регулируемой индустрии развлечений. Обслуживает более 19 млн клиентов по всей России, обеспечивает более 2,5 млн платежей в сутки, с доступностью сервиса свыше 99,99%. Компания включена Банком России в реестр кредитных организаций, значимых на рынке платежных услуг. Реализует механизм удержания целевых отчислений на поддержку отечественного спорта – на конец I полугодия 2026 года на эти цели перечислено порядка 122 млрд рублей.
«Инфосистемы Джет» входит в десятку крупнейших ИТ-компаний России и в ТОП-5 поставщиков ИТ-услуг.
X5 Tech — IT-компания и основной цифровой партнер X5 Group. Мы разрабатываем онлайн и офлайн-решения, которые помогают более 392 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей — быстро и удобно покупать свежие продукты.
MiOps — провайдер IT-решений, который помогает бизнесу создавать, развивать и поддерживать современную инфраструктуру цифровых продуктов. Мы автоматизируем процессы разработки и эксплуатации, строим отказоустойчивые платформы, внедряем технологии искусственного интеллекта и обеспечиваем стабильную работу критически важных сервисов.
Cbonds - информационное агентство, специализирующееся в сфере финансовых рынков. Компания осуществляет деятельность по следующим направлениям бизнеса: разработка информационных сайтов (Cbonds.ru, Investfunds.ru), развитие каналов предоставления данных: API, мобильное приложение, надстройки ADD-IN, а также издательская деятельность (журнал Cbonds Review). Среди клиентов региональные банки, управляющие активами, брокерские компании, семейные офисы и частные инвесторы со всего мира.
VK развивает более 200 технологичных проектов, которыми пользуются миллионы людей. VK Team — это 15 тысяч профессионалов, которые создают удобные сервисы для миллионов людей.
SberDevices — это компания полного цикла. Мы создаём идеи, самостоятельно разрабатываем продукты, занимаемся прототипированием, конструированием, придумываем дизайн, программные решения, контролируем качество на фабриках и создаём инструменты для аппаратного тестирования.
Т-Банк — финансовая онлайн-экосистема, объединяющая полный спектр финансовых услуг для частных лиц и бизнеса. Особое внимание Т-Банк уделяет развитию лайфстайл-банкинга: экосистема дает клиентам возможность анализировать и планировать личные траты, инвестировать сбережения, получать бонусы в рамках программ лояльности, бронировать путешествия, покупать билеты в кино, бронировать столики в ресторанах и делать многое другое.
BI.ZONE — компания по управлению цифровыми рисками. Мы создаем IT-продукты для обеспечения кибербезопасности: от мобильных приложений до сложных платформ, в основе которых лежат методы машинного обучения.
МТС — мультисервисная цифровая экосистема и ведущий телеком-оператор в России. Компания развивает сервисы и продукты в сфере больших данных, искусственного интеллекта, облачного хранения, медиа и финансов, телекоммуникаций. Штат IT-специалистов превышает 9,5 тыс. человек.
Вебпрактик разрабатывает сервисы и продукты для крупнейших корпораций в стране, много лет входит в топы разработчиков в премиум-ценовом сегменте.
Яндекс — одна из крупнейших технологических компаний России с собственными разработками в области искусственного интеллекта. Подразделение автономного транспорта развивает технологии беспилотного вождения: собственный стек автономного управления, парк беспилотных автомобилей и роботов-доставщиков, работающих в реальных городских условиях, и инфраструктуру сбора и анализа данных проездов, на которых обучаются и проверяются алгоритмы.
VK развивает более 200 технологичных проектов, которыми пользуются миллионы людей. VK Team — это 15 тысяч профессионалов, которые создают удобные сервисы для миллионов людей.
Trisigma — собственная разработка Авито для проведения и анализа A/B-экспериментов. Платформа помогает продуктовым и аналитическим командам управлять экспериментами, рассчитывать и хранить продуктовые метрики и анализировать результаты в единой системе.
Ведущий разработчик и производитель телекоммуникационного оборудования в Российской Федерации.
Raft — это компания, которая специализируется на разработке и интеграции решений с использованием новейших AI-технологий.
Gaijin Entertainment - международная игровая компания, разработчик War Thunder, одной из крупнейших военных онлайн-игр в мире. Мы активно внедряем AI в производственные процессы: генерация 3D-контента, AI-инструменты для разработчиков, автоматизация игровых пайплайнов.
VK — это более 200 технологичных и высоконагруженных проектов, свыше 15 000 сотрудников. ВКонтакте, ОК, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей. ВКонтакте — крупнейшая социальная сеть в России. Команда ВКонтакте разрабатывает технологические решения, которые отвечают критериям быстродействия, отказоустойчивости и качества, чтобы пользователи получали максимум для общения, работы, учебы, развлечения и творчества.
BI.ZONE — компания по управлению цифровыми рисками. Мы создаем IT-продукты для обеспечения кибербезопасности: от мобильных приложений до сложных платформ, в основе которых лежат методы машинного обучения.
Rambler's Top100