Highload++ 2017 завершён!

Профессиональная конференция разработчиков высоконагруженных систем

СКОЛКОВО, Москва 7 и 8 ноября

11-я ежегодная конференция для разработчиков highload-систем, которая соберет   2 700 участников из разных регионов России и мира. Мероприятие направлено на обмен знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей.

Программа охватывает такие аспекты веб-разработок, как архитектуры крупных проектов, базы данных и системы хранения, системное администрирование, нагрузочное тестирование, эксплуатация крупных проектов и другие направления, связанные с высоконагруженными системами.

Горизонтальное масштабирование SQL Server на основе зависимой от данных маршрутизации
Основная секция

Доклад принят в Программу конференции
Raft — это компания, которая специализируется на разработке и интеграции решений с использованием новейших AI-технологий.

Тезисы

Аннотация

Как известно, существуют два основных подхода к масштабированию приложений: вертикальное масштабирование, когда хостом выступает отдельная машина, вычислительные мощности которой наращиваются по мере необходимости, и горизонтальное масштабирование, когда вычислительная система состоит из группы однотипных серверов потребительского класса, работающих совместно. Повышение масштабируемости в этом случае осуществляется простым добавлением новых узлов в группу. Каждый подход имеет свои сильные и слабые стороны. В настоящем докладе разбираются условия, при которых предпочтительным вариантом является горизонтальное масштабирование в целом, и, в частности, метод, известный как зависимая от данных маршрутизация (Data Dependent Routing) при построени горизонтально масштабируемых систем. Доклад основывается на материалах лаборатории масштабирования SQL Server (SQL Server Scalability lab), занимавшейся практическим сценарием построения коммуникационной платформы для сайта MSN (The Microsoft Network). В качестве операционной системы выступала Microsoft Windows® Server™ 2003, Enterprise Edition.

Введение

Предыдущее десятилетие ознаменовалось взрывным ростом объемов данных. Сейчас, когда многие бизнес-приложения изначально ориентированы на работу в Интернете, компании взаимодействуют с миллионами он-лайновых пользователей, которые делают покупки, хранят сообщения электронной почты, просматривают финансовую информацию и т.д. Сердцем корпоративных информационных систем выступают, естественно, базы данных. SQL Server является одной из лидирующих платформ СУБД в центрах данных.

Каждое соединение и каждый запрос потребляют процессорное время, память, дисковые, сетевые и др.ресурсы. Поэтому традиционно масштабируемость достигалась путем апгрейда стандартных SMP-архитектур, когда в сервер ставились дополнительные процессоры, память, диски, сетевые карты и другое необходимое аппаратное обеспечение. Вертикальное масштабирование является достаточным в большинстве нынешних сценариев внедрения SQL Server. Однако машину нельзя апгрейдить до бесконечности. Когда мы ежесекундно имеем дело с миллионами пользовательских запросов могут происходить ситуации, когда сервер просто достигает предела своих аппаратных характеристик. В этом случае решение видится в горизонтальном масштабировании, когда данные и нагрузка распределяются по массиву из SMP-узлов.

Горизонтально масштабируемые системы «растут» добавлением узлов в массив. В идеале оно должно происходить прозрачно для пользователя. Равно как пользователя не должно заботить, на каком узле лежат потребные ему данные и кто из узлов в настоящий момент обрабатывает его запрос. Кластер программируется и управляется как единая система.

По аналогии с процессорной архитектурой стоит отметить, что к горизонтальному масштабированию также может применяться симметричный или асимметричный подход. В качестве иллюстрации последнего можно привести разбиение на основе сервисов, когда, например, каталог продукции располагается и обслуживается одним сервером БД, складской учет ведется на другом, корзины покупателей – на третьем и т.д. Промежуточный бизнес-слой «знает», к какому серверу обращаться по какому вопросу. Другая стратегия разбиения предполагает, что по узлам распределяются большие таблицы независимо от того, к какой БД/сервису они относятся. Этот подход носит более симметричный характер. Как бы то ни было, помимо разбиения, горизонтальное масштабирование ставит в более сложные условия процессы управления и администрирования массивов серверов, но имеет при этом следующие преимущества по сравнению с «монолитными» системами.

  • Массивы могут состоять из недорогих распространенных серверов потребительского класса, следовательно, минимальная дельта наращивания экономически эффективна.
  • Выход из строя узла не обязательно делает приложение недоступным.
  • Относительная независимость узлов облегчает повышение отказоустойчивости и высокой доступности.

Далее в докладе будут разобраны детали реализации и показатели производительности симметричного горизонтального решения на примере федерации серверов SQL Server 2005 для обслуживания сайта MSN.

Другие доклады секции
Основная секция

Компания разрабатывает, продвигает и продаёт статический анализатор C, C++, C# и Java-кода PVS-Studio. Это инструмент для программистов, который экономит деньги компаний за счет раннего обнаружения программных ошибок и потенциальных уязвимостей путём анализа исходного кода.
Бастион — компания в сфере информационной безопасности, которая защищает бизнес от киберугроз и реализует проекты по построению и развитию комплексной ИБ-инфраструктуры.
Бастион — компания в сфере информационной безопасности, которая защищает бизнес от киберугроз и реализует проекты по построению и развитию комплексной ИБ-инфраструктуры.
Яндекс 360 — это виртуальное пространство, в котором собраны сервисы для работы и повседневных задач: Почта, Диск для хранения файлов, Телемост с видеозвонками, Документы, Мессенджер, Рассылки, Заметки и Календарь. Яндекс 360 помогает организовать работу как одному человеку, так и целой команде организации в рамках продуктов Яндекс 360 для бизнеса.
Яндекс — одна из крупнейших технологических компаний России с собственными разработками в области искусственного интеллекта. Подразделение автономного транспорта развивает технологии беспилотного вождения: собственный стек автономного управления, парк беспилотных автомобилей и роботов-доставщиков, работающих в реальных городских условиях, и инфраструктуру сбора и анализа данных проездов, на которых обучаются и проверяются алгоритмы.
VK — это более 200 технологичных и высоконагруженных проектов, свыше 15 000 сотрудников. ВКонтакте, ОК, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей. ВКонтакте — крупнейшая социальная сеть в России. Команда ВКонтакте разрабатывает технологические решения, которые отвечают критериям быстродействия, отказоустойчивости и качества, чтобы пользователи получали максимум для общения, работы, учебы, развлечения и творчества.
«Инфосистемы Джет» входит в десятку крупнейших ИТ-компаний России и в ТОП-5 поставщиков ИТ-услуг.
BI.ZONE — компания по управлению цифровыми рисками. Мы создаем IT-продукты для обеспечения кибербезопасности: от мобильных приложений до сложных платформ, в основе которых лежат методы машинного обучения.
Cbonds - информационное агентство, специализирующееся в сфере финансовых рынков. Компания осуществляет деятельность по следующим направлениям бизнеса: разработка информационных сайтов (Cbonds.ru, Investfunds.ru), развитие каналов предоставления данных: API, мобильное приложение, надстройки ADD-IN, а также издательская деятельность (журнал Cbonds Review). Среди клиентов региональные банки, управляющие активами, брокерские компании, семейные офисы и частные инвесторы со всего мира.
Нейросеть "Искра" помогает решать рабочие задачи с ИИ: документы, аналитика, планирование, обучение, переводы и отчёты. Доступно на компьютере, в телефоне и в Telegram. Искра работает с вашими файлами и сервисами: читает и создаёт документы, таблицы и презентации, разбирает почту, ведёт календарь и задачи, делает вычисления и исследования. Она помнит контекст вашей работы и подключается к корпоративным источникам. Для компании это управляемый контур: доступы, роли и данные остаются под контролем, включая развёртывание в закрытом периметре.
Проектируют и разрабатывают IT-продукты под цели заказчика для e-commerce, ретейла, банков и других бизнесов по всему миру. Одни из лучших в стране по реализации высоконагруженных систем и микросервисной архитектуре.
Бастион — компания в сфере информационной безопасности, которая защищает бизнес от киберугроз и реализует проекты по построению и развитию комплексной ИБ-инфраструктуры.
Вебпрактик разрабатывает сервисы и продукты для крупнейших корпораций в стране, много лет входит в топы разработчиков в премиум-ценовом сегменте.
Trisigma — собственная разработка Авито для проведения и анализа A/B-экспериментов. Платформа помогает продуктовым и аналитическим командам управлять экспериментами, рассчитывать и хранить продуктовые метрики и анализировать результаты в единой системе.
X5 Tech — IT-компания и основной цифровой партнер X5 Group. Мы разрабатываем онлайн и офлайн-решения, которые помогают более 392 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей — быстро и удобно покупать свежие продукты.
Проектируют и разрабатывают IT-продукты под цели заказчика для e-commerce, ретейла, банков и других бизнесов по всему миру. Одни из лучших в стране по реализации высоконагруженных систем и микросервисной архитектуре.
R77.AI -- топ-3 ИИ-интегратор в РФ. Среди клиентов Сбер, Московская биржа, Альфа-Банк, Яндекс, МТС, Билайн и другие всем известные компании -- в том числе за рубежом. Специализируется на внедрении и разработке ИИ-решений, развивает собственную линейку frontier-продуктов . В штате высококлассные специалисты, выпускники МФТИ, ИТМО, ШАД и тд, лучшие инженеры, продакты, доменные эксперты.
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
Венчурный фонд ФРИИ. 450+ инвестиций с 2013 года. Самый большой по количеству инвестиций фонд в России. Среди инвестиций: Vision Labs, Flowwow, Pravo.tech, Unim Histology, Promobot… Акселератор ФРИИ. В различных рейтингах акселераторов топ-10/топ-20 в мире. 2000+ IТ-компаний, прошедших программы акселерации. Naumen.ru. 1000+ сотрудников, лидер в сегментах рынка программных продуктов Service Desk и Call-центров.
ЕДИНЫЙ ЦУПИС (https://1cupis.ru/) развивает платежные и цифровые сервисы в регулируемой индустрии развлечений. Обслуживает более 19 млн клиентов по всей России, обеспечивает более 2,5 млн платежей в сутки, с доступностью сервиса свыше 99,99%. Компания включена Банком России в реестр кредитных организаций, значимых на рынке платежных услуг. Реализует механизм удержания целевых отчислений на поддержку отечественного спорта – на конец I полугодия 2026 года на эти цели перечислено порядка 122 млрд рублей.
МТС — мультисервисная цифровая экосистема и ведущий телеком-оператор в России. Компания развивает сервисы и продукты в сфере больших данных, искусственного интеллекта, облачного хранения, медиа и финансов, телекоммуникаций. Штат IT-специалистов превышает 9,5 тыс. человек.
Компания «Эрливидео» cуществует с 2010 года и известна в мире под брендом Flussonic. Разрабатывают продукты Fussonic Media Server и Flussonic Watcher — это ПО, с помощью которого клиенты компании запускают IPTV, OTT и сервисы облачного видеонаблюдения. Клиенты «Эрливидео» — это крупные операторы связи, онлайн-кинотеатры, операторы видеонаблюдения, госструктуры, провайдеры и корпорации. Тысячи клиентов пользуются продуктами Flussonic, более чем в 100 странах мира, доставляя видео сотням тысяч пользователей. У «Эрливидео» нет авралов, рутины, бюрократии, простых задач, интриг и недооцененных сотрудников. Находятся в поиске талантливых коллег, единомышленников и визионеров, которые будут вместе с ними развивать рынок и индустрию медиастриминга в мире.
МФТИ / Физтех — ведущий российский исследовательский университет. Насчитывает 10 Нобелевских лауреатов. В топ‑100 глобального рейтинга Times Higher Education. Десятки научных школ, международные лаборатории, одни из сильнейших программ.
Райффайзен Банк, один из самых надежных российских банков, который создает финансовые решения для частных и корпоративных клиентов
VK — это более 200 технологичных и высоконагруженных проектов, свыше 15 000 сотрудников. ВКонтакте, ОК, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей. ВКонтакте — крупнейшая социальная сеть в России. Команда ВКонтакте разрабатывает технологические решения, которые отвечают критериям быстродействия, отказоустойчивости и качества, чтобы пользователи получали максимум для общения, работы, учебы, развлечения и творчества.
МТС — мультисервисная цифровая экосистема и ведущий телеком-оператор в России. Компания развивает сервисы и продукты в сфере больших данных, искусственного интеллекта, облачного хранения, медиа и финансов, телекоммуникаций. Штат IT-специалистов превышает 9,5 тыс. человек.
Райффайзен Банк, один из самых надежных российских банков, который создает финансовые решения для частных и корпоративных клиентов
Т-Банк — финансовая онлайн-экосистема, объединяющая полный спектр финансовых услуг для частных лиц и бизнеса. Особое внимание Т-Банк уделяет развитию лайфстайл-банкинга: экосистема дает клиентам возможность анализировать и планировать личные траты, инвестировать сбережения, получать бонусы в рамках программ лояльности, бронировать путешествия, покупать билеты в кино, бронировать столики в ресторанах и делать многое другое.
MiOps — провайдер IT-решений, который помогает бизнесу создавать, развивать и поддерживать современную инфраструктуру цифровых продуктов. Мы автоматизируем процессы разработки и эксплуатации, строим отказоустойчивые платформы, внедряем технологии искусственного интеллекта и обеспечиваем стабильную работу критически важных сервисов.
BI.ZONE — компания по управлению цифровыми рисками. Мы создаем IT-продукты для обеспечения кибербезопасности: от мобильных приложений до сложных платформ, в основе которых лежат методы машинного обучения.
Петрович-Тех — основной цифровой партнер СТД «Петрович», второй по объему выручки и темпам роста сети DIY-магазинов в России. Их интернет-магазин входит в топ-15 крупнейших в стране. 6 миллионов ежемесячных покупателей на их сайте — не просто цифра. За ней стоит команда Теха, которая строит высоконагруженные системы, разбирается в прикладной части ML и DS, проектирует микросервисную архитектуру и многое другое.
SberDevices — это компания полного цикла. Мы создаём идеи, самостоятельно разрабатываем продукты, занимаемся прототипированием, конструированием, придумываем дизайн, программные решения, контролируем качество на фабриках и создаём инструменты для аппаратного тестирования.
Ведущий разработчик и производитель телекоммуникационного оборудования в Российской Федерации.
Rambler's Top100