Highload++ 2017 завершён!

Профессиональная конференция разработчиков высоконагруженных систем

СКОЛКОВО, Москва 7 и 8 ноября

11-я ежегодная конференция для разработчиков highload-систем, которая соберет   2 700 участников из разных регионов России и мира. Мероприятие направлено на обмен знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей.

Программа охватывает такие аспекты веб-разработок, как архитектуры крупных проектов, базы данных и системы хранения, системное администрирование, нагрузочное тестирование, эксплуатация крупных проектов и другие направления, связанные с высоконагруженными системами.

Горизонтальное масштабирование SQL Server на основе зависимой от данных маршрутизации
Основная секция

Доклад принят в Программу конференции
Kinescope — видеоинфраструктура для интернета. Помогают бизнесу раскрыть потенциал профессиональных видеорешений для своих задач. Объединяют все необходимое для хранения, обработки, CDN-доставки и защиты видео в одном месте. Продукты Kinescope подходят как для стартапов, так и для компаний из списка РБК500 и государственных предприятий с высокими нагрузками и сложной логикой.

Тезисы

Аннотация

Как известно, существуют два основных подхода к масштабированию приложений: вертикальное масштабирование, когда хостом выступает отдельная машина, вычислительные мощности которой наращиваются по мере необходимости, и горизонтальное масштабирование, когда вычислительная система состоит из группы однотипных серверов потребительского класса, работающих совместно. Повышение масштабируемости в этом случае осуществляется простым добавлением новых узлов в группу. Каждый подход имеет свои сильные и слабые стороны. В настоящем докладе разбираются условия, при которых предпочтительным вариантом является горизонтальное масштабирование в целом, и, в частности, метод, известный как зависимая от данных маршрутизация (Data Dependent Routing) при построени горизонтально масштабируемых систем. Доклад основывается на материалах лаборатории масштабирования SQL Server (SQL Server Scalability lab), занимавшейся практическим сценарием построения коммуникационной платформы для сайта MSN (The Microsoft Network). В качестве операционной системы выступала Microsoft Windows® Server™ 2003, Enterprise Edition.

Введение

Предыдущее десятилетие ознаменовалось взрывным ростом объемов данных. Сейчас, когда многие бизнес-приложения изначально ориентированы на работу в Интернете, компании взаимодействуют с миллионами он-лайновых пользователей, которые делают покупки, хранят сообщения электронной почты, просматривают финансовую информацию и т.д. Сердцем корпоративных информационных систем выступают, естественно, базы данных. SQL Server является одной из лидирующих платформ СУБД в центрах данных.

Каждое соединение и каждый запрос потребляют процессорное время, память, дисковые, сетевые и др.ресурсы. Поэтому традиционно масштабируемость достигалась путем апгрейда стандартных SMP-архитектур, когда в сервер ставились дополнительные процессоры, память, диски, сетевые карты и другое необходимое аппаратное обеспечение. Вертикальное масштабирование является достаточным в большинстве нынешних сценариев внедрения SQL Server. Однако машину нельзя апгрейдить до бесконечности. Когда мы ежесекундно имеем дело с миллионами пользовательских запросов могут происходить ситуации, когда сервер просто достигает предела своих аппаратных характеристик. В этом случае решение видится в горизонтальном масштабировании, когда данные и нагрузка распределяются по массиву из SMP-узлов.

Горизонтально масштабируемые системы «растут» добавлением узлов в массив. В идеале оно должно происходить прозрачно для пользователя. Равно как пользователя не должно заботить, на каком узле лежат потребные ему данные и кто из узлов в настоящий момент обрабатывает его запрос. Кластер программируется и управляется как единая система.

По аналогии с процессорной архитектурой стоит отметить, что к горизонтальному масштабированию также может применяться симметричный или асимметричный подход. В качестве иллюстрации последнего можно привести разбиение на основе сервисов, когда, например, каталог продукции располагается и обслуживается одним сервером БД, складской учет ведется на другом, корзины покупателей – на третьем и т.д. Промежуточный бизнес-слой «знает», к какому серверу обращаться по какому вопросу. Другая стратегия разбиения предполагает, что по узлам распределяются большие таблицы независимо от того, к какой БД/сервису они относятся. Этот подход носит более симметричный характер. Как бы то ни было, помимо разбиения, горизонтальное масштабирование ставит в более сложные условия процессы управления и администрирования массивов серверов, но имеет при этом следующие преимущества по сравнению с «монолитными» системами.

  • Массивы могут состоять из недорогих распространенных серверов потребительского класса, следовательно, минимальная дельта наращивания экономически эффективна.
  • Выход из строя узла не обязательно делает приложение недоступным.
  • Относительная независимость узлов облегчает повышение отказоустойчивости и высокой доступности.

Далее в докладе будут разобраны детали реализации и показатели производительности симметричного горизонтального решения на примере федерации серверов SQL Server 2005 для обслуживания сайта MSN.

Другие доклады секции
Основная секция

Altenar is a leading sports betting software provider delivering best-in-class solutions for licensed operators around the world. Ranging from a standalone sportsbook product to the provision of a turnkey sportsbook solution, Altenar offers proven stability coupled with a flexible and personalised service.
Бюро Розетка — это команда экспертов в образовании: мы выстраиваем корпоративное обучение, проводим конференции, организуем стажировки и формируем профессиональные сообщества с вниманием к людям и результату
МТС — одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. Штат IT-специалистов компании превышает 8 000 человек.
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает ИТ-индустрию, поддерживает комьюнити и делится экспертизой.
Positive Technologies — ведущий разработчик продуктов, решений и сервисов для результативной кибербезопасности, позволяющих выявлять и предотвращать атаки до того, как они причинят неприемлемый ущерб бизнесу и целым отраслям экономики. Технологический портфель компании охватывает большинство категорий средств защиты информации и продолжает расширяться. Мы создаем метапродукты — новое поколение инструментов для достижения результативной кибербезопасности с минимальным участием человека. Кроме того, Positive Technologies — первая и единственная компания из сферы кибербеза на Московской бирже.
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Техлид команды разработки со сложным направлением "Оценка недвижимости"
MTС Web Services (MWS) — облачные сервисы для решения задач бизнеса. Команда строит свою публичную облачную платформу, которая станет доступна в 2025 году.
Altenar is a leading sports betting software provider delivering best-in-class solutions for licensed operators around the world. Ranging from a standalone sportsbook product to the provision of a turnkey sportsbook solution, Altenar offers proven stability coupled with a flexible and personalised service.
Naumen — российский вендор программного обеспечения и облачных сервисов, технологический партнер в цифровой трансформации для компаний и органов власти. Naumen предлагает решения в области управления цифровой инфраструктурой, клиентскими коммуникациями и сервисом. Naumen KMS — российская альтернатива Confluence, SharePoint и другим системам для эффективного управления знаниями и совместной работы. Продукт начал активно развиваться до основной волны импортозамещения и имеет более 100 000 пользователей в крупнейших компаниях, обеспечив быструю миграцию и комфортную адаптацию пользователей. Отмечен премией «Импортозамещение года» по версии CNews в 2024 году.
X5 Tech — IT-компания и основной цифровой партнер торговых сетей и бизнесов X5 Group. Команда из более 4500 специалистов разрабатывает решения, которые помогают десяткам миллионов покупателей быстро и удобно покупать свежие продукты каждый день. Сейчас команда сфокусирована на разработке решений, которые не зависят от вендоров.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Публичное акционерное общество "Сбербанк России". Это крупнейший банк в России и один из ведущих глобальных финансовых институтов. Он предоставляет широкий спектр финансовых услуг как для физических, так и для юридических лиц.
ГК «Иннотех» — это современная высокотехнологичная быстроразвивающаяся ИТ-компания. Мы разрабатываем инновационные решения для цифровизации бизнеса.
Компания Enapter производит электролизеры — устройства для производства водорода. Также мы создаем энергосистемы из разного набора оборудования. Моя команда занимается созданием софта для управления устройствами и объединения их в энергосистемы.
Knowledge Management Клуб — методики, услуги и продукты. Развитие навыков бизнес-процесса Knowledge Management и просвещение в этой сфере с 2001 г. Программы МВА и ЕМВА в бизнес-школах и вузах. Более 40 тематических программ-практикумов по управлению знаниями, проведены около 350 раз.
Занимаюсь файловым доступом в компании Yadro, в комерческой разработке использую C/C++.
MTС Web Services (MWS) — облачные сервисы для решения задач бизнеса. Команда строит свою публичную облачную платформу, которая станет доступна в 2025 году.
МТС — мультисервисная цифровая экосистема и ведущий телеком-оператор в России. Компания развивает сервисы и продукты в сфере больших данных, искусственного интеллекта, облачного хранения, медиа и финансов, телекоммуникаций. Штат IT-специалистов превышает 9,5 тыс. человек.
Крупнейшая геораспределенная сеть дата-центров Tier III в России.
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает ИТ-индустрию, поддерживает комьюнити и делится экспертизой.
Туту — сервис путешествий, где можно найти всё для предстоящей поездки. 20 лет помогают людям покупать билеты быстрее и комфортнее, рассказывают, как лучше добираться до места назначения, и отвечают на любые вопросы про путешествия. Каждый день в путь отправляются несколько десятков самолётов и поездов только с их пользователями.
VisionLabs — один из мировых лидеров в области создания продуктов на базе компьютерного зрения и машинного обучения. Компанией реализовано более 500 проектов в 37 странах для клиентов из финансового, телекоммуникационного, транспортного, энергетического секторов и розничной торговли. Более 1,7 млн камер по всему миру используют программное обеспечение VisionLabs.
MTС Web Services (MWS) — облачные сервисы для решения задач бизнеса. Команда строит свою публичную облачную платформу, которая станет доступна в 2025 году.
SberDevices — это компания полного цикла. Мы создаём идеи, самостоятельно разрабатываем продукты, занимаемся прототипированием, конструированием, придумываем дизайн, программные решения, контролируем качество на фабриках и создаём инструменты для аппаратного тестирования.
Российское решение для защиты контейнеров и Kubernetes
Ozon — ведущий e-com России. В их IT-команде уже 5 000 специалистов, которые создают продукты для миллионов людей по всей стране и за рубежом. Ozon Tech разрабатывает собственные решения, контрибьютит в Open Source и использует современный стек: Go, C#, Kotlin, Swift TypeScript, Vue.js, Kubernetes и Kafka. Продолжают расти, чтобы повышать доступность сервисов и быть ещё ближе к пользователям.
Лидер трайба Цифровых Ассистентов в B2C.
Positive Technologies создаёт продукты в области кибербезопасности. Уже 20 лет основная задача компании — предотвращать хакерские атаки до того, как они причинят неприемлемый ущерб бизнесу и целым отраслям экономики. Продукты и сервисы Positive Technologies используют более 2300 компаний по всему миру.
Один из крупнейших IT-холдингов в России, в котором работают более 23 000 сотрудников из более чем 250 городов. В числе ключевых продуктов компании: «DION», «AIR», «Сфера» и «Мирион».
Т-Банк — цифровая экосистема, в основе которой один из самых технологичных банков в мире и второй банк в России по числу розничных клиентов. Сервисами Т-Банка ежедневно пользуются миллионы людей и компаний, решая повседневные задачи онлайн: переводят и инвестируют деньги, получают кешбэк, пользуются мобильной связью, бронируют билеты, гостиницы и рестораны, совершают покупки, участвуют в благотворительности и многое другое. С момента основания в 2006 году Т-Банк последовательно инвестирует в передовые технологии, в том числе в сфере искусственного интеллекта, формируя будущее банковской индустрии на глобальном уровне.
Altenar is a leading sports betting software provider delivering best-in-class solutions for licensed operators around the world. Ranging from a standalone sportsbook product to the provision of a turnkey sportsbook solution, Altenar offers proven stability coupled with a flexible and personalised service.
Команда Т-банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает ИТ-индустрию, поддерживает комьюнити и делится экспертизой.
VisionLabs — один из мировых лидеров в области создания продуктов на базе компьютерного зрения и машинного обучения. Компанией реализовано более 500 проектов в 37 странах для клиентов из финансового, телекоммуникационного, транспортного, энергетического секторов и розничной торговли. Более 1,7 млн камер по всему миру используют программное обеспечение VisionLabs.
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает ИТ-индустрию, поддерживает комьюнити и делится экспертизой.
ИСП РАН — ведущая научная организация в области системного программирования, специализирующаяся на исследованиях, разработках и подготовке высококвалифицированных кадров. Основные направления работы: кибербезопасность, анализ данных и искусственный интеллект. Создали несколько исследовательских центров, включая центр доверенного искусственного интеллекта и технологический центр безопасности ядра Linux.
VK Tech — команда из 1400 специалистов в России и Казахстане. Разрабатывают и продвигают облачные платформы и сервисы VK Cloud, in-memory СУБД Tarantool, коммуникационные решения — от почты VK WorkSpace до супераппа VK Teams и решения для автоматизации HR и финансов. Внутри: C++, Python, Go, Java, Javascript, Lua.
Яндекс Доставка - это сервис, который помогает людям и бизнесу решать разные логистические задачи более чем в 1000 городов: от курьерской доставки по городу и за его пределами до грузовой доставки. Мы меняем рынок логистики с помощью технологий и данных: учим сервис эффективно подбирать курьеров на заказы, прогнозировать спрос и оптимизировать маршруты в реальном времени.
Rambler's Top100