Highload++ 2017 завершён!

Профессиональная конференция разработчиков высоконагруженных систем

СКОЛКОВО, Москва 7 и 8 ноября

11-я ежегодная конференция для разработчиков highload-систем, которая соберет   2 700 участников из разных регионов России и мира. Мероприятие направлено на обмен знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей.

Программа охватывает такие аспекты веб-разработок, как архитектуры крупных проектов, базы данных и системы хранения, системное администрирование, нагрузочное тестирование, эксплуатация крупных проектов и другие направления, связанные с высоконагруженными системами.

Горизонтальное масштабирование SQL Server на основе зависимой от данных маршрутизации
Основная секция

Доклад принят в Программу конференции
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.

Тезисы

Аннотация

Как известно, существуют два основных подхода к масштабированию приложений: вертикальное масштабирование, когда хостом выступает отдельная машина, вычислительные мощности которой наращиваются по мере необходимости, и горизонтальное масштабирование, когда вычислительная система состоит из группы однотипных серверов потребительского класса, работающих совместно. Повышение масштабируемости в этом случае осуществляется простым добавлением новых узлов в группу. Каждый подход имеет свои сильные и слабые стороны. В настоящем докладе разбираются условия, при которых предпочтительным вариантом является горизонтальное масштабирование в целом, и, в частности, метод, известный как зависимая от данных маршрутизация (Data Dependent Routing) при построени горизонтально масштабируемых систем. Доклад основывается на материалах лаборатории масштабирования SQL Server (SQL Server Scalability lab), занимавшейся практическим сценарием построения коммуникационной платформы для сайта MSN (The Microsoft Network). В качестве операционной системы выступала Microsoft Windows® Server™ 2003, Enterprise Edition.

Введение

Предыдущее десятилетие ознаменовалось взрывным ростом объемов данных. Сейчас, когда многие бизнес-приложения изначально ориентированы на работу в Интернете, компании взаимодействуют с миллионами он-лайновых пользователей, которые делают покупки, хранят сообщения электронной почты, просматривают финансовую информацию и т.д. Сердцем корпоративных информационных систем выступают, естественно, базы данных. SQL Server является одной из лидирующих платформ СУБД в центрах данных.

Каждое соединение и каждый запрос потребляют процессорное время, память, дисковые, сетевые и др.ресурсы. Поэтому традиционно масштабируемость достигалась путем апгрейда стандартных SMP-архитектур, когда в сервер ставились дополнительные процессоры, память, диски, сетевые карты и другое необходимое аппаратное обеспечение. Вертикальное масштабирование является достаточным в большинстве нынешних сценариев внедрения SQL Server. Однако машину нельзя апгрейдить до бесконечности. Когда мы ежесекундно имеем дело с миллионами пользовательских запросов могут происходить ситуации, когда сервер просто достигает предела своих аппаратных характеристик. В этом случае решение видится в горизонтальном масштабировании, когда данные и нагрузка распределяются по массиву из SMP-узлов.

Горизонтально масштабируемые системы «растут» добавлением узлов в массив. В идеале оно должно происходить прозрачно для пользователя. Равно как пользователя не должно заботить, на каком узле лежат потребные ему данные и кто из узлов в настоящий момент обрабатывает его запрос. Кластер программируется и управляется как единая система.

По аналогии с процессорной архитектурой стоит отметить, что к горизонтальному масштабированию также может применяться симметричный или асимметричный подход. В качестве иллюстрации последнего можно привести разбиение на основе сервисов, когда, например, каталог продукции располагается и обслуживается одним сервером БД, складской учет ведется на другом, корзины покупателей – на третьем и т.д. Промежуточный бизнес-слой «знает», к какому серверу обращаться по какому вопросу. Другая стратегия разбиения предполагает, что по узлам распределяются большие таблицы независимо от того, к какой БД/сервису они относятся. Этот подход носит более симметричный характер. Как бы то ни было, помимо разбиения, горизонтальное масштабирование ставит в более сложные условия процессы управления и администрирования массивов серверов, но имеет при этом следующие преимущества по сравнению с «монолитными» системами.

  • Массивы могут состоять из недорогих распространенных серверов потребительского класса, следовательно, минимальная дельта наращивания экономически эффективна.
  • Выход из строя узла не обязательно делает приложение недоступным.
  • Относительная независимость узлов облегчает повышение отказоустойчивости и высокой доступности.

Далее в докладе будут разобраны детали реализации и показатели производительности симметричного горизонтального решения на примере федерации серверов SQL Server 2005 для обслуживания сайта MSN.

Другие доклады секции
Основная секция

Raft — компания, специализирующееся на разработке и интеграции решений с использованием новейших AI технологий. Наша цель — помочь организациям всех размеров внедрять и использовать передовые AI технологии для оптимизации бизнес-процессов, повышения производительности и достижения конкурентного преимущества.
Построение системы, которая может отвечать на вопрос вроде «с какими генами коррелирует выживаемость пациента при такой-то болезни и таком-то лечении» для редких заболеваний, при которых ни в одном биобанке данных не хватает. Система объединяет данные нескольких биобанков без фактического копирования данных.
Команда Тинькофф — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются более 38 миллионов клиентов. Тинькофф развивает IT-индустрию, поддерживает комьюнити и делится экспертизой.
Один из крупнейших IT-холдингов в России, в котором работают более 23 000 сотрудников из более чем 250 городов. В числе ключевых продуктов компании: «DION», «AIR», «Сфера» и «Мирион».
X5 Tech — IT-компания и основной цифровой партнер торговых сетей и бизнесов X5 Group. Команда из более 3500 специалистов разрабатывает решения, которые помогают 325 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты.
Последние несколько месяцев я "счастливый безработный". Занимаюсь своим open source проектом, сообществом (https://vk.cc/cvAlE8) и выступаю с докладами
SberDevices — IT-компания полного цикла в экосистеме Сбера, R&D-центр экспертизы в области искусственного интеллекта: речевые технологии, понимание естественного языка, компьютерное зрение, лицевая и голосовая биометрия. Производит умные устройства — от лампочек до телевизоров. В портфолио SberDevices — ruGPT-3, ruDall-E, RuSBERT и другие масштабные ML-проекты, высоконагруженные системы и технологии обработки Big Data.
«Рексофт» — одна из ведущих компаний по разработке программного обеспечения и информационных систем, обладающая значительным опытом по созданию проектов для таких сфер бизнеса, как телекоммуникации и мобильная связь, банки и финансы, IТ, медиа, гостиничный бизнес и туризм.
Postgres Professional — разработчик Postgres Pro, самой популярной российской системы управления базами данных. В команде Postgres Professional — 70% российских разработчиков PostgreSQL. Среди заказчиков Postgres Pro — крупнейшие российские компании из списка РБК-500, а также объекты КИИ.
SberDevices — это компания полного цикла. Мы создаем идеи, самостоятельно разрабатываем продукты, занимаемся прототипированием, конструированием, придумываем дизайн, программные решения, контролируем качество на фабриках и создаем инструменты для аппаратного тестирования. Перед SberDevices стоит амбициозная задача: сделать новейшие технологии максимально доступными в повседневной жизни, помочь им раскрыться и практически, и коммерчески.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У них десятки тысяч rps к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
На Авито каждый может найти что-то свое среди миллионов частных объявлений и предложений компаний. У нас десятки тысяч rps к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
ВКонтакте — крупнейшая социальная сеть в России и странах СНГ. Мы ставим перед собой масштабные вызовы и делаем технологии доступными для каждого пользователя. ВКонтакте помогает решать любые повседневные задачи — и даже больше!
Мы - разработчик Proto Observability Platform - первой российской full stack observability платформы, и сервис-провайдер c более 10 лет опытом выполнения проектов по цифровой трансформации, кибербезопасности, облачным вычислениям, разработке программных продуктов на основе стека современных технологий.
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У них десятки тысяч rps к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Ozon — лидирующая платформа e-commerce в России. В команде Ozon Tech 3 800 инженеров — и она продолжает расти. Десятки миллионов людей пользуются сервисами Ozon, их IT-инфраструктура управляет миллионами процессов каждый час. Микросервисы на Go и C#, в стеке технологий есть Vue.js, Swift и Kotlin, Kubernetes, Kafka, Hadoop и ClickHouse.
IT-компания и основной цифровой партнер торговых сетей и бизнесов X5 Group. Команда из более 3500 специалистов разрабатывает решения, которые помогают 325 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты.
«Рексофт» — одна из ведущих компаний по разработке программного обеспечения и информационных систем, обладающая значительным опытом по созданию проектов для таких сфер бизнеса, как телекоммуникации и мобильная связь, банки и финансы, IТ, медиа, гостиничный бизнес и туризм.
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Ozon — лидирующая платформа e-commerce в России. В команде Ozon Tech 3 800 инженеров — и она продолжает расти. Десятки миллионов людей пользуются сервисами Ozon, их IT-инфраструктура управляет миллионами процессов каждый час. Микросервисы на Go и C#, в стеке технологий есть Vue.js, Swift и Kotlin, Kubernetes, Kafka, Hadoop и ClickHouse.
Разрабатываем ПО для управления знаниями, инцидентами и ресурсами в службах поддержки. Мы помогаем удерживать старых и прибавлять новых клиентов!
Cloud.ru облачный провайдер, предоставляющий облачные решения и экспертную поддержку для бизнес-задач. Атмосфера стартапа, создание инноваций, клиентоцентричный подход –– это все мы, люди Cloud.
Evocargo занимается перевозкой грузов на автономных грузовиках. Мы одни из первых в мире, кто начал выполнять коммерческие заказы на реальных складах и производствах и решать задачи логистики с помощью беспилотных технологий. Evocargo сегодня – это более 150 конструкторов, разработчиков автопилота и системы управления флотом, ML-инженеров, software и hardware QA. Мы с нуля проектируем, разрабатываем и производим по-настоящему автономные машины: без кабины водителя, руля и педалей.
Positive Technologies создаёт продукты в области кибербезопасности. Уже 20 лет основная задача компании — предотвращать хакерские атаки до того, как они причинят неприемлемый ущерб бизнесу и целым отраслям экономики. Продукты и сервисы Positive Technologies используют более 2300 компаний по всему миру.
«Нетология» — российская компания и образовательная онлайн-платформа, одна из ведущих российских компаний онлайн-образования.
Центр удаленной разработки. Специализируемся на предоставлении программистов 1С, MS Dynamics 365, Python, Java на проекты заказчиков на full time. Наши разработчики дистанционно работают на проектах заказчиков. 10 лет на рынке 200+ сотрудников 3 своих продукта
Последние несколько месяцев я "счастливый безработный". Занимаюсь своим open source проектом, сообществом (https://vk.cc/cvAlE8) и выступаю с докладами
IT-компания и основной цифровой партнер торговых сетей и бизнесов X5 Group. Команда из более 3500 специалистов разрабатывает решения, которые помогают 325 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты.
Yandex Cloud - публичная облачная платформа, предоставляет крупным компаниям, среднему бизнесу и частным разработчикам более 50 взаимосвязанных сервисов: масштабируемую инфраструктуру, сервисы хранения, обработки и анализа данных, инструменты машинного обучения, средства разработки и сервисы для командной работы.
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У них десятки тысяч rps к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
SberDevices — дочерняя компания Сбера, которая производит «умные» устройства. Это B2B- и B2C-девайсы для экосистемы с применением речевых технологий и виртуальным ассистентом на борту.
В Ostrovok.ru мы уже 13 лет создаём технологичные и гибкие IT-продукты, которые помогают миллионам пользователей легко бронировать отели, авиабилеты и другие тревел-услуги и наслаждаться комфортными путешествиями. В технической команде более 350 сотрудников, и мы постоянно растём!
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Cloud.ru облачный провайдер, предоставляющий облачные решения и экспертную поддержку для бизнес-задач. Атмосфера стартапа, создание инноваций, клиентоцентричный подход –– это все мы, люди Cloud.
Rambler's Top100