Highload++ 2017 завершён!

Профессиональная конференция разработчиков высоконагруженных систем

СКОЛКОВО, Москва 7 и 8 ноября

11-я ежегодная конференция для разработчиков highload-систем, которая соберет   2 700 участников из разных регионов России и мира. Мероприятие направлено на обмен знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей.

Программа охватывает такие аспекты веб-разработок, как архитектуры крупных проектов, базы данных и системы хранения, системное администрирование, нагрузочное тестирование, эксплуатация крупных проектов и другие направления, связанные с высоконагруженными системами.

Производительность GIST и GIN индексов в PostgreSQL
Основная секция

Доклад принят в Программу конференции
Компания Enapter производит электролизеры — устройства для производства водорода. Также мы создаем энергосистемы из разного набора оборудования. Моя команда занимается созданием софта для управления устройствами и объединения их в энергосистемы.

Тезисы

При построении современных информационных систем приходится решать разнообразные технологические задачи, связанные с хранением, доступом и поиском информации. Учитывая современные требования к производительности, надежности и шкалированию таких систем, такие задачи требуют использования достаточно сложных алгоритмов и специализированных структур данных (abstract data type, ADT).

Эффективный доступ к данным является одной из важнейшей задачей базы данных. Мы рассматриваем большие базы данных, которые не помещаются в оперативную память. Для таких БД эффективность доступа к данным определяется, в основном, количеством обращений к диску, поэтому основной задачей СУБД является минимизация этих обращений. Обычно, это достигается использованием индекса, который представляет собой вспомогательную структуру данных, предназначенную для ускорения получения данных удовлетворяющих определенным поисковым критериям. Индекс позволяет уменьшить количество дисковых операций необходимых для считывания данных с диска. Обычно, индекс представляет собой файл на диске, и, если этот файл становится очень большим, то может потребоваться дополнительный индекс для ускорения работы самого индекса. Методами доступа (access methods,AM), обычно, называют организацию (структуру) индексного файла и методы работы с ней. В традиционных реляционных СУБД для работы с одномерными данными, такими как строки, цифры, используются B+-tree и хэш, для которых разработаны очень эффективные алгоритмы работы. Однако, современные приложения, такие как ГИС (GIS), мультимедийные системы, CAD, цифровые библиотеки, которые по-сути используют многомерные данные, требуют других, более эффективных AM.

Для эффективной работы с такими многомерными данными PostgreSQL предлагает два типа индекса: GiST (Generalized Search Tree) и GIN (Generalized Inverted Index).

GiST был предложен Hellerstein et al. [HNP95] как обобщение нескольких классов индексов (такие как B-Tree, R-Tree, Similarity Tree, RD-Tree) и позволяет создавать индексы на базе произвольной метрики типа данных. Для использования GiST разработчик должен создать метрику и функции-адаптеры, используя API. Как классический индекс, в котором храниться одна и только одна пара ключ-ссылка, индексы GiST имеют хорошею производительность при вставке нового ключа, но производительность при поиске может сильно зависеть от метрики проиндексированного типа данных и собственно типа поискового запроса.

GIN представляет собой обратный индекс, в которов храняться ключи и список ссылок на значения, в которых ключи встречаются. Обратный индекс получил широкое распространение для полнотекстовго поиска. Но PostgreSQL предлагает некоторое обобщение обратного индекса, не ограничиваясь только текстом. Как и для использования индексов GiST, для использования индексов GIN разработчик должен создать несколько функций-адаптеров, в основном, выделяющие ключи из индексируемого или поискового значения. GIN показывает хорошую прозводительность при поиске данных мало завися от типа поискового запроса. Производительность при вставке сильно зависит от количества ключей в индексируемом значении - для каждого ключа требуется отдельная вставка в индекс.

В докладе представлены сравнение производительности и потребного дискового пространства для GIN и GiST индексов на примере полнотекстового поиска с использованием модуля раширения tsearch2, а также практические советы по их использованию в высоконагруженных приложениях.

Другие доклады секции
Основная секция

Positive Technologies — ведущий разработчик продуктов, решений и сервисов для результативной кибербезопасности, позволяющих выявлять и предотвращать атаки до того, как они причинят неприемлемый ущерб бизнесу и целым отраслям экономики. Технологический портфель компании охватывает большинство категорий средств защиты информации и продолжает расширяться. Мы создаем метапродукты — новое поколение инструментов для достижения результативной кибербезопасности с минимальным участием человека. Кроме того, Positive Technologies — первая и единственная компания из сферы кибербеза на Московской бирже.
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает ИТ-индустрию, поддерживает комьюнити и делится экспертизой.
Лидер трайба Цифровых Ассистентов в B2C.
DDoS-Guard — cпециализированный провайдер защиты от DDoS-атак на базе собственных разработок. Команде экспертов доверяют тысячи клиентов по всему миру, среди которых ISPsystem, Selectel, Reg.ru, hh.ru и другие. За 2023 год система защиты DDoS-Guard отразила 2.2 млн атак.
SberDevices — это компания полного цикла. Мы создаём идеи, самостоятельно разрабатываем продукты, занимаемся прототипированием, конструированием, придумываем дизайн, программные решения, контролируем качество на фабриках и создаём инструменты для аппаратного тестирования.
Бюро Розетка — это команда экспертов в образовании: мы выстраиваем корпоративное обучение, проводим конференции, организуем стажировки и формируем профессиональные сообщества с вниманием к людям и результату
Занимаюсь файловым доступом в компании Yadro, в комерческой разработке использую C/C++.
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает ИТ-индустрию, поддерживает комьюнити и делится экспертизой.
МТС — одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. Штат IT-специалистов компании превышает 8 000 человек.
Один из крупнейших IT-холдингов в России, в котором работают более 23 000 сотрудников из более чем 250 городов. В числе ключевых продуктов компании: «DION», «AIR», «Сфера» и «Мирион».
VK Tech — команда из 1400 специалистов в России и Казахстане. Разрабатывают и продвигают облачные платформы и сервисы VK Cloud, in-memory СУБД Tarantool, коммуникационные решения — от почты VK WorkSpace до супераппа VK Teams и решения для автоматизации HR и финансов. Внутри: C++, Python, Go, Java, Javascript, Lua.
Крупнейшая геораспределенная сеть дата-центров Tier III в России.
Техлид команды разработки со сложным направлением "Оценка недвижимости"
Т-Банк — цифровая экосистема, в основе которой один из самых технологичных банков в мире и второй банк в России по числу розничных клиентов. Сервисами Т-Банка ежедневно пользуются миллионы людей и компаний, решая повседневные задачи онлайн: переводят и инвестируют деньги, получают кешбэк, пользуются мобильной связью, бронируют билеты, гостиницы и рестораны, совершают покупки, участвуют в благотворительности и многое другое. С момента основания в 2006 году Т-Банк последовательно инвестирует в передовые технологии, в том числе в сфере искусственного интеллекта, формируя будущее банковской индустрии на глобальном уровне.
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
Российское решение для защиты контейнеров и Kubernetes
Positive Technologies создаёт продукты в области кибербезопасности. Уже 20 лет основная задача компании — предотвращать хакерские атаки до того, как они причинят неприемлемый ущерб бизнесу и целым отраслям экономики. Продукты и сервисы Positive Technologies используют более 2300 компаний по всему миру.
ГК «Иннотех» — это современная высокотехнологичная быстроразвивающаяся ИТ-компания. Мы разрабатываем инновационные решения для цифровизации бизнеса.
X5 Tech — IT-компания и основной цифровой партнер торговых сетей и бизнесов X5 Group. Команда из более 4500 специалистов разрабатывает решения, которые помогают десяткам миллионов покупателей быстро и удобно покупать свежие продукты каждый день. Сейчас команда сфокусирована на разработке решений, которые не зависят от вендоров.
СберТех — ИТ-компания, занимающаяся разработкой и сопровождением высокотехнологичного российского программного обеспечения продуктовой линейки Platform V
СИБУР Цифровой — это IT-кластер СИБУРа, ведущей нефтехимической компании на рынке РФ. Решают креативные задачи по цифровизации нефтехимического производства и бизнеса. Это задачи, связанные с Data Science, цифровой разработкой, промышленным интернетом вещей (IIoT), дополненной и виртуальной реальностью (AR и VR), управлением данными и BI-инструментами. В Цифровом СИБУРе 200+ проектов с IТ-составляющей, более 200 IТ-систем и 100+ IТ-компетенций! А главное — с ними работает более 2000 сотрудников, благодаря которым они строят цифровые заводы будущего уже сегодня.
Altenar is a leading sports betting software provider delivering best-in-class solutions for licensed operators around the world. Ranging from a standalone sportsbook product to the provision of a turnkey sportsbook solution, Altenar offers proven stability coupled with a flexible and personalised service.
At CallCTO we specialize in providing startups, enterprise businesses, investors, and VCs with the solutions they need to reach their technology and business goals faster. We have an extensive team of C-Suite experts with a wide range of experience in almost every area of IT solutions.
Туту — сервис путешествий, где можно найти всё для предстоящей поездки. 20 лет помогают людям покупать билеты быстрее и комфортнее, рассказывают, как лучше добираться до места назначения, и отвечают на любые вопросы про путешествия. Каждый день в путь отправляются несколько десятков самолётов и поездов только с их пользователями.
Ozon — ведущий e-com России. В их IT-команде уже 5 000 специалистов, которые создают продукты для миллионов людей по всей стране и за рубежом. Ozon Tech разрабатывает собственные решения, контрибьютит в Open Source и использует современный стек: Go, C#, Kotlin, Swift TypeScript, Vue.js, Kubernetes и Kafka. Продолжают расти, чтобы повышать доступность сервисов и быть ещё ближе к пользователям.
VisionLabs — один из мировых лидеров в области создания продуктов на базе компьютерного зрения и машинного обучения. Компанией реализовано более 500 проектов в 37 странах для клиентов из финансового, телекоммуникационного, транспортного, энергетического секторов и розничной торговли. Более 1,7 млн камер по всему миру используют программное обеспечение VisionLabs.
VisionLabs — один из мировых лидеров в области создания продуктов на базе компьютерного зрения и машинного обучения. Компанией реализовано более 500 проектов в 37 странах для клиентов из финансового, телекоммуникационного, транспортного, энергетического секторов и розничной торговли. Более 1,7 млн камер по всему миру используют программное обеспечение VisionLabs.
Kinescope — видеоинфраструктура для интернета. Помогают бизнесу раскрыть потенциал профессиональных видеорешений для своих задач. Объединяют все необходимое для хранения, обработки, CDN-доставки и защиты видео в одном месте. Продукты Kinescope подходят как для стартапов, так и для компаний из списка РБК500 и государственных предприятий с высокими нагрузками и сложной логикой.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
СберТех — ИТ-компания, занимающаяся разработкой и сопровождением высокотехнологичного российского программного обеспечения продуктовой линейки Platform V
ИСП РАН — ведущая научная организация в области системного программирования, специализирующаяся на исследованиях, разработках и подготовке высококвалифицированных кадров. Основные направления работы: кибербезопасность, анализ данных и искусственный интеллект. Создали несколько исследовательских центров, включая центр доверенного искусственного интеллекта и технологический центр безопасности ядра Linux.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает ИТ-индустрию, поддерживает комьюнити и делится экспертизой.
Altenar is a leading sports betting software provider delivering best-in-class solutions for licensed operators around the world. Ranging from a standalone sportsbook product to the provision of a turnkey sportsbook solution, Altenar offers proven stability coupled with a flexible and personalised service.
Яндекс Доставка - это сервис, который помогает людям и бизнесу решать разные логистические задачи более чем в 1000 городов: от курьерской доставки по городу и за его пределами до грузовой доставки. Мы меняем рынок логистики с помощью технологий и данных: учим сервис эффективно подбирать курьеров на заказы, прогнозировать спрос и оптимизировать маршруты в реальном времени.
Altenar is a leading sports betting software provider delivering best-in-class solutions for licensed operators around the world. Ranging from a standalone sportsbook product to the provision of a turnkey sportsbook solution, Altenar offers proven stability coupled with a flexible and personalised service.
Команда Т-банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает ИТ-индустрию, поддерживает комьюнити и делится экспертизой.
Rambler's Top100