Highload++ 2017 завершён!

Профессиональная конференция разработчиков высоконагруженных систем

СКОЛКОВО, Москва 7 и 8 ноября

11-я ежегодная конференция для разработчиков highload-систем, которая соберет   2 700 участников из разных регионов России и мира. Мероприятие направлено на обмен знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей.

Программа охватывает такие аспекты веб-разработок, как архитектуры крупных проектов, базы данных и системы хранения, системное администрирование, нагрузочное тестирование, эксплуатация крупных проектов и другие направления, связанные с высоконагруженными системами.

Механизмы отказоустойчивости в кластерах Oracle Real Application Clusters
Основная секция

Доклад принят в Программу конференции
СберЗдоровье — российская медицинская компания, специализирующаяся на телемедицинских услугах и цифровых решениях в области здравоохранения.

SberDevices — это компания полного цикла. Создают идеи, самостоятельно разрабатывают продукты, занимаются прототипированием, конструированием, придумываем дизайна, программных решений, контролируют качество на фабриках и создают инструменты для аппаратного тестирования.

Тезисы

Тезисы:

На этом докладе Вы познакомитесь с методами защиты приложений от сбоя в Oracle Real Application Clusters (RAC) - ключевой технологией Oracle для обеспечения масштабируемости и надежности высоконагруженных промышленных баз данных.

Материал ориентирован, в основном, на разработчиков, но также будет полезен и для DBA.

Сбой узла кластера, или что такое TAF

Сбой узла кластера - это отказ экземпляра Oracle на одном из узлов кластера. Все приложения, которые имели сессии с отказавшим узлом кластера, эти соединения, разумеется, теряют. Клиентское программное обеспечение Oracle Call Interface [OCI] в этом случае обеспечит переключение на один из оставшихся в "живых" узлов. Фактически, библиотеки времени выполнения OCI в этом осуществляют закрытие "мертвой" сессии и открытие новой на одном из оставшихся работоспособных узлов кластера, причем это переключение происходит прозрачно для приложения и не требует дополнительного программирования. Данная функциональность носит название Transparent Application Failover [TAF] и поддерживается, начиная с версий Oracle Client 8.0.6.

Одно из самых распространенных заблуждений относительно Oracle RAC состоит в том, что если в момент сбоя узла кластера приложение имело на нем незавершенную транзакцию, то после прохождения переключения на другой узел транзакция продолжит свое выполнение. К сожалению, это не так!

Рассмотрим ситуацию "падения" узла кластера и выполнения TAF более подробно:

  • Приложение имеет соединение с одним из узлов кластера Oracle RAC и начинает выполнение транзакции;
  • Несколько операторов транзакции успешно выполнены, но транзакция еще не завершена (НЕ зафиксирована);
  • Происходит "падение" узла кластера, с которым приложение имело соединение;
  • Клиентское программное обеспечение OCI произвело открытие новой сессии на одном из работоспособных узлов кластера;
  • Далее приложение получает новую сессию.

После последнего шага возникает проблема: поскольку все промежуточные операции транзакции потеряны, то выполнение оставшихся операторов транзакции не будет иметь смысла (может привести к непредсказуемым результатам). Помимо этого, не следует забывать, что приложение могло иметь на сервере глобальные переменные пакетов PL/SQL, значения которых в результате сбоя также было потеряно.

Вывод: поскольку контекст выполнения сессии не дублируется на всех узлах кластера (это было бы слишком расточительно), то нормальное выполнение приложения после отработки TAF невозможно.

Для решения этой проблемы разработчики СУБД Oracle предоставили выход в виде специального callback-вызова на клиенте: приложение регистрирует в OCI свою функцию обратного вызова, эта функция будет вызываться в процессе отработки TAF. В этой функции программист может корректно обработать операцию потерю контекста сессии и, возможно, восстановить его.

В ходе презентации будут показаны примеры исходного кода для реализации TAF-callback для языков программироввания C,c#,Java, Delphi (с использованием ODAC). Также будет показана живая демонстрация приложения, которое умеет восстанавливать потерянную транзакцию и повторять ее после переключения на "живой" узел.

Упреждающее оповещение приложений о событиях в кластере, или что такое FAN

Основная проблема при использовании FAN заключается в том, что приложения узнают, что текущая сессия "мертва" только при следующем обращении к СУБД, и поэтому проведенная работа между падением узла и последним обращением к СУБД будет потеряна.

Для решения данной проблемы Oracle дополнительно предлагает новый механизм - Fast Application Notification [FAN]. Основная идея заключается в посылке сообщения приложения о событии в кластере (запуск/сбой узла, запуск/останов сервиса). Приложение также регистрирует callback на клиента, который "зажигается" в момент прихода очередного сообщения. Таким образом, клиентское приложение получает возможность быстрой реакции на события, происходящие в кластере.

В ходе презентации будут подробно рассмотрены примеры исходного кода, использующие FAN, и показан демо-пример на C#.

Также будут рассмотрены возникающие при использовании FAN особенности:

  • транспорт доставки сообщений (может быть отдельное сетевое соединение так и очередь Advanced Queueing);
  • приложение, реализующее FAN-callback становится многопоточным (callback вызывается во вторичном потоке и приложение должно использовать методы синхронизации с основным потоком - такие как мьютексы, семафоры и критические секции).

План доклада:

1. Использование TAF для восстановления контекста сессии. Демонстрация.

2. FAN - анализ и реакция на сообщения от кластера. Демонстрация.

3. Защита middleware (серверов приложений и web-серверов) в RAC. Поддержка перезапуска приложений на узлах и виртуальные IP. Демонстрация.

4. Заключение.

Целевая аудитория:

Разработчики бизнес-критичных приложений, администраторы баз данных.

Докладчики:

Мельников Игорь, cтарший консультант Oracle CIS

Краткая информация:

Старший консультант Oracle СНГ по серверным технологиям СУБД. Сфера деятельности: адаптация решений компаний-разработчиков под технологическую платформу Oracle Database. Хобби: создание и оптимизация приложений для кластеров Oracle Real Application Cluster, а также создание веб-приложений в среде Oracle Application Express.

Геннадий Сигалаев cтарший консультант Oracle CIS

Краткая информация:

Старший консультант Oracle СНГ по Oracle Database и Fusion Middleware. Основная работа связана с поддержкой технологических партнеров и заказчиков по использованию базовой платформы Oracle.

Другие доклады секции
Основная секция

Компания Биокад — биотехнологическая компания полного цикла, то есть занимается как разработкой, так и производством лекарственных препаратов. В компании более 3000 сотрудников. Треть из них с научными степенями. IТ-департамент — более 250 человек.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У них десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Помощь в повышении квалификации для работающих разработчиков и open source-разработка.
Занимаются заказной разработкой технической документации, процессным консалтингом, связанным с документацией, а также обучением и поиском технических писателей.
Авто.ру — это проект Яндекса, который помогает людям купить или продать машину
Объединенная компания Wildberries & Russ — международная IT-компания, лидер рынков e-commerce и наружной рекламы в России. Образована в результате слияния крупнейшего маркетплейса СНГ Wildberries и оператора наружной рекламы Russ. Бизнес-модель Wildberries & Russ построена на использовании технологий. Компания активно развивает собственную IT-инфраструктуру, а также продукты для покупателей, продавцов, рекламодателей и других категорий пользователей.
Яндекс Go — продуктовая компания с устойчивой Data Driven-культурой, где все решения анализируются и проверяются с оглядкой на данные, а скрипт на Python или SQL может написать любой.
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 50 миллионов клиентов. Т-Банк развивает IТ-индустрию, активно внедряет современные технологии и делится экспертизой.
МФТИ / Физтех — ведущий российский исследовательский университет. Насчитывает 10 Нобелевских лауреатов. В топ‑100 глобального рейтинга Times Higher Education. Десятки научных школ, международные лаборатории, одни из сильнейших программ.
MAGNIT TECH — IT-компания, которая трансформирует один из крупнейших ритейлеров страны. Это более 5000 сотрудников, 800+ систем, 260+ проектов и одна цель: изменить ритейл в такт передовым технологиям. Мы не просто обслуживаем процессы, мы проектируем инновации с нуля, запускаем флагманские продукты и перестраиваем логику ритейла – от логистики и аналитики до клиентских платформ и AI-решений.
Группа компаний VK это крупнейшая ИТ компания, которая объединяет в себе социальные платформы, почту, облако, образовательные и технологические сервисы для пользователей и компаний.
Ви.Tech – Это компания занимающаяся разработкой для крупнейшего в россии DIY магазина
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
MWS (МТС Web Services) - облачный сервис для внутреннего и внешнего пользователя
AgentArea - безопасная платформа для управления ИИ-агентами. Молодая команда уже стала финалистом AI Championship в кибербезопасности.
Компания Maxim Technology занимается разработкой ПО и баз данных. Наши приложения используют Сервисы такси, миллионы пользователей ежедневно заказывают автомобиль через наше ПО. Наши сервисы успешно обрабатывают сотни тысяч запросов в минуту, миллионы заказов в день, благодаря распределенной инфраструктуре, собственным дата-центрам, инновационным решениям и разработкам.
MTS Digital, KION - онлайн кинотеатр, который раздает десятки гигабит видео в секунду и делает жизнь чуть интереснее
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У них десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Миссия компании — обучить хотя бы 15% руководителей современным методикам управления и сделать Россию лидером в области корпоративного менеджмента.
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
ООО Группа Лоджик Старс является ведущим игроком на рынке IT и уже более 20 лет разрабатывает высококачественное программное обеспечение в сфере автобизнеса. Специализируются на создании инновационных решений, которые помогают ихклиентам оптимизировать бизнес-процессы, повышать эффективность и достигать высоких результатов.
Компания Axiom JDK — поставщик российской платформы Java, основана управляющей командой Центра разработки Oracle в Санкт-Петербурге. Инженерное ядро сформировано из разработчиков, которые стояли у истоков создания Java в России и заботятся о безопасности платформы с 1997 г. Компания производит и поддерживает безопасный стек базовых технологий для разработки и исполнения Java приложений с обеспечением санкционной устойчивости.
Компания Maxim Technology занимается разработкой ПО и баз данных. Наши приложения используют Сервисы такси, миллионы пользователей ежедневно заказывают автомобиль через наше ПО. Наши сервисы успешно обрабатывают сотни тысяч запросов в минуту, миллионы заказов в день, благодаря распределенной инфраструктуре, собственным дата-центрам, инновационным решениям и разработкам.
Билайн — один из ведущих поставщиков телекоммуникационных услуг в России.
Мы делаем ИТ для ритейла реального времени. Чтобы все нужные товары и продукты могли попадать домой к людям мгновенно, насколько это возможно в физическом мире – с помощью технологий. На наших решениях работают Самокат, Мегамаркет, логистические системы. Компания выросла из команды Samokat.tech — наше видение всегда было шире одного пользовательского сервиса. Мы хотим изменить саму модель потребления, чтобы люди по-другому относились к покупкам и своему времени. В команде больше 5000 человек — мы большие и разные, стремимся к балансу между технической выверенностью и фокусом на бизнес-ценность, уважаем процессы и избегаем закостенелости. Делаем продукты, которыми пользуемся сами.
BI.ZONE — компания по управлению цифровыми рисками. Мы создаем IT-продукты для обеспечения кибербезопасности: от мобильных приложений до сложных платформ, в основе которых лежат методы машинного обучения.
"Открытая Мобильная Платформа" обеспечивает компании надёжными отечественными решениями для построения доверенной безопасной мобильной инфраструктуры.
IT-компания Хоулмонт — российская компания, которая создает собственные технологии и инструменты разработки мирового уровня.
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Переосмысливают DIY-ретейл так же, как другие технологические лидеры до этого меняли банкинг и IТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
AG-LEGAL — юридический консалтинг, сопровождающий IT-компании, а также крупные федеральные компании по вопросам интеллектуальной собственности, категорирования КИИ, персональных данных, включением в реестр отечественного ПО.
РСХБ.Цифра — это бренд, объединяющий все технологические решения Россельхозбанка и его дочерних компаний. Команда занимается цифровой трансформацией одного из крупнейших банков России и управляет высоконагруженными системами: АБС, ДБО, процессингом. Более 5000 человек по всей стране создают и выводят на рынок собственное ПО для банков и госкорпораций, финансовых, страховых организаций и агропромышленных предприятий. 26 программных продуктов РСХБ.цифра вошли в реестр отечественного ПО.
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
SberDevices — это компания полного цикла. Мы создаём идеи, самостоятельно разрабатываем продукты, занимаемся прототипированием, конструированием, придумываем дизайн, программные решения, контролируем качество на фабриках и создаём инструменты для аппаратного тестирования.
Инфраструктурная платформа Genesis Core максимально упрощает «пользовательский путь» разработчика, от первой строчки и до деплоя на прод через локальные стенды.
РСХБ.Цифра — это бренд, объединяющий все технологические решения Россельхозбанка и его дочерних компаний. Команда занимается цифровой трансформацией одного из крупнейших банков России и управляет высоконагруженными системами: АБС, ДБО, процессингом. Более 5000 человек по всей стране создают и выводят на рынок собственное ПО для банков и госкорпораций, финансовых, страховых организаций и агропромышленных предприятий. 26 программных продуктов РСХБ.цифра вошли в реестр отечественного ПО.
Команда «Онтико» создает пространства для обмена опытом между профессионалами — мы проводим лучшие в России (и одни из лучших в мире) профессиональные конференции для IT-разработчиков.
АО ИНЛАЙН ГРУП - российская компания с 25 летней историей, классический ИТ системный интегратор. Продукт ИКСАР выведен на рынок в 2018 году и на данный момент занимает лидирующие позиции на рынке AR для Промышленности. Сайт продукта: https://iksar.pro/ ТГ канал продукта: https://t.me/iksarpro
МТС — одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. Штат IT-специалистов компании превышает 8 000 человек.
AgentArea — безопасная платформа для управления ИИ-агентами. Молодая команда уже стала финалистом AI Championship в кибербезопасности.
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
Разрабатывают софт для СберТех. Отдел занимается развитием Open Source-продуктов: Apache Ignite, Apache Kafka, Postgresql.
ROGII — международная компания, разрабатывающая продукты для геонавигации.
В «Магните» занимается управлением портфелем IT-проектов, трансформацией IT-вертикали, а также контролирует эффективность производственного цикла. Одна из задач — повышение эффективности управления изменениями для бизнес-заказчиков.
X5 Tech — IT-компания и основной цифровой партнер X5 Group. Разрабатывает онлайн- и офлайн-решения, которые помогают более 392 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей — быстро и удобно покупать свежие продукты.
Rambler's Top100