HighLoad++ скоро: бэкапы, предсказание временных рядов, анализ производительности

В одну новость никак не вместить всё разнообразие тем, но мы постараемся, включив в сегодняшний обзор доклады из самых разных секций.

Function as a Service in private cloud

Архитектуры, масштабируемость

Сергей Рыбалкин поделится опытом построения Function as a Service-системы внутри Alibaba private cloud. В ходе доклада узнаем:

какие возникают трудности при разработке платформы и оптимизации нагрузки;
как предоставить максимально комфортную среду разработчику функций;
почему для релизации выбран Kotlin и какие фичи языка активно используются.

Приходите за наглядным примером того, как подход FaaS позволяет снять с разработчиков ответственность за разворачивание и масштабирование сервисов и сократить количество микросервисов в деплойменте.

Инструменты создания бэкапов PostgreSQL

Базы данных и системы хранения

Старая истина гласит, что есть люди, уже делающие бэкапы, и есть люди, еще не делающие бэкапы.

Андрей Сальников из Data Egret планирует посвятить свой доклад доступным инструментам бэкапирования PostgreSQL: логические бэкапы, бинарные бэкапы, встроенные средства и сторонние инструменты. Посмотрим, когда и какой инструмент уместнее использовать. Подумаем, как лучше автоматизировать процесс бэкапирования и проверки целостности сделанного бэкапа. Разберем подробно такие инструменты: pg_dump, pg_basebackup, barman, wal-e, wal-g, pgbackrest, BART и pg_probackup.

Using event-based data architecture for near real time time-series prediction

BigData и машинное обучение

Компания Gett использует событийную архитектуру, чтобы обрабатывать миллионы записей в минуту. Nir Malbin в Gett разрабатывает искусственный интеллект и в своем докладе готов поделиться историей создания комплексного решения для прогнозирования KPI компании в режиме реального времени.

Управление людьми как инженерная задача

Цифровая культура

Многие задачи, которые выполняют люди, можно эффективно решать с помощью краудсорсинга. Вокруг Яндекса выстроена масштабная экосистема работы с краудсорсингом, которая позволяет масштабировать рабочие процессы в разных предметных областях.

Руководитель Яндекс.Толоки Ольга Мегорская расскажет, по каким принципам выстраиваются рабочие процессы, в системе с десятками тысяч исполнителей и миллионом заданий. Посмотрим, где похожие процессы можно применить и какие возможности они дают, а также о том, какие требования к квалификации специалистов появляются в такой системе.

Методики USE, RED и Golden Signals для анализа производительности и оптимизации

Тестирование, нагрузочное тестирование

Петр Зайцев — основатель Percona и соавтор книги по оптимизации производительности «High Performance MySQL». В своем докладе на HighLoad++ 2018 Пётр обещает рассказать об USE (Utilization-Saturation-Errors), RED (Rates-Errors-Duration) и Golden Signals — известных методиках анализа производительности и траблшутинга систем. Рассмотрим основы этих методов, на примерах проверим область их применимости.

Борьба за живучесть в условиях DDoS: строим непотопляемое приложение

Безопасность

Георгий Тарасов и Артём Гавриченков из Qrator Labs постараются определить, какими характеристиками должен обладать сервис, защищенный от DDoS-атак, и ответить на важные вопросы.

Что такое живучесть и целостность? При чем тут корабли?
Что нужно учесть на этапе проектирования сервиса, чтобы минимизировать количество уязвимых для DDoS-атаки компонентов?
Как снизить критичность выхода из строя тех компонентов, которые останутся уязвимыми все равно? Как быть с Websockets, Long Polling, HTTP/2? Можно ли что-то сделать с UDP?
Что пригодится сервису, чтобы было проще защитить его от атак внешними средствами защиты, и как избежать обхода этих средств в дальнейшем?
Какой информацией могут обмениваться сервис и его средство защиты, чтобы взаимодействовать лучше?

AWS Cost Reduction — Experiences and Strategies

Enterprise-системы

Catalyst IT Australia работает с инфраструктурой Amazon Web Services (AWS) с 2010 года и как партнеры, и как клиенты. За это время им не единожды приходилось сталкиваться с невероятными счетами за услуги. Это нормально, если большая часть инфраструктуры работает в AWS, но в то же время, когда ты сам предоставляешь услуги, твоя прибыль зависит от оптимизации расходов на облачную инфраструктуру. О том, какие могут быть подходы, и о полученном опыте расскажет Andrew Boag. К сожалению, проблема не уйдет по мановению волшебной палочки, но некоторые полезные практики стоит перенять и применить.

Найди мне работу: как устроен поиск в hh.ru

Видео, поиск, RTB

Алексей Бичук расскажет о пути, который прошел сервис hh.ru при построении поиска: от простого поиска, построенного на lucene, до высоконагруженного поискового кластера с персонализацией поиска на основе машинного обучения, метрик качества и A/B-тестирования на каждый чих. Обсудим, с какими проблемами столкнулись в процессе и как их решили.

QUIC illustrated

Технологии будущего

Google предложил протокол QUIC, чтобы эффективнее передавать веб-контент. Стандарт протокола еще обсуждается, но уже 7–10% трафика в интернете несет QUIC. Значит пора адаптировать сервера и решать важные для разработчиков сетевого ПО задачи. Поможет нам в этом CEO Tempesta Technologies Александр Крижановский. Доклад будет сфокусирован на:

архитектуре QUIC и взаимодействии UDP, QUIC, TLS, HTTP;
формате пакетов;
алгоритмах управления потоком и целостностью данных;
обсуждаемом в сообществе дизайне Linux kernel QUIC.

Присоединяйтесь

Скоро непременно будет готово расписание, а отмечать обязательные к посещению доклады можно уже сейчас. Главное, не забудьте забронировать билет, а то 25 октября повысится цена.

Второй митап HighLoad User Group

До HighLoad++ 2018 планируем провести митап по масштабированию баз данных. Благодаря нашим партнерам Ozon.ru, встреча состоится 31 октября в стильном конференц-зале DI Telegraph на Тверской 7. Начнем в 19:00 и будем разбираться в сложных случаях масштабирования до позднего вечера.

Мероприятие открытое, но гостям нужно зарегистрироваться, а желающим выступить — заполнить простую форму. Подробнее на странице HUG.