Чем меньше размер данных, тем дешевле их хранить и часто быстрее обрабатывать. Разработчики баз данных издавна задумывались над тем, как обеспечить максимальную степень сжатия данных. В данном докладе мы рассмотрим, почему интерес к компрессии информации в базах данных особенно высок в последние годы. ...

NoSQL databases threw out SQL for querying, while their authors focused on solving problems on scale, speed and availability. The trouble is the need for rich query never went away. Neither did SQL; it was only resting. ...

Facebook использует MySQL в качестве основного хранилища данных. MySQL работает на десятках тысяч серверов в нескольких ЦОДах. В качестве дисков используются Flash-накопители. ...

MongoDB 3.0 introduced the concept of different storage engine. The new engine known as WiredTiger introduces document level MVCC locking, compression and a choice between Btree or LSM indexes. In this talk you will learn about the storage engine architecture and specifically WiredTiger, and how to tune and monitor it for best performance. ...

Доклад о новинках нового релиза PostgreSQL можно сделать экстремально скучным: взять release-notes и зачитать вслух. Но 9.5 обещает быть очень интересным релизом как с точки зрения улучшения производительности, так и функциональности - было бы жалко сделать о нем плохой доклад. Поэтому я выбрал несколько важных и нужных фич и расскажу про каждую - как она устроена, на что влияет и, главное, как ей разумно воспользоваться - максимум практических аспектов, минимум маркетинга. ...

Если вы используете MySQL, то для вас, скорее всего, важна производительность. Данный доклад посвящен теме производительности, и поэтому его стоит послушать. В рамках доклада будет рассмотрен практический метод оптимизации производительности MySQL, который большей частью применим для других баз данных тоже.

Lightning Memory-Mapped Database (LMDB) представляет собой интересный, во многом уникальный движок базы данных класса Berkeley DB и Level DB с ребус-подобным исходным кодом. Будучи относительно малоизвестным, LMDB показывает ЧЕМПИОНСКУЮ производительность по чтению. А наши доработки предлагают ряд компромиссов для достижения невероятной производительности по записи. ...

Оперативная память становится всё более дешёвой и производительной, что позволяет использовать её для хранения рабочего набора данных всё большего числа приложений. Хранение всех данных в оперативной памяти позволяет сделать их высоко доступными, а алгоритмы для работы с данными либо существенно упростить, либо ускорить, а иногда - и то, и другое. Что особенного в in-memory DBMS, и чем работа такой программы отличается от произвольной высоконагруженной системы, написанной на С, С++, Java? ...

Нет единого мнения о том, как должен себя вести хорошо дрессированный кластер, какие номера он должен показывать и что будет делать в случае катастрофы. Надежда обнаружить серебряную пулю в поиске лучших практик толкает разработчиков кластерных решений перебирать один стек за другим, менять компоненты в расчете на то, что искомая комбинация обнаружится сама собой. Наблюдая в разной степени успешный опыт коллег, мы почти сразу остановили свой выбор на стеке от ClusterLabs, который удовлетворяет всем минимальным требованиям синхронной хореографии прямо из коробки. ...

В настоящее время, когда рынок полон различных In-memory NoSQL решений, вопрос выбора особенно актуален. Часто приходится видеть ситуацию, когда базу данных выбирают по принципу "самая распиаренная", "друг посоветовал" и пр. Такой подход имеет мало общего с инженерным мышлением. ...

В СУБД для одного и того же SQL-запроса может быть построено множество различных планов выполнения. От выбора правильного плана существенно зависит скорость и эффективность выполнения запроса. Чтобы находить достаточно хороший план, СУБД-сообщество решает задачу предсказания времени выполнения запроса по плану выполнения запроса. ...

Позвольте представить Spilo - отказоустойчивый PostgreSQL кластер. Последние несколько лет в компании Zalando происходила постепенная децентрализация разработки приложений. Этот процесс затронул и базы данных: часть задач по их обслуживанию была передана командам разработчиков, многие из которых не имеют опыта администрирования СУБД. ...

In Alibaba, almost all of the busiest business are builded on MySQL. It aquires MySQL can support high load. The challenge comes from sucn as complex transactions, huge number of parallel connections and press on network, cpu, memory and disk. ...

Когда стоит дилемма, какое DBMS решение выбрать, то приходится принимать во внимание много факторов - latency, bandwidth, ACID-complience, наличие/отсутствие server-side-scripting, возможности репликации, удобство развертывания и администрирования, наличие известных багов или maintenance window и т.д. Я хочу рассказать лишь об одном из факторов, который имеет особенное значение на проектах с многомиллионными аудиториями - это Total Cost of Ownership или, по-простому, цена. Чем больше аудитория у проекта, тем больше эта аудитория создает нагрузку на базы данных, тем больше должно быть серверов с базами данных, тем больше финансовых затрат это требует. ...

Слушатели этого доклада получат представление о том, как построить отказоустойчивое, быстрое, простое и легко масштабируемое решение на базе Nginx и Tarantool. Коротко о главном: * Обзор внутреннего устройства шардинга в Tarantool. * Обзор Tarantool upstream модуля для Nginx. ...

Базы данных PostgreSQL занимают одно из центральных мест в Авито. Они являются разделяемой платформой, вокруг которой построено множество дополнительных сервисов. Одной из основных задач при их администрировании является задача восстановления после аварий как самих баз, так и связанной с ними инфраструктуры. ...

В многоядерных высоконагруженных системах с высокой конкурентностью часто бывает сложно определить, чем занят отдельный процесс PostgreSQL. Он может находится в ожидании локов высокого уровня, таких как локи таблиц, внутренних локов, используемых для синхронизации процессов, ввода-вывода и многих других. В настоящий момент среди всех событий ожидания мониторить можно только локи высокого уровня с помощью представлений PostgreSQL. ...

MongoDB exhibits a fairly classic leader-based replication architecture, with builtin automatic provisioning and failovers. Since it was developed, an academic paper from Stanford has introduced a distributed consensus algorithm called Raft - which happens to be rather similar to the home grown algorithm of MongoDB. This talk will give a brief overview of Raft and how we are retrofitting some of it into MongoDB 3.2 to make our replication even more robust. ...

TokuDB - это реализация так называемых фрактальных деревьев для MySQL. Фрактальные деревья - это те же самые B+-деревья, но с буфером сообщений в каждой ноде. Сообщения описывают изменения данных. ...

Знание внутреннего устройства СУБД позволяет использовать возможности базы данных по максимуму. Устройство PostgreSQL в целом достаточно подробно документировано, однако с некоторыми аспектами работы до сих пор можно ознакомиться, только изучая исходный код. Так, например, в ряде работ наглядно показано, каким образом PostgreSQL хранит записи, упаковывая их в страницы, и как страницы уложены в хранилище, но нигде не рассказано о внутреннем устройстве самих данных записи. ...

Managing resources (cpu, memory, network io) in compute clusters is difficult. Regardless of running Hadoop, Spark or customized workloads, we face the challenge of scheduling a mixture of long running, short running workload with different resource requirements and deadlines in a compute cluster. The difficulty often comes in when we try to maximize cluster utilization and share resources properly among workloads at the same time. ...

В докладе рассказывается о результатах тестирования производительности PostgreSQL на современных Hi-End серверах компаний HP (SuperDome X) и IBM (POWER8). Основное внимание было уделено блокировкам для доступа к разделяемым данным и связанными с этим узкими местами. Целью тестирования было проверить пределы линейного read scalability при увеличении количества ядер выделяемых для PostgreSQL. ...

NoSQL databases have emerged as a response to some perceived problems in the RDBMSs: agile/dynamic schemas; and transparent, horizontal scaling of the database. The former has been promptly targeted with the introduction of unstructured data types, but scaling a relational databases is still a very hard problem. As a consequence, all NoSQL databases have been built from scratch: their storage engines, replication techniques, journaling, ACID support (if any). ...

Duration: 30 minutes, 45 minutes with questions Database sharding involves spreading database contents across multiple servers, with each server holding only part of the database. While it is possible to vertically scale Postgres, and to scale read-only workloads across multiple servers, only sharding allows multi-server read-write scaling. This presentation will cover the advantages of sharding and future Postgres sharding implementation requirements, including foreign data wrapper enhancements, parallelism, and global snapshot and transaction control.

AliExpress is the largest cross border trading platform in the world. Every day, from over 200 countries, millions of consumers visit AliExpress to order products from global merchants. To keep AliExpress operating at high performance at all times is a significant technical challenge. ...

Популярность постгреса в мире и России растет, с каждым новым релизом появляется все новая и новая функциональность, постгрес становится реальной угрозой монополии Оракл, уже подвинул Монго на поле свободных NoSQL СУБД, однако мировое сообщество ждет решения для горизонтального масштабирования. Создание постгресового кластера является крайне трудной задачей, так как постгрес является базой данных, ориентированной на целостность данных, а используемый алгоритм обеспечения конкурентности транзакций ставит серьезные челленджи перед разработчиками алгоритмов распределенных транзакций. Оказывается, уже целых пять групп работает над этой задачей, и мы расскажем про их подходы, трудности, в том числе, и политические. ...

NoSQL key-value — популярное решение, но какие преимущества и какой ценой оно даёт? Скорость? Возможно, но ценой урезанного, по сравнению с реляционными базами данных, функционала. ...

СУБД PostgreSQL - это огромный механизм, который состоит из множества подсистем, чья работа определяет производительность PostgreSQL. В процессе эксплуатации обеспечивается сбор статистики и информации о работе компонентов, что позволяет оценить эффективность PostgreSQL и принять меры для повышения производительности. Однако, этой информации очень много и представлена она в достаточно упрощенном виде. ...

PostgreSQL известен своей расширяемостью, которая позволяет добавлять новую функциональность без остановки сервера и своими силами, без привлечения разработчиков ядра базы данных. Однако, существующая инфраструктура имеет исторические ограничения, которые проявляются при работе с типами данных, обладающими внутренней структурой, такими как массивы и hstore. В полную силу эти ограничения проявились после появления jsonb. ...

Сфера финансовых приложений и трейдинга выдвигает особые требования к системам обработки данных: ультракороткие задержки, конкурентные обновления (в т.ч. из разных процессов), репликация высокочастотных обновлений. Существовавшие открытые key-value хранилища не справлялись, поэтому мы сделали свое - Chronicle Map. ...

The challenge of distributed transactions has increased in the past few years due to an exponential increase in volume of data and higher throughput demands. Today, we can see that applications have the need to be both highly available and fast (near real time) with a vast amount of data. The overall trends for organizations has been to move from relational databases to NoSQL databases and leverage distributed environments. ...

RTB и его проблематика должны быть знакомы участникам конференции - мало кто сегодня не слышал об этом способе получить много krps с жесткими ограничениями на время генерации ответа. Вот и компания Qmobi решила поучаствовать в этой гонке и отхватить свой кусок пирога под названием “рынок мобильной рекламы”. При первом подходе к снаряду задача выглядит довольно простой: вот запрос с критериями, вот база данных с ответами - выбирай по индексу и отвечай. ...

Как грамотная архитектура и правильное планирование запросов позволяет небольшим количеством серверов достичь высокой производительности при раздаче видеоконтента. В докладе будет рассказано об опыте развития проекта видеоплатформы, о проблемах, которые возникли на пути, и как нам удается раздавать 200 Гбит меньше чем 10 серверами. Планируется рассказать о следующих проблемах: - недостаточная производительность дисковой подсистемы; - странности в поведении аппаратного обеспечения; - недостаточная производительность рельсового приложения; - и опять недостаточная производительность дисковой подсистемы. ...

Today’s browsers are some of the most capable platforms around, and yet our tools are still painfully primitive. JavaScript engines are powerful, yet the language leaves a lot to be desired. Being forced to use JavaScript on the browser also fragments our code-base where we have to duplicate business logic on the server-side. ...

WebGL многими воспринимается как API для "быстрого" рисования. Но на практике нередко случается, что решение на WebGL выходит медленным, иногда даже медленнее решений на других API. В этом докладе мы попробуем взглянуть на проблемы производительности, встречающиеся в работе с WebGL, и их решения на примере движка Панорам Яндекс.Карт. ...

Large websites with large customer bases should have fast page loads no matter where your customers are coming from. In this day and age speed is expected. Getting there requires engineers to both have data and the ability to analyze and find problems. ...

What does it take to achieve sub two seconds video playback latency on the 3rd largest website in the world? We will peek under the hood of the Watch page and explore what common problems are being solved by YouTube's Desktop team and what interesting solutions had to be implemented to achieve this goal. We will discuss how page loads are classified and what specific treatment is required for every type, what tools and technologies are used in the stack, how being one of the largest image serving websites affects our approach to thumbnails and how we maintain and monitor our latency goals.

Взглянем ещё раз на концепцию изоморфных приложений. На первый взгляд, всё красиво - полный порядок, высокая организованность, быстрая выдача результата. Но так ли всё оптимистично? ...

История развития проекта с точки зрения клиентских технологий - от веб-сайта к появлению мобильных клиентов и смещению фокуса к mobile-first разработке. Общие черты нашей архитектуры и их отличия от стандартных решений. Единый протокол общения с приложениями iOS/Android/WindowsMobile/MobileWeb/Web и особенности реализации для JavaScript платформ (десктопные и мобильные браузеры).

Оптимизация любого веб-приложения – это нетривиальная задача, для решения которой требуется проводить мониторинг загрузки системных ресурсов, выполнять микро-вэнчмаркинг, экспериментировать с настройками, проводить нагрузочное тестирование и т.д. В текущем году нашей команде довелось поучаствовать в нескольких проектах, в которых перед нами стояла задача оптимизации J2EE веб-приложений. Один из них – портал для ОАО «Сбербанк России» (www.sberbank.ru). ...

На примере фреймворка COD.js ( c React as View Layer ) и топовых продуктов фирмы Acronis мы увидим, каких удивительных результатов можно добиться используя: 1) NAS - неблокирующее состояние приложения; 2) Predictions - дизайн-паттерн, позволяющий предсказывать состояния системы и производить так называемую "latency conpensation" - технику, которую очень любят в Game Dev; 3) Preloading - стандартную и всем знакомую технику, у которой есть пара интересных способов применения, заслуживающих внимания; 4) Presudo-Isomorphism - очень хитрую технику, которую так активно использует Facebook. Все это будет показано на примере реальных продуктов. С простыми и понятными примерами, которые можно будет применить в любом продукте. ...

Рассказ от tech-менеджера о том, как мы в Acronis выбирали фреймворк в условиях, когда любое более-менее важное технологическое решение сразу затрагивает с десяток команд, несколько сотен человек и права «случайно все сломать» нет. В докладе пойдет речь о том, что производительность фронтенда — это больше про слаженную работу команды, про понятный и масштабируемый код, чем про сухие циферки. Но циферки тоже будут. ...

1. Многие коллективы разработчиков пытаются измерять скорость отклика сайта и пишут, например, “эта страничка сформирована за 300 ms”. 2. ...

1. Быстрый сервер. - Быстрый сервер на C++ в связке с V8. ...

Вы когда-нибудь плакали, открывая Amazon EC2 калькулятор? Мучились ли вы над тем, куда поставить сервер - на балкон или в кладовку? Готовились ли вы морально платить по 100-200 тысяч рублей за самый примитивный вариант сервера? ...

Через пару недель после увольнения админа нам показалось, что пароли наших клиентов утекли. Неприятная ситуация, которая требует оперативных и слаженных действий. В этом докладе я расскажу подробности этой истории, и мы обсудим: — Как отработали с клиентами, утечка паролей к которым была установлена достоверно. ...

Доклад - универсальный список ключевых слов для подготовки к любой работе над любыми задачами. Программирование - штука одновременно очень узкая и очень широкая. С одной стороны, фундаментальных структур данных и алгоритмов крайне мало, а с другой, решаемых задач и специальных (для разных индустрий) техник много. ...

1. Кадровые вопросы. 1.1. ...

Для любого крупного проекта работа над uptime сервиса должна быть постоянной, непрерывной и многовекторной.  Каждый инцидент с доступностью проще всего “свалить” на поставщика услуг хостинга и провайдера. Однако, начиная с определенного уровня масштаба сервиса, такой подход уже начинает стоить бизнесу слишком много.  Данный доклад - это обзор работы над проблемами доступности на пути от клиента до хостера, проведенной с целью достижения доступности сервисов клиента выше 99,99% на примере интернет-компании с оборотом выше 1 млрд рублей. Ключевая особенность доклада в том, что он максимально объективен в силу того, что каждый докладчик представляет свою сторону "баррикад". ...

Одобрено комиссией. ...

Tempesta FW - это Open Source гибрид Web-акселератора и файервола, специально разработанный для высокопроизводительной доставки контента вне зависимости от DDoS или наплыва посетителей. В докладе будет рассказано про задачи, которые ставились при разработке проекта и пути их решения. Рассмотрим проблемы современных операционных систем в приложении к Web-стеку (система фильтрации, Web-сервер, application слой, БД), и как они решаются в Tempesta - некоторые уже решены, некоторые еще в процессе работы.

Такси - это популярная тема для обсуждений, после того, как появились стартапы в виде Uber, GetTaxi, GrabTaxi и тому подобные. Ведущий разработчик службы Namba Taxi расскажет про то, как строилась текущая отказоустойчивая архитектура в Namba Taxi, с какими проблемами и неудачами мы сталкивались и как решали. Мы обсудим: - какие ошибки проектирования были допущены; - как именно эти ошибки нам мешали в эксплуатации и поддержке; - что такое сервисная архитектура. ...

Stack Overflow, and its Q&A network Stack Exchange, have been growing exponentially for the last five years. They now encompass ~150 Q&A sites ~9 million users ~13 million questions ~22 million answers In this talk, I will describe: * The physical architecture of Stack Overflow. How many servers are there? ...

В докладе я расскажу о том, как мы добились идеально ровной балансировки нагрузки по кластеру из 200+ серверов, реализовали автоматический подбор весов и получили разброс CPU usage в 2,5% в пике трафика. Это позволило сэкономить нам около 40-50 серверов и улучшить время отклика мобильного сайта в пике нагрузки. Реализацию приведенного алгоритма мы выложим в open-sourсe. ...

Как правило, такое базовое ПО, как языки программирования, системы управления базами данных, брокеры сообщений, используется в разных индустриях и не имеет ярко выраженной бизнес-специализации. Java, Python, MySQL и не только находят применение повсюду, начиная с больших корпораций, заканчивая стратапами и видеоиграми. Тем не менее, встречаются исключения. ...

В сутки Яндекс.Диск отдает более 40 миллионов сгенерированных превью изображений для просмотра в веб-интерфейсе Диска и в мобильных приложениях. В докладе будет рассказано о поиске узких мест в цепочке от запроса пользователя до показа ему картинки, создания мониторингов скорости показа картинок, мерах по оптимизации: какие варианты рассматривали, какие реализовали, и какие были итоги. ...

NodeJS - достаточно молодой фреймворк, и пока не каждый решается использовать его в продакшене, а тем более в highload. В течение последнего года мы разрабатывали проект DMP (Data Management Platform), используя NodeJS для прототипирования. На данный момент проект в большей степени все еще остался на JS и без труда справляется с текущими нагрузками в 10 000 запросов в секунду. ...

В своём проекте мы решали следующие задачи: — Скорость разработки задачи; — Стоимость поддержки задачи; — Возможность распараллеливать вычисления и задачи; — Возможность максимально просто масштабировать приложение; — CI/CD с минимальными усилиями. Я расскажу о том, как мы решали эти задачи, на какие грабли мы наступали, что из этого всего получилось, и что делать дальше. Что получили в итоге: — Мощь JVM под капотом Scala; — 15 минут от нажатия на кнопку "Merge request" до продакшена в 3 датацентра и 6 серверов с прохождением тестов (юнит + функциональные + интеграционные + нагрузочные); — 6 нод с приложениями вместо 18 (по 2 в каждом датацентре для отказоустойчивости) с запасом прочности в 60%; — Независимые пофичные релизы без даунтайма всех компонентов приложения; — Масштабирование только того функционала и в том количестве, которое необходимо данному сервису. ...

В нашей организации разрабатывается облачная платформа – Self-Organized Cloud (SOC). Проект направлен на реализацию собственной уникальной технологии управления (оркестрации) виртуальными облачными сетями (тенантами), состоящими из виртуальных серверов, сетевых устройств и хранилищ данных, с возможностью задания различной сетевой топологии. При описании виртуальной сети пользователь может использовать различную элементную базу. ...

В Правительстве Москвы более 200 органов исполнительной власти и более 3000 подведомственных учреждений, каждое из которых ежедневно оперирует большим массивом различных данных, раскрывает часть из них для внешних пользователей, а также использует данные для межведомственного взаимодействия. Как эффективно управлять таким массивом данных? В ходе доклада расскажем об опыте управления и использования большого массива государственных данных в Правительстве Москвы. ...

Сегодня термин "программно-определяемые сети" используется во множестве случаев - начиная с демонстрационных стендов с OpenVSwitch и заканчивая внедрениями распределенной программно-аппаратной оркестровки от профильных вендоров. Разработка собственной модели сетевого транспорта и написание SDN обычно целесообразно и посильно лишь крупнейшим компаниям, но в нашем случае это также оказалось возможным, более того, SDN упростила взаимодействие с аппаратной начинкой кластеров и привела к снижению ее общей стоимости. Мы хотим рассказать о практическом опыте разработки и использования полностью программной сети для клиентов публичного облака - от определения требований к функциональности такого решения до нюансов работы крупного отказоустойчивого SDN-кластера. ...

NVDIMMs provide applications the ability to access in-memory data that will survive reboots. This is a huge paradigm shift happening in the industry. Intel has announced new instructions to support persistence. ...

Одобрено комиссией. ...

• Защита данных — это не "одна кнопка", нет годного любому единого решения. Задача всегда диктует выбор средств и решений. • RTO — Recovery Time Objective — максимальное время, за которое все ваши бизнес-задачи должны полностью быть восстановлены в работоспособное состояние после полной катастрофы ДЦ. ...

Архитектурный шаблон проектирования конвейер (pipeline) хорошо зарекомендовал себя при проектировании высоконагруженных (highload) систем. Использование шины сообщений (message bus) при реализации каналов взаимодействия позволяет достигать хороших показателей масштабируемости (scalability), но при этом появляются дополнительные накладные расходы, которые сказываются на показателях производительности (performance). В докладе обсуждаются варианты использования системы обмена сообщениями RabbitMQ в качестве связующего программного обеспечения (middleware) для построения конвейерной архитектуры. ...

Snabb Switch is a new open source toolkit for using Linux/x86 servers to solve high-end networking problems. Snabb Switch is used by network operators who need to process up to 100 Gbps of network traffic per server and its application areas include load generation, line-rate packet capture, firewalling, VPN, and Network Functions Virtualization (NFV) for OpenStack. I will explain the architecture of Snabb Switch, how it is able to process over 100 Gbps of traffic on an ordinary x86 server, and how LuaJIT makes it possible for a grassroots community to build Snabb Switch with only around 10,000 lines of code.

Авито с 2010 года - с момента запуска на широкую аудиторию - прошел уже немалый путь, успев собрать более 600 миллионов объявлений со всех уголков страны, и став при этом крупнейшим классифайдом в Европе. В докладе будет дан обзор архитектуры ядра системы с ретроспективой, перечислены основные компоненты обработки объявлений, приведены оценки параметров функционирования от "продуктовых" "количество объявлений за единицу времени" до количества запросов на разные уровни стека (веб, базы, поиск, очереди) и степени утилизации железа. Будут также продемонстрированы примеры реализаций классических паттернов веба: кэш, прокси, денормализация и репликация, шардинг, очереди и удаленный вызов процедур - подходы, уже более 5 лет лежащие в основе нашей архитектуры. ...

Проблема race condition в распределенных системах и существующие способы решения. Какие системы требуют строгой консистентности и почему? Что такое blockchain, как сделать процесс его создания распределенным и как на базе него построить масштабируемую систему учета.

Что появилось нового в nginx в 2015? Thread pools, HTTP/2, SO_REUSEPORT, nginScript Примечание от Программного комитета: только Игорю Сысоеву можно писать настолько краткие тезисы :) ...

Управление миллионами метрик таит в себе множество сложностей. Это вопросы автоматизации, масштабируемости, интеграции с другими системами и многое другое. Хочется максимально всё автоматизировать - один раз настроил и забыл. ...

DNS - это одна из основополагающих служб и протоколов современного интернета, сервис, который должен всегда работать. Каждый раз, когда конечный пользователь обращается к какому-либо ресурсу глобальной паутины, он использует DNS, и чтобы этот самый первый шаг к проектам у наших клиентов не занимал много времени, мы построили свой DNS-хостинг с использованием Anycast-балансировки. Чуть позже мы применили этот метод для балансировки и повышения доступности рекурсивных серверов внутри наших дата-центров.

Налог на добавленную стоимость - важнейшее средство пополнения бюджета страны, а проверка корректности налоговых деклараций - важнейшая задача Федеральной Налоговой Службы. Естественно, в наше время эти задачи не выполняются вручную. На помощь приходит автоматизированная система, работающая на основе стека технологий Hadoop. ...

Когда вы узнаете, что ваш сервис не работает, вы идете в мониторинг, видите много алертов про CPU/load average/diskIO/и т.д., пускаете слезу и идете читать логи. Сначала на фронтенды, потом дальше по стеку. У многих уже есть grafana и подобные дашборды, но почти всегда там есть только метрики про приложение и пользователей, но нет ничего про сеть, базу и другие подсистемы, от которых зависит работа сервиса. ...

В процессе обновления высоконагруженных серверов раздачи видео (40Gbit/s с каждого сервера) со старого OpenSuSE 10.2 на новый CentOS 7 (время между релизами - 7 лет) мы столкнулись с рядом проблем - необъяснимый свопинг и запуски OOM killer, неравномерное распределение нагрузки по ядрам, обрывы соединений, скачки системной нагрузки на CPU. В докладе будет рассказано о том, как мы боролись с этими проблемами и какие технологии для этого использовали. ...

Rspamd - это система фильтрации спама с открытым кодом, выполняющая оценку e-mail сообщений по множеству критериев, который возник как попытка адаптировать фильтрацию спама к современным реалиям и постоянно растущему потоку электронных писем, нуждающихся в обработке. В данном докладе я хотел бы продемонстрировать результаты сравнения rspamd с аналогами, рассказать про архитектурные особенности и применяемые алгоритмы, позволяющие повысить производительность, а также затронуть вопросы безопасности при обработке сообщений клиентов. Из доклада вы узнаете: - как неблокирующая модель ввода/вывода помогает улучшить общую производительность системы и какие проблемы она привносит; - как использовать алгоритм шинглов для поиска похожих писем и организации "черных" списков; - про использование цепей Маркова в Bayes статистике; - про оптимизацию правил в абстрактном синтаксическом дереве; - как обрабатывать 10 тысяч шифрованных запросов в секунду на одном ядре, или что делать, пока нет TLS 1.3; - про то, почему стандартное API языка С плохо подходит для высоконагруженных систем, или зачем нужны велосипеды, когда есть костыли; - почему удобная система конфигурации является "лицом" для проекта.

Некоторое время назад, когда в очередной раз встал вопрос о производительности большого парка mysql sharding серверов, мы не захотели покупать новые сервера и производить resharding. Мы обнаружили, что компания facebook выпустила в opensource большое количество своих разработок, в том числе и модуль ядра flashcache. Flashcache - модуль для кэширования блоков блочного устройства, предоставляющий 4 разных режима кэширования. ...

Мы в Badoo используем Docker больше года и на нашем примере попробуем поговорить о возможных моделях его применения. - 85% наших сервисов работают в контейнерах: для чего и почему мы перенесли свои сервисы в контейнеры. - Как мы подходим к сборке образов? ...

Альфа-Банк основан в 1990 году, является универсальным банком, осуществляющим все основные виды банковских операций, включая обслуживание частных и корпоративных клиентов, инвестиционный банковский бизнес. По итогам первого полугодия 2015 года согласно данным финансовой отчетности МСФО совокупные активы банковской группы Альфа-Банк составили 36,5 млрд долларов США, чистая прибыль 32 млн долларов США. В Альфа-Банке обслуживается 194 тыс корпоративных клиентов и 13,9 млн клиентов физических лиц. ...

Процесс доставки разрабатываемого функционала всегда строится на компромиссах между тем, чтобы доставлять быстро, и тем, чтобы не потерять качество. Причем, чем больше времени тратится на деплой, тем меньше времени остается на качество. Проблема становится все более актуальной с каждым этапом роста объемов производства. ...

В 2013 году случилась самая большая авария в истории Одноклассников: в течение трёх дней проект был целиком, а потом частично, неработоспособен. После того, как мы устранили последствия аварии, к нам пришел бизнес со следующим вопросом: какие проблемы видит технический отдел компании и какие варианты защиты может предложить. Сходу мы выделили три основных — взлом хакерами, DDoS-атаки и аварии. ...

В докладе я расскажу о следующем: — почему тема доклада не оговорка, а абсолютно реальная вещь; — что можно извлечь из результатов теста помимо «да/нет»; — в каких случаях «количество» = «качество»; — когда «один в поле не воин»; — немного о том, зачем тестировщику нужна матстатистика; — как избежать случайностей в результатах; — «буря в стакане» или масштабируем highload в docker/openvz; — почему фиксация запросов в тестах приводит к фиксации сервиса на продакшене; — а также всё вышеперечисленное на примерах наших проектов. ...

При измерении производительности легко получить какие-нибудь данные, но эти данные далеко не всегда отражают реальность, причиной тому может быть как новый эффект, так и неправильная обработка информации в реальном времени. В докладе рассматриваются основные проблемы существующих решений + примеры и цифры на основе опыта одного open source проекта. Основное внимание уделяется измерению latency и быстрым счётчикам, также рассмотрены сэмплирование, генерация случайных чисел и распределённая обработка измеряемых данных. ...

How do you go about instrumenting or debugging a large Go codebase that you've never seen before? Unlike the JVM or a language like ruby it's not so easy to extend third party software in Go. Как вы поступаете, когда инструментируете или дебагите большую кодбазу от Go, которую вы видите впервые?

HAWQ - один из лучших на рынке движков SQL-on-Hadoop, который не раз доказывал свою лидирующую позицию в открытых тестированиях. Что еще более интересно, в конце сентября этого года Pivotal открыл его исходный код под лицензией Apache, а также разместил сам проект в инкубаторе Apache (http://hawq.incubator.apache.org), что делает этот инструмент доступным большому кругу пользователей и намного более привлекательным для компаний - лидеров интернет-индустрии. Работая в Pivotal, я участвовал в развитии и внедрении этого продукта с первого дня его существования. ...

Расскажем о самых распространенных технологиях и алгоритмах добычи критичной для бизнеса информации из больших массивов данных. Отдельно коснемся темы рекомендательных сервисов и их эффективного применения. План: 1) Откуда брать данные, тренды и концепции. ...

Доклад будет читаться на английском языке. Описание доклада на русском: Динамичное развитие инструментов для обработки Больших Данных порождает новые подходы к повышению производительности. Ключевые новые технологии в Hadoop 2.0, такие как Yarn labeling и Storage Tiering, уже используются компаниями Yahoo и Ebay. ...

Задачи машинного обучения (ML) имеют несколько другую специфику, нежели инженерные задачи построения высоконагруженных систем. Многие из ML-задач можно решить быстро и "на коленке". Хрестоматийный пример - хотим построить спам-фильтр и берем наивного байеса. ...

Обеспечение доступности — это сложная задача, которая требует совместной работы специалистов по проектированию и администрированию сетей, разработчиков приложений, тестировщиков и специалистов по IT-безопасности. В этом докладе мы поговорим о том, какие области науки о данных применимы при защите от DDoS, взглянем на машинное обучение с позиций злоумышленников, специалистов по обеспечению доступности и по защите информации. Рассмотрим в этом контексте обучение с обратной связью: • от окружающей среды (теория управления/control theory), • от данных (кластеризация, unsupervised learning), • от внешнего источника (обучение с учителем/supervised learning — классификация и регрессия). ...

Спроектировать хранилище данных, казалось бы, не сложно. Собрать требования -> построить модель данных -> реализовать ETL. Но проходит год-два, и рост объема данных, и, главное, рост сложности данных приводит хранилище на грань работоспособности. ...

Для того чтобы таргетировать рекламу по поведению интернет-пользователей, DMP ежедневно оценивает терабайты данных. В докладе расскажу, как при помощи алгоритмов потоковой обработки данных можно быстро оценить большой объем статистики и формы распределения различных характеристик. - Что будем оценивать? ...

В этом докладе я собираюсь поделиться нашим опытом обхода испанского интернета. Мы поставили перед собой задачу обойти около 600 тысяч веб-сайтов в зоне .es с целью сбора статистики об узлах и их размерах. Я расскажу об архитектуре робота, хранилища, проблемах, с которыми мы столкнулись при обходе, и их решении. ...

Типовой задачей аналитики для любого проекта является получение ответов на вопросы: "сколько у нас регистраций за последний день?", "сколько сообщений было отправлено (товаров добавлено в корзину и пр.) в стране N, мужчинами/женщинами из приложения/сайта?". Поиском ответов на эти вопросы в компании обычно занимается отдел BI. Инструментарием могут служить различные технологии: файлы Excel, старые-добрые РСУБД (MySQL, PosgtreSQL, MS SQL, Oracle etc.), специализированные аналитические базы данных (Vertica, Exasol, etc.), вычисления на Hadoop-кластере. ...

Segmento DMP хранит сотни миллионов анонимных профилей пользователей интернета. Часть из задач отдела Data Science связана с их кластеризацией и поиском нечетких дубликатов. Для успешного решения этих задач необходимо вычислить метрики сходства между профилями. ...