В классической трехуровневой архитектуре веб-приложения работа с данным разделяется на слой доступа к данным (фактически хранение, база данных) и слой бизнес-логики, где происходит вся обработка этих данных. Соответственно, чем больше данных, тем сложнее обработка и в принципе архитектура приложения, будь то монолит или набор микросервисов-обработчиков. Возможно ли применить другой подход по работе с данными?

В докладе рассмотрим, как с точки зрения разработки и архитектуры приложения можно совместить хранение и обработку данных, как это уже многие годы делается в аналитических системах и платформах больших данных. Разберем доступные open-source-компоненты из Apache-стека или Google Cloud Big Data Platform и посмотрим, как из них построить платформу своими руками, какие трудности могут возникнуть и как мы их решаем. А также, конечно, похоливарим о плюсах, минусах и ближайших перспективах такого подхода.