Тезисы

На определенной стадии развития компании появляется необходимость собирать, анализировать и принимать решения, исходя из данных. Причин может быть много: аналитика для BI, внедрение машинного обучения в сервисы, поставка данных заказчику.

Для успешного решения задач ML необходимо решить проблемы:
1) сбора данных в real-time с внутренних (и не только) источников;
2) хранения и агрегации этих данных;
3) обработки и принятия решений на основе моделей машинного обучения, используя данные пришедших несколько секунд назад;
4) поставлять данные в другие системы (BI, CRM).

Я расскажу про наш подход к решению таких задач, как у нас реализована дата-платформа. Расскажу, как мы используем инструменты: kafka, spark, spark streaming, flink, hbase, druid, predictionIO, tensorflow и в каких кейсах применяем эти технологии, например, рекомендации на сайте и антифрод.