Распределенная тренировка и инференс на TensorFlow с использованием Apache IgniteBigData и машинное обучение
Руководитель отдела разработки ML, GridGain, Apache Ignite committer
C 2009 года занимался разработкой корпоративных и ERP систем. В какой-то момент понял, что кровавый энтерпрайз смертельно надоел, и решил заняться чем-то другим. Пришел в GridGain в R&D. И там в марте 2017 года c нуля начал разработку модуля ML для Apache Ignite. Позже принял руководство процессом разработки.
Что делать, когда появляется необходимость использования TensorFlow в распределенном окружении? Чтобы не изобретать велосипед, мы научили распределенную In-Memory базу данных работать с TensorFlow в качестве источника данных и Cluster Management System.
План доклада:
— Apache Ignite как источник данных для TensorFlow;
— Ignite Thin Client Dataset: работа с данными произвольной структуры;
— Apache Ignite как инфраструктура для распределенного обучения и инференса на TensorFlow;
— Демо.
