4.6-битное квантование нейронных сетей для мобильных систем распознавания
Программный комитет ещё не принял решения по этому докладу
Целевая аудитория
Тезисы
В последние годы сверточные нейронные сети стали де-факто стандартным инструментом во всех задачах, требующих распознавания, синтеза или сложной обработки изображений в edge-системах. В таких системах есть жесткие ограничения на время исполнения и вычислительную сложность применяемых методов, а также объем используемой ими памяти. Для решения этих проблем широко применяется квантование нейронных сетей — замена вещественных значений на дискретные.
В данном докладе мы расскажем о нашей новой разработке – 4.6-битных квантованных нейронных сетях, которые объединяют высокую точность, как у 8-битных моделей, и вычислительную эффективность 4-битного квантования. Приведем примеры и покажем, как мы повысили скорость работы нейронных сетей в мобильных системах распознавания почти на 40%.
Кандидат технических наук, ведущий разработчик Smart Engines
Smart Engines
Видео
Другие доклады секции
Edge Computing