В последние годы сверточные нейронные сети стали де-факто стандартным инструментом во всех задачах, требующих распознавания, синтеза или сложной обработки изображений в edge-системах. В таких системах есть жесткие ограничения на время исполнения и вычислительную сложность применяемых методов, а также объем используемой ими памяти. Для решения этих проблем широко применяется квантование нейронных сетей — замена вещественных значений на дискретные.

В данном докладе мы расскажем о нашей новой разработке – 4.6-битных квантованных нейронных сетях, которые объединяют высокую точность, как у 8-битных моделей, и вычислительную эффективность 4-битного квантования. Приведем примеры и покажем, как мы повысили скорость работы нейронных сетей в мобильных системах распознавания почти на 40%.