Нужно прокачать NER-модель, но как?

Нейронные сети, искусственный интеллект

BigData / Нейронные сети

#BigData / Нейронные сети

Доклад принят в программу конференции

Мнение Программного комитета о докладе

В этом докладе Программный комитет "зацепил" механизм интерпретации результатов работы нейросети. Обычно ведь как? Нейросеть выдаёт какую-то ерунду, а почему — никто объяснить не может. У Прохора есть подход к решению этой задачи, и нам это кажется очень интересным.

Целевая аудитория

Специалисты по машинному обучению в области NLP.

Тезисы

Расскажу о том, как прокачали основную NER-модель виртуального ассистента Салют и получили значительный прирост метрик. Весь путь от исправления простых проблем с датасетом, до разработки специального инструмента анализа ошибок модели. Раскрою тему организации процесса разметки и контроля качества. Покажу, как и где модель NER используется в Салюте.

Закончил МФТИ ФОПФ.
Работал 6 лет разработчиком C++ в компаниях 3DLiga, Mentor Graphics и Megaputer. Занимался в числе прочего построением производительных алгоритмов для высоконагруженной системы обработки текстовой информации PolyAnalyst™️, тогда же начал заниматься NLP. Атор мобильных приложений: "Победи ЕГЭ 2015", "Цвета и фигуры для малышей", "Gimme Collage".

В компании Iponweb (AdTech) разрабатывал модели предсказания CTR, CVR. Работал с большими данными на кластерах Spark, Hadoop.

В Сбере создал с нуля центр компетенции по обработке документов в банке (NLP) — команду из 6 DS'ов. Автор DL-фреймворка для обработки документов — AutoNER. Сейчас фреймворком пользуются больше 10 DS-команд в Сбере и экосистеме банка.

С начала 2022 года работает в должности Lead Data Scientist в команде SmartNLP Sber.Devices. Команда SmartNLP разрабатывает “мозг” виртуального ассистента Салют. Значительно улучшил качество основной модели NER Салюта.

SberDevices

SberDevices — IT-компания полного цикла в экосистеме Сбера, R&D-центр экспертизы в области искусственного интеллекта: речевые технологии, понимание естественного языка, компьютерное зрение, лицевая и голосовая биометрия. Производит умные устройства — от лампочек до телевизоров. В портфолио SberDevices — ruGPT-3, ruDall-E, RuSBERT и другие масштабные ML-проекты, высоконагруженные системы и технологии обработки Big Data.

Видео