Расскажу как устроена автогенерация рекламы в Яндексе: за последний год мы перешли от шаблонных сочетаний текста/описания/цен к генерации GPT нейросетями. Масштабы нашей задачи - создание более 3 миллиардов объявлений, используя для их обработки и хранения несколько тысяч ядер и терабайты памяти. Обсудим тонкости реализации и проблемы с нагрузкой, ведь для генерации текстов и описания баннера используем всего лишь 22GPU v100. Мы разработали алгоритм умного обхода объектов и научили сервис инференса GPT нейросетей адаптироваться к изменяющейся нагрузке со стороны процессинга объявлений.
Также расскажу о подходах, используемых для выбора наилучшего заголовка для рекламного объявления: поговорим о том как мы перешли от крошечных dssm к использованию полноценных Bert в RT-процессинге.