Как заставить Stable Diffusion генерировать не только аниме и котиков, но и тебя

Нейронные сети, искусственный интеллект

Генеративные нейронные сети

Machine Learning
Расширение кругозора

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Интересный сплав обзора технологий и конкретных рекомендаций по созданию современных генеративных моделей и выведению их в прод.

Целевая аудитория

Разработчики CV и DL. Все, кому интересно генеративное искусство и deep learning.

Тезисы

Мир генеративного искусства стремительно развивается, создание фантастических и при этом реалистичных изображений уже не кажется магией. Но и возможности методов генерации неуклонно растут. 2022-й год завершился бумом в персонализации text-to-image-моделей — в академической среде выходили статьи с различными подходами, а в продовой — конкретные решения, на них основанные.

В докладе поговорим о диффузионных генеративных моделях и методах персонализации, а также о том, как их использовать в реальном продакшне:
* Сначала немного погрузимся в прекрасный мир теории и поймем две основные вещи: как работают диффузионные генеративные модели на примере Stable Diffusion; и как заставить их генерировать неизвестные для них объекты, например, вас или вашу любимую собаку, с помощью DreamBooth и его модификаций.
* Затем спустимся на землю, чтобы столкнуться с суровой реальностью. Однако справимся со всеми (почти) проблемами: будем кэшировать вычисления модели, считать attention эффективно, и научимся дообучать большие модели, не имея больших ресурсов.

Кирилл Семин

ВКонтакте, VK

Вместе с командой deepVK приносит добро пользователям ВКонтакте.

ВКонтакте, VK

ВКонтакте — крупнейшая социальная сеть в России и странах СНГ. Миссия ВКонтакте — соединять людей, сервисы и компании, создавая простые и удобные инструменты коммуникации. VK — это больше 200 технопроектов. Свыше 10 000 человек создают и развивают одни из самых популярных и высоконагруженных интернет-сервисов в стране. Делают комфортнее, легче и интереснее жизнь сотне миллионов людей.

Видео