NVIDIA активно экспериментирует в области глубинного обучения и очередным результатом работы стало создание интеллектуального приложения GauGAN для рисования, которое использует модель глубинного обучения для создания фотореалистичных версий простых рисунков.

Название приложения связано с именем французского художника-постимпрессиониста Поля Гогена (Paul Gauguin) и используемых в ПО генерирующих состязательных сетей (GAN) для создания изображений, реалистично имитирующих картины.

В NVIDIA объясняют, что приложение похоже на «умную кисть», которая заполняет детали наброска, сделанного пользователем (в компании его называют его «картой сегментации»). По сути, пользователь или художник лишь задаёт план того, что хочет увидеть в итоге, и маркирует каждый сегмент, указывая, каким он должен быть. После этого в дело вступает GauGAN, заполняя дополнительные детали и делая рисунки более реалистичными.

Обучаясь на миллионах художественных изображений, модель глубинного обучения затем заполняет ландшафт впечатляющими (впрочем, далеко не всегда идеальными) результатами. Если нарисовать пруд, то близлежащие элементы вроде деревьев и камней отразятся в воде. Достаточно изменить метку сегмента с «травы» на «снег», и всё изображение изменится, превратившись в зимнее, а покрытые листвой деревья станут голыми. Чтобы понять, о чём идёт речь, можно ознакомиться с приведённым роликом.

Хотя GauGAN использует накопленные знания, основанные на других изображениях, для создания финальных работ, последние по-прежнему считаются оригинальными, поскольку приложение генерирует полностью новые результирующие изображения.

Новый интеллектуальный графический редактор NVIDIA не ограничивается лишь природными сценами или пейзажами — приложение может добавлять здания, дороги и даже людей. GauGAN также позволяет пользователям применять фильтры, стилизуя результат под нужный им стиль. Такие фильтры, среди прочего, способны имитировать стиль конкретного художника (например, Ван Гога) или настраивать освещение сцены, меняя изображения от дневного до ночного.

На сайте NVIDIA AI Playground можно познакомиться с некоторыми возможностями машинного обучения. Например, в присутствующей там демонстрации Artistic Style Transfer можно любую фотографию обработать в стиле известных художников.