Разработчики из Google Research научили нейросеть дорисовывать недостающие фрагменты фотографий. В основе алгоритма лежит архитектура генеративно-состязательной нейросети, о чем рассказывают авторы статьи, опубликованной на arXiv.org.

 

Алгоритм состоит из двух частей: одна из них дорисовывает фотографии, а вторая пытается отличить результат работы первой от настоящих снимков из обучающей выборки. Одна из ключевых особенностей — на входе нейросеть получает не один снимок, а два.

 

 

Первое изображение — это исходный снимок, на котором большая прямоугольная область залита одним цветом. Второе изображение — это маска, показывающая, какая именно область была залита.

 

 

Причина хорошего качества дорисованных фрагментов связана с обучающей выборкой. В качестве нее авторы выбрали почти два миллиона изображений из датасета Places365-Challenge.