Нейросеть Google умеет точно дорисовывать фрагменты фото

Разработчики из Google Research научили нейросеть дорисовывать недостающие фрагменты фотографий. В основе алгоритма лежит архитектура генеративно-состязательной нейросети, о чем рассказывают авторы статьи, опубликованной на arXiv.org.

Алгоритм состоит из двух частей: одна из них дорисовывает фотографии, а вторая пытается отличить результат работы первой от настоящих снимков из обучающей выборки. Одна из ключевых особенностей — на входе нейросеть получает не один снимок, а два.

Первое изображение — это исходный снимок, на котором большая прямоугольная область залита одним цветом. Второе изображение — это маска, показывающая, какая именно область была залита.

Причина хорошего качества дорисованных фрагментов связана с обучающей выборкой. В качестве нее авторы выбрали почти два миллиона изображений из датасета Places365-Challenge.