Apple анонсировала свою модель искусственного интеллекта для редактирования фотографий через текстовые подсказки

Исследователи компании Apple разработали новую модель искусственного интеллекта, которая позволяет пользователям простыми словами описывать то, что они хотят изменить на фотографии. При этом редактировать изображения можно даже не прибегая к использованию программного обеспечения для редактирования фотографий.

Модель MGIE (MLLM-Guided Image Editing), над которой работала Apple совместно с Калифорнийским университетом в Санта-Барбаре, позволяет обрезать, изменять размер, переворачивать и добавлять фильтры к изображениям с помощью текстовых подсказок. Эта модель также может применяться для более сложных задач редактирования изображений, таких как изменение определенных объектов на фотографии, чтобы придать им другую форму или сделать их ярче.

MGIE сочетает в себе два различных типа использования мультимодальных языковых моделей. Во-первых, она учится интерпретировать подсказки пользователя. Затем она «воображает», как будет выглядеть редактирование (например, запрос на более синее небо на фотографии приводит к увеличению яркости части изображения с небом). При редактировании фотографии с помощью MGIE пользователям просто нужно набрать то, что они хотят изменить в изображении.

Например, при редактировании изображения пиццы с пепперони можно набрать подсказку «сделай ее более здоровой», и модель добавит овощные начинки. Фотография гепарда в Сахаре выглядит темной, но после того, как модели сказали «добавить больше контраста, чтобы имитировать больше света», изображение стало ярче. Apple предоставила MGIE для скачивания через GitHub, а также выпустила веб-демонстрацию Hugging Face Spaces. В компании не уточнили своих дальнейших планов относительно этой модели.