Как работают художественные эффекты оформления в Google Stadia
25.03.19Когда Google анонсировала игровую потоковую службу Stadia, то также упомянула фильтры для изменения облика своих трансляций с помощью инструментов машинного обучения.
Научный сотрудник Stadia Райан Поплин (Ryan Poplin) и инженер-программист службы Адам Принс (Adam Prins) рассказали об этой технологии. Изменение стиля подразумевает процесс объединения содержимого одного изображения и характера другого для создания чего-то нового.
Многие методы могут создавать эстетически приятные статичные изображения, однако при создании анимации и обработке видеороликов результаты иногда оставляют желать лучшего. Элементы, отображаемые в одном кадре, такие как цвета, текстуры и мазки кисти, могут исчезать в следующем, что приводит к неприятным мерцаниям. Эти проблемы решались, но прежде они требовали вычислительных ресурсов, которые делали невозможной обработку в реальном времени в разрешениях 1080p или выше.
Разработчикам Google понравилась модель изменения стиля изображения в реальном времени, разработанная командой Magenta (с кодом и документацией могут ознакомиться все желающие), и она решила изучить, какие усовершенствования можно внести для применения этого метода к потоковым играм. Вначале были удалены те части модели, которые не могли эффективно просчитываться с помощью GPU, потому что основной акцент делался на скорость. Удивительно, но оставшиеся блоки по-прежнему были способны качественно производить стилизацию. Затем специалисты поискового гиганта увеличили количество остаточных блоков в средних слоях модели, пока визуальное качество не перестало улучшаться.
Для повышения согласованности обработки кадров использовался дополнительный параметр на основе предсказания движения пикселей (задействованы эти наработки). Так как подобный анализ может требовать значительных вычислительных ресурсов, его необходимо рассчитывать только при обучении модели. В результате модель, обрабатывая лишь один текущий кадр, создаёт стабильную последовательность.
Чтобы такой стиль можно было накладывать на любую игру без необходимости доступа к исходному коду, Google создала набор параметризуемых шейдеров постобработки Vulkan. Размер финальной модели получился относительно небольшим (около 512 Кбайт), а шейдеры могут работать в режиме реального времени поверх игрового потока.
Подобный инструмент, как считает Google, открывает для разработчиков новые формы взаимодействия, в том числе изменяя визуальный стиль прямо во время игры. Это даёт игроку возможность настраивать художественные стили самостоятельно, в том числе на основе пользовательских рисунков.
Не пропустите интересное!
Підписывайтесь на наши каналы и читайте анонсы хай-тек новостей, тестов и обзоров в удобном формате!
![Articles](https://hi-tech.ua/wp-content/themes/softpress/img/arrow.png)
Представлены смартфоны Samsung Galaxy S25, S25 Plus, S25 Ultra. Живые фото и впечатления
![views](https://hi-tech.ua/wp-content/themes/softpress/img/icons/eyeglasses.png)
![comments](https://hi-tech.ua/wp-content/themes/softpress/img/icons/speach.png)
![Samsung Galaxy S25 Plus Ultra line up](https://hi-tech.ua/wp-content/uploads/2025/01/samsung-galaxy-s25-plus-ultra-line-up-11-300x225.jpg)
Samsung официально представила серию флагманских смартфонов Galaxy S25, включающую три модели: базовую S25, S25+ и S25 Ultra. Традиционно основное внимание уделено улучшению производительности, качеству дисплеев, камерам и функциям на базе искусственного интеллекта
![News](https://hi-tech.ua/wp-content/themes/softpress/img/arrow.png)
Energizer выпустила свой первый ноутбук. EnergyBook стоит $199 ноутбук
Бренд лицензирован компанией Avenir Telecom, которая будет выпускать и продавать ноутбуки под именем Energizer. Линейка этих устройств будет называться EnergyBook.
L3Harris Technologies продала армии США очков ночного видения на 263 млн долларов война США
Компания L3Harris Technologies заключила второй контракт с армией США на производство систем ночного видения ENVG-B.