Нейронные сети научили превращать пиксельные изображения в фотореалистичные
Недавно нам показали «ремейк» классического шутера 1997 года Quake II, где основная работа по улучшению была сведена к интеграции технологии трассировки лучей, но на этот раз в Сети появилось кое-что поинтереснее. Наконец-то, HD-ремейк, которого мы все ждали! Один из пользователей Reddit, используя набор из нескольких нейронных сетей, смог превратить пикселизованное изображение лица космического пехотинца из классического шутера 1993 года Doom в почти фотореалистическое изображение.
Как сообщает портал Futurism, в результате лицо знаменитого «парня из Doom» после всех манипуляций стало походить на мускулистую версию актера Нейтана Филлиона.
Конечный результат прекрасно демонстрирует то, на что способны современные алгоритмы искусственного интеллекта, адаптированные на воссоздание изображений на основе очень низкокачественного исходного материала.
Создание фотореалистичного изображения
Как поясняет источник, финальный результат является продуктом работы сразу нескольких генеративно-состязательных сетей (Generative Adversarial Networks, GAN). Это алгоритмы машинного обучения, построенный на комбинации из двух нейронных сетей, одна из которых генерирует образцы, а другая старается отличить правильные («подлинные») образцы от неправильных. Перспектив у этой технологии великое множество, о чем мы писали в одной из наших предыдущих статей.
Энтузиаст, создавший эти изображения, сперва пропустил спрайтовое лицо «парня из Doom» через несколько программ редактирования фотоизображений (FaceApp, Waifu2x и GIMP). Получившийся результат, хоть и оказался существенно лучше изначального изображения, но все равно был слишком пикселизован.
Переходный результат. Изображение лица заметно преобразилось, но все равно осталось ненастоящим
Дальнейшая работа проводилась с помощью разработанной компанией NVIDIA генеративно-состязательной сети StyleGAN. Она способна генерировать лица (не только лица, но и неживые объекты), которые никогда не существовали и данный момент она является одной из самых мощных моделей генеративно-состязательной нейронной сети, которая показывает впечатляющие видимые результаты. Для закрепления результатов он пропустил получившееся лицо через StyleGAN еще раз. Поскольку оригинальное изображение лица имело нереалистичные пропорции, финальные штрихи и «сглаживание углов» пришлось проводить вручную.
После обработки технологией GAN, но до редактирования вручную
Финальный результат
Сравнение оригинальных спрайтовых изображений и обработанных