动漫人物AI化，高糊图秒变高清，当下最热的GAN应用有哪些？

我们都知道抖音特效多强，只需手轻轻一点，就能秒变高萌漫画人物，甚至开启时光机器能一键前往80岁，体验变老的样子。

这些特效依靠的关键技术是GAN，即生成式对抗网络（Generative Adversarial Networks ）。

这两年GAN几乎无处不在。数据科学家、深度学习研究者、艺术家们使用这项技术来生成逼真的图像，改变面部表情，创建游戏场景，可视化设计，甚至生成令人惊叹的艺术作品。

今天，我们就来了解下GAN是什么，它可以做些什么，目前有哪些受欢迎的GAN？

什么是GAN？

GAN，生成式对抗网络（Generative Adversarial Networks ）是一种深度学习模型，作为在无监督学习上最具前景的算法之一，最早是在2014年由学者Ian J. Goodfellow等人提出的。

模型通过框架中（至少）两个模块：生成模型（Generative Model）和判别模型（Discriminative Model）的互相博弈学习产生相当好的输出。

生成模型G是一个生成图片的网络，它接收一个随机的噪声z，通过这个噪声生成图片，记做G(z)。

判别模型D是一个判别网络，判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输出D（x）代表x为真实图片的概率，如果为1，就代表100%是真实的图片，而输出为0，就代表不可能是真实的图片。

在训练过程中，生成模型G的目标就是尽量生成真实的图片去欺骗判别模型D。而D的目标就是尽量把G生成的图片和真实的图片分别开来。这样，G和D构成了一个动态的“博弈过程”。

最后博弈的结果是什么？在最理想的状态下，G可以生成足以“以假乱真”的图片G(z)。对于D来说，它难以判定G生成的图片究竟是不是真实的，因此D(G(z)) = 0.5。

这样我们的目的就达成了：我们得到了一个生成式的模型G，它可以用来生成图片。下面这幅图片很好地描述了这个过程：

最牛的几个GAN应用

GAN的诞生之初，就是做数据生成，如今在一些领域可以说是非常的成熟了。在实际应用层面上，现在可以看到越来越多GAN的生成模型的商用化尝试。

1️⃣图像生成与编辑

StyleGAN

自 2018 年英伟达推出 StyleGAN 以来，合成人脸已经让人难以轻易分辨。StyleGAN中的“Style”是指数据集中人脸的主要属性，包括了脸型上面的表情、人脸朝向、发型等等，还包括纹理细节上的人脸肤色、人脸光照等方方面面。

目前StyleGAN生成结果已经达到了普通用户难以辨认的水平，你在约会软件上的认识的小哥哥小姐姐，可能不是真人，而是AI！下面展现一些StyleGAN生成的样本，你能看出他们都不是真实存在的人类吗？

变年龄、生发、变笑脸、加头饰、耳饰，都不在话下。

还能将动漫人物真人化，前段时间火爆二次元圈的纸片人AI化就是StyleGAN的技术，来看看最近最火的《国王排名》波吉、卡克和二王子AI化长啥样？

还有大家最熟悉的莫过于换脸算法Deepfake，也是采用的StyleGAN。

除了人脸，人体编辑也是当下的热点，换衣也是分分钟能实现。

EditGAN

英伟达的最新AI工具EditGAN又让网友们激动了。对于手残党来说，英伟达的EditGAN简直就是零基础P图神器，能够高质量、高精细度地对图像进行修改，让P图更简单了。

只要你会上传图片、能画草图，就能够轻松P图。比如，控制人眼朝向、头发量。

你需要做的就是上传一张图片，然后由程序生成一张语义分割草图，直接在草图上涂抹修改。EditGAN只会修改你想要改变的部位，其他部分都原封不动。

2️⃣风格化与内容创作领域

去年，佳士得拍卖会上拍卖了一副由AI创作的肖像画——《爱德蒙·贝拉米的肖像》，该画最终售价43.25万美元(301万元人民币)，远远超过了7000到1万美元的预计售价，同时也引发了人们对人工智能作画的热烈探讨。

CycleGAN

许多名画造假者费尽毕生的心血，试图模仿出艺术名家的风格。如今，CycleGAN就可以初步实现这个神奇的功能。这个功能就是风格迁移，非常适合艺术创作。比如下图，照片可以被赋予莫奈，梵高等人的绘画风格。

它还可以在斑马和马之间转换图片。

CycleGAN构建了两个网络G和F来构建从一个域到另一个域以及反向的图像。它使用鉴别器D来批评生成的图像有多好。例如，G将真实图像转换为梵高风格的绘画，并且DY用于区分图像是真实的还是生成的。

StarGAN

但是CycleGAN不能解决多领域迁移的问题。只能两个领域的互相转化A->B,B-A。实际场景中，我们可能遇到多个数据集，或者多种属性的互相转化的要求。这样的话我们就需要能进行多领域的图像迁移学习的StarGAN。

StarGAN就是一种可以同时解决生成图像多样性和多域扩展性的单一框架。相比于了baselines，它取得了明显的提升。

StackGAN

文本到图像是域转移GAN的早期应用之一。比如，我们输入一个句子就可以生成多个符合描述的图像。StackGAN就能实现从文本到图像。

通过文本描述告诉GAN，（a）你想要得到的图像内容是什么样，（b）通过边界框/地标来告知元素的位置。看看它的生成结果：

3️⃣图像增强与修复

由于GAN擅长于建模数据分布，因此在图像增强领域中应用非常广泛，包含图像降噪，超分辨，去模糊，图像修复等。

从低分辨率创建超分辨率图像。这是GAN显示出非常令人印象深刻的结果。

几十年来，修复图像一直是一个重要的课题。GAN就可以用于修复图像并用创建的“内容”填充缺失的部分。

老照片着色也不在话下，下面两张都是为约1890年的黑白老照片。

4️⃣创建游戏、动画角色

众所周知，游戏开发和动画制作成本很高，并且需要雇佣许多制作艺术家来完成相对常规的任务。

以往，想要绘制一个动漫形象总是要画师来动手，当GAN可以开始生成人脸的时候，大家也想到，是不是也可以生成动漫人脸呢。如今通过GAN就可以自动生成动画角色并为其上色。

同样的在游戏领域，为了给玩家一种逼真的感觉，游戏设计师花费无数个小时创建3D头像和背景。如今可以用GAN来生成3D对象了，此前网易公司使用GAN来生成游戏角色的专属头像。

5️⃣网络安全

人工智能的兴起对大多数行业来说都有益处，但是网络威胁令人担忧，即使是深层神经网络也容易被黑客入侵。

特别在人工智能进行对工业应用后，发现它们应该对网络攻击具有鲁棒性，因为生产线上有很多机密信息。事实证明，GAN在这方面提供了巨大的帮助，直接解决了“对抗性攻击”的问题。

这些对抗性攻击使用各种技术来欺骗深度学习模型。GAN的使用使现有的深度学习模型更加健壮。可以通过创建更多的假例子并训练模型来识别它们。

6️⃣“伪造”神经活动数据

GAN技术最近把手伸向了“合成思维”——生成用来给脑机接口的大脑活动数据，也就是利用AI去“伪造”神经活动数据。

目前脑机接口技术是用相关的设备采集人类大脑的神经元活动信号，然后传输到计算机相关设备或机器人设备上以便实现某种不用人工直接操作的功能。采集神经元活动信号是相当困难的，特别是最需要脑机接口协助的残障人士，神经系统损坏以至于设备根本无法采集，更让BCI的发展举步维艰。

南加大华人博士温士贤团队的突破的重点，引入GAN技术。这项技术一举把训练脑机接口系统提取、分析大脑信号的时间，提高了整整20倍。目前，该论文已发表在Nature子刊上。

GAN的诞生是AI界的里程碑，为这个本已生机勃勃的领域打开了一扇全新的大门。GAN的技术无疑是很让人着迷的，不少机器学习大神都认为GAN是近二十年来最酷的技术。相信未来GAN还会进入更多领域，带来更多艺术、科技、游戏、动漫甚至是医学的可能性！

Artplayer Lab艺术玩家实验室是一个发掘并孵化当代生成艺术家的国际化艺术平台。Arplayer Lab的核心成员有算法科学家、艺术家、女团偶像、游戏KOL、潮流店铺创始人等，拥有线上虚拟画廊，并于上海、北京、成都、香港均设有线下空间，旨在以开放多元的姿态，探索艺术家与艺术平台的新型互动合作形式，不断研发新的科技艺术。

本文来自微信公众号“艺术玩家实验室”（ID：Artplayer_Lab）。大作社经授权转载，该文观点仅代表作者本人，大作社平台仅提供信息存储空间服务。