GitHub热门榜第一：小姐姐自拍变二次元萌妹子。效果远比CycleGAN好
将她变成二维人，你就可以解锁妻子。
韩国游戏公司NCSOFT 最近开源了一个高技能的人工智能。
只要输入小姐姐的任意一张自拍照，就可以得到她的二次元模样：
对比原图，感觉小姐姐还是那个小姐姐。
一个眼神，一个笑容，都和三维空间里一样。
当然，如果你有一个喜欢的二次元老婆，想看看她穿越到现实后会是什么样子，那也没问题。只需输入她的照片：
一个现实的年轻女士诞生了。
这个算法叫做U-GAT-IT，它的名字也很有趣。重要的是，它是使用无监督方法进行训练的，甚至不需要配对数据。
现在，该团队已将TensorFlow 实现和PyTorch 实现放在GitHub 上。两个项目同时登上趋势榜，TF项目一度登上第一名。
这只GAN的注意力，与众不同
U-GAT-IT 是一种由两个GAN 组成的图到图翻译算法。
GAN 会将女孩的自拍照变成二维女孩。这是从源域到目标域的翻译。
另一个GAN 将把二维女士变回三维自拍照。这是从目标域到源域的转换。
这样就有了两组生成器-判别器组合。
生成器负责生成真实的假图像来欺骗鉴别器；鉴别器负责识别假图像。共同成长。
为了生成更真实的图像，团队对这两四个部分添加了不同的关注点。
具体方法受到周伯雷团队2016年CAM研究的启发。
CAM是类激活图的缩写。它可以找到判断一张图片真假的最重要区域，然后AI就可以将注意力集中在那里。
然而，在上采样部分，CAM使用全局平均池化。为了获得更好的结果，U-GAT-IT结合了全局平均池化和最大池化。
这里以第一个GAN为例，就是生成二维女孩的GAN。我们先看一下判别器：
需要判断一张图片是否与数据集中的二维女孩属于同一类别。如果不是均匀的，那么发电机就会工作。
判别器有一个辅助分类器（CAM），可以找到对于类别判断更重要的区域。
这也将引导生成器专注于重要领域。
让我们再看看生成器：
它的辅助分类器会找到属于三维女孩的重要区域。然后，通过比较两个字段的重要区域，注意力模块就会知道生成器应该将注意力集中在哪里。
第二个GAN只是生成相反的方向，原理是一样的。
为了结合这两个GAN，损失函数也经过精心设计：
损失函数有四部分
第一个是对抗损失，不用解释，每个GAN都有。
第二个是循环损失，这是为了防止生成器和判别器相互协调并在找到某种平衡后停滞不前（Mode Collapse）。
为了保证为目标域生成的图像能够返回到源域并被识别，在生成器上使用了循环一致性（Cycle Consistency）约束。
三是身份丧失。为了保证输入图像和输出图像的颜色分布相似，对生成器使用身份一致性约束。
具体来说，如果您从目标域中选择一张图片并将其从源域翻译到目标域，则不应有任何更改。
第四是CAM损失。给定一个图激活图，生成器和鉴别器将知道他们需要改进的地方。也就是说，知道目前两个领域最大的区别在哪里。
此外，U-GAT-IT还有另一个重要贡献：
AdaLIN可选归一化方法
一般来说，实例归一化（IN）是一种常用的方法。通过直接对图像的特征统计量进行归一化，可以消除风格变异（Style Variation）。
相比之下，批量归一化（BN）和层归一化（LN**）并不常用。
在标准化图像时，自适应IN（简称AdaIN）更为常见。
但在这里，团队提出了AdaLIN，它可以在IN 和LN 之间动态选择。
有了它，AI可以灵活控制形状和纹理的变化程度。
之前基于注意力的模型无法解释不同领域之间的几何变化；
然而，U-GAT-IT 可以进行需要整体变化的翻译和需要大形状变化的翻译。
最后，我们来谈谈数据集。
无监督、未配对
selfie2anime，有两个数据集。
一个是自拍数据集，另一个是二维数据集，两者都只选择女孩。
每个训练集中有3400 张图像，测试集中有100 张图像。没有配对。
事实上，不仅如此。还有马可以变成斑马，猫可以变成狗，照片可以变成梵高的画等等，各种功能都被训练出来了。
让我们看看结果：
效果远胜前辈
U-GAT-IT (b) 我和很多实力派前辈较量过，他们是：
CycleGAN (c)、UNIT (d)、MUNIT (e)、DRIT (f)。
第四行是照片转为肖像时；第五行是照片转为梵高绘画风格时
还可以进行反向生成，例如将二维变换为三维、将斑马变换为马等：
然后，我们来看看注意力模块（CAM）是否起作用。
右侧的两列显示了差异。 (e) 有注意，(f) 没有注意：
最后观察AdaLIN的效果，可以动态选择归一化方法，对比无法选择。
(b) 是AdaLIN，右侧四列是伴随运行的归一化方法（以及各种归一化的组合）：
AdaLIN 生成的结果更完整且缺陷更少。
这样，U-GAT-IT 从各个角度来说都是成功的。
让人欣喜若狂，快来获取开源代码吧。
这是曾经在趋势列表中排名第一（现在排名第三）的TensorFlow 版本：
https://github.com/taki0112/UGATIT
这是PyTorch 版本：
https://github.com/znxlwm/UGATIT-pytorch
这是论文：
https://arxiv.org/abs/1907.10830
- 超过-
用户评论
这个效果简直绝了！感觉比CycleGAN高级好多，小姐姐真是太会用了，照片变得完全不一样，很有二次元的感觉，超级想试一试啊！
有18位网友表示赞同！
哈哈，这也太有趣了吧！谁能想到自拍就能变成这样，有点像动画片里的角色，这AI技术真的越来越牛了，我之前一直觉得这种效果不太现实，看来以后可以期待更多更惊艳的作品！
有8位网友表示赞同！
GitHub热榜第一的算法果然不一样！小姐姐的自拍真的变成了二次元萌妹，感觉这个模型对发型、妆容的变化处理得特别好，简直太完美了！希望作者能继续更新模型，越来越想尝试自己试试看。
有17位网友表示赞同！
厉害啊！这种效果让我联想到《蜡笔小新》，感觉就像把现实照片变成了动漫角色，我以前也用过CycleGAN，但这个效果明显更好，转换速度更快，操作体验更流畅。不过我还是有点担心过度加工会影响真实感……
有7位网友表示赞同！
这也太夸张了吧？！还是说这个算法只对特定类型的美颜效果比较好？我看评论里有人说是用小姐姐的自拍生成的，是不是意味着不是每个人都能用这种方式变身二次元萌妹啊？我倒是觉得有点好奇，想看看用其他人的照片效果怎么样！
有16位网友表示赞同！
感觉有点怪怪的… 还是现实的照片更真实一点吧。虽然这个算法的效果很不错，但我个人还是不太喜欢这样过度处理的样子，显得有些做作的感觉。希望大家不要被这种特效所影响，保持真实的自我才是最重要的。
有7位网友表示赞同！
这也太好玩了！我可以想象一下，以后用这款模型可以把自己变身成动漫角色，出现在各种场景里，简直太酷了！期待未来能有更多创意的应用和功能，比如更换背景、添加道具等等!
有13位网友表示赞同！
其实我更喜欢CycleGAN那种风格，因为它保留了相机的真实质感，而这个算法生成的二次元效果感觉有点像游戏里的角色模型，少了些真实的细腻感。当然，这种技术本身很不错，但希望以后能推出更多不同的风格选择。
有15位网友表示赞同！
这个模型确实很厉害，能够把自拍变成二次元萌妹的效果非常棒！但我还是有点担心，过度加工照片可能会让人们越来越难以分辨现实和虚拟的区别，这对于社会的影响需要引起重视。
有8位网友表示赞同！
哇塞，简直是技术神来之笔啊！我特别羡慕这位小姐姐，能用这款模型把自拍变成这样可爱的角色！我也想要尝试一下，看看能不能给自己也做一个二次元形象。不过还是要提醒大家，要适度使用这些技术，不要过度追求虚拟化。
有12位网友表示赞同！
这个热榜第一的算法确实厉害！看评论大家的反应都很积极，我也挺想试试看效果怎么样。如果能把这款模型开源出来，那岂不是每个人都可以轻松变成二次元萌妹？这太有趣了！
有20位网友表示赞同！
感觉这个算法生成的图片有点过度滤镜的感觉，虽然变得美观很多，但失去了真实照片的韵味。我希望未来这种技术能更加注重保留真实感，而不是完全追求特效效果。
有15位网友表示赞同！
我一直觉得自拍都是一种比较私密的事情，没想到现在可以用AI把自拍变成二次元萌妹，这有点吓人… 希望大家使用这类技术的时时刻刻都要注意隐私问题，不要过度曝光自己！
有8位网友表示赞同！
这个算法的效果确实挺酷的，但是我觉得还是真实的照片更好看一些。过于精致的动漫风格反而容易显得有些虚假和廉价感。
有16位网友表示赞同！
我还是比较喜欢自然的摄影作品，用AI直接把照片变成二次元感觉就像在表演cosplay一样，失去了自然和真实的感受。《蜡笔小新》这个说法挺贴切的，不过这种技术进步确实很让人期待！
有5位网友表示赞同！
这说明科技发展越来越快了！以前想变成动漫角色都要靠后期特效加工，现在只需要一张自拍就能实现。我觉得未来会有更多更有趣的应用场景，比如虚拟偶像、个性化服装设计等等！
有17位网友表示赞同！
这个算法真的太酷炫啦！希望能够开源，让大家都能享受到这种乐趣！也许以后我们可以自己制作动漫角色或者进行游戏角色定制，这真是太令人兴奋了！
有14位网友表示赞同！