简单几笔素描就能“复原”真实人脸，背后是什么原理？

原创： 关注前沿科技 量子位

鱼羊 发自 凹非寺

量子位 报道 | 公众号 QbitAI

看着这样一张抽象的人脸素描，你能猜出真人长什么样吗？

现在，有一只GAN，不仅能够完美突破次元壁，复现真实人脸：

△左：素描；右：CSAGAN生成

甚至不画嘴，也不会生成无嘴怪人。效果真实，画面高清，连脸上的皱纹，都刻画得清清楚楚。

相比之下，Pix2pix这样的著名选手黯然失色。困难模式下简直AV画质。

制造如此神奇魔法的GAN，名叫CSAGAN，即有条件的自注意力机制生成对抗网络（conditional self-attention generative adversarial network）。诞生于中科大类脑智能技术及应用国家工程实验室。

世上的GAN千千万，CSAGAN为什么这么秀？

两大秘诀

CSAGAN的独特之处，是在保持面部结构不确实的同时，生成高质量的人脸图像。

首先立功的，是条件自注意力模块（CSAM）。

在模型框架中，研究人员采用了掩码残差单元（MRU），并在最后一个MRU之前加入了条件自注意力模块。

条件自注意力机制能够建模人脸不同区域之间的长期依赖关系，也就是说，即使素描图里没画清楚鼻子嘴巴，CSAGAN一样能生成五官齐全的一张脸。

MRU和条件自注意力模块的输入是处理过的黑白线条图。

△稀疏线条图的密集距离场表示

给定来自上一层的线条图和特征图，条件自注意力模块会以自注意力机制计算输出新的特征图。

而另一个秘诀，是多尺度鉴别器。它能保证生成的人脸具有更加完整的结构和真实的纹理。

鉴别器由不同深度的子网组成，深度不同，最后一层接收域的大小自然也不一样。最深子网络最后一层中的接收域和捕获全局结构的整个图像大小一致。这些子网在前几层彼此共享权重。

这样，大尺度鉴别器会注意面部整体结构的完整性，而小尺度鉴别器则专注于细节，增强生成面部图像的真实感。

△最后一排是真实照片

中科大团队

这篇论文的第一作者，是来自中国科学技术大学类脑智能技术及应用国家工程实验室的Yuhang Li。

论文的通讯作者，是该实验室的陈雪锦副教授。陈老师专注于计算机图形学、计算机视觉研究，在中科大读博期间，师从沈向洋教授，2010年从耶鲁大学计算机系博士后出站。

论文的另外两位作者，是中科大信息科学技术学院执行院长吴枫教授和该实验室副主任查正军教授。

传送门

论文地址：

https://arxiv.org/abs/1910.08914

— 完 —

原标题：《简单几笔素描就能“复原”真实人脸，这是沈向洋高徒出品的CSAGAN》

阅读原文