肖像漫画是一种独特的艺术形式，艺术家以夸张的方式勾勒出一个人的脸，大多数时候都是为了体现幽默感。自动化这种技术带来了挑战，因为所涉及的复杂细节和形状的数量，以及转变为创造性夸大的人所需的专业技能水平。

来自香港城市大学和微软的计算机科学家团队开发了一种创新的基于深度学习的方法，可以自动生成给定肖像的漫画，并使用户能够高效，逼真地完成这一过程。

“与定义手工制作规则的传统图形方法相比，我们的新方法利用大数据和机器学习来综合专业艺术家绘制的数千个例子中的漫画，”第一作者Kaidi Cao表示，他目前在斯坦福大学攻读计算机科学研究生，但在微软实习期间进行了这项工作。“虽然现有的风格转移方法主要集中在外观风格上，但我们的技术实现了漫画画中涉及的几何夸张和外观风格。”

该方法使用户能够自动绘制肖像漫画，并可应用于为社交媒体创建漫画头像和设计卡通人物等任务。该技术在市场营销、广告和新闻领域也有潜在的应用前景。

Cao与香港城市大学的Jing Liao和微软的Lu Yuan合作进行了研究，三人计划于12月4日至12月7日在东京举办的SIGGRAPH Asia 2018展会上展示他们的工作。年度会议将展示计算机图形学和互动技术领域最先进的技术，以及科学，艺术，游戏和动画等领域的前沿研究。

在这项工作中，研究人员转向机器学习中的一种众所周知的技术：生成对抗网络（GAN），用于不成对的照片到漫画的翻译，以生成保留肖像身份的漫画。“CariGANs”计算框架通过研究人员标记的两种算法CariGeoGAN和CariStyGAN精确地模拟照片中的几何夸张（面部形状，特定角度）和外观风格（外观，感觉，铅笔笔划，阴影）。

CariGeoGAN仅模拟从面部照片到漫画的几何到几何的映射，CariStyGAN将样式外观从漫画转移到面部照片，而不会对原始图像的几何形状造成任何变形。研究人员指出，这两个网络是针对每项任务分别进行训练的，因此学习过程更加强大。CariGANs框架使用户能够通过拖动幻灯片或给出示例漫画来控制几何和外观风格的夸张程度。

Cao和合作者进行了感性研究，以评估他们的框架能够生成易于识别且不会在形状和外观风格上过度扭曲的肖像漫画。例如，一项研究评估了与现有的漫画艺术翻译方法相比，使用CariGANs方法保存图像的同一性。他们通过几个例子证明现有方法无法识别的漫画转换。他们发现将所得到的漫画与原始主题相匹配太困难，因为最终结果过于夸张或不够清晰。而研究人员的方法成功地为肖像照片创建了更清晰，更准确的漫画描绘，就好像它们是由专业艺术家手绘的。

目前，这项工作的重点是人物的漫画，主要是头像或肖像。在未来的工作中，研究人员打算探索超越面部漫画生成的全身或更复杂的场景。他们还对设计改进的人机交互（HCI）系统感兴趣，该系统可以为用户提供更多的自由和用户控制机器学习生成的结果。

论文：sa2018.siggraph.org/images/press-releases/SA18_Tech_Papers_PR_-_16_Oct_18_-_New_Deep_Learning_Technique_for_Realistic_Caricature_Art.pdf