看《梦华录》上头的人都该尝试下这款抖音特效

动手点关注 干货不迷路 

热播剧《梦华录》让人磕“顾盼 CP”的同时也领略到了宋代妆容发饰之美。近期，抖音为端午节上新的一款“国风穿越”特效结合了宋朝文化艺术和现代科技的元素，也一跃成为平台的爆款，投稿量超过 900W。

相比于市面上的国风特效道具，“国风穿越”首次实现千人千面的实时全头效果：

• 通过 GAN 技术微调脸部皮相、骨相来还原宋朝面部风格气质，搭配宋朝婉约淡雅的妆容，营造古典之美；

• 根据用户的头发发型，生成千人千面的古风发型，并且在细节上保留发型的发丝，结合打造发量感和搭配宋朝发饰，既完整也真实地还原了宋朝的经典韵味；

• 预研多个男女实时模型，用户可随机切换不同的宋朝男女造型，富有趣味。

除了艺术的美感，这个传承了华夏风尚经典韵味的爆款特效在技术上也实现了不少突破：

相比于此前的人像风格化算法，只生成脸部的风格化效果难以达到国风的整体效果，需要扩大裁剪区域，生成头发、头饰等区域，这样增大了模型生成难度。对此采用区域分治的策略，研发了一套大裁剪下少样本的千人千面的人像风格化特效链路，整体的链路如下图所示。

系统首先对输入图像进行裁剪，通过风格化生成技术，利用几百张国风数据生成大裁剪区域和人脸区域的风格化结果，结合人脸融合技术将两部分进行融合，得到千人千面的高清风格化结果。进一步通过移动端在线协同压缩蒸馏算法训练移动端小模型，应用于道具贴纸中。在接下来的章节中，文章将会对部分关键算法环节展开剖析。

少样本高清风格化生成

国风数据较难收集，数量较少，且裁剪区域要求较大，技术团队采用基于stylegan 微调的方式，使用几百张国风风格的数据，微调生成器得到风格化 stylegan，能够生成高清的风格化数据。并采用了一种自适应数据增强策略，以避免过度拟合小型训练数据集。

由于裁剪区域较大，生成质量往往较差，为此利用 stylegan 的截断策略，生成大量较稳定的高清国风数据，再在 stylegan 的预训练模型基础上微调，得到风格化 stylegan，生成结果质量有很大提升。并在微调过程中采用角度匹配算法，使微调前后角度分布保持一致。

千人千面效果生成

「国风穿越」的一大亮点是生成千人千面的效果。由于裁剪区域较大，真实图像映射到 stylegan 隐空间会有较大的重建损失，同时利用了 stylegan 的截断策略，人脸的相似度和多样性有较大损失，需要对人脸区域进行调整。

在算法设计之初，技术团队考虑了一套基于权重混合的方案，但由于该方案生成效果不够稳定，对局部调整困难，往往带来其它区域较大的变化。技术团队便开始尝试使用“特征局部融合”的方案，通过人脸分割算法得到人脸区域 mask，将微调前后 stylegan 特征进行线性加权混合，使生成结果人脸具有输入图身份信息，达到人脸千人千面的多样性效果，同时保持头发等区域的风格化结果。

为了消除真实图像重建带来的相似度损失，对人脸区域进行裁剪，生成人脸区域的风格化结果。结合人脸融合技术，将人脸风格化结果融合到大裁剪风格化结果上，加强人脸区域相似度。

除此之外，研发团队利用一种局部注意力机制，增加了刘海等区域的关注度，使得移动端的效果呈现多样性。

移动端在线协同压缩蒸馏

技术团队在 ICCV2021 自研的 GAN 压缩算法【OMGD】的基础上引入数据标签算法来完成【模型】+【数据】两个维度的在线协同压缩蒸馏。协同压缩过程基于在线蒸馏框架，教师生成器分别从有标，无标两个维度蒸馏学生模型。对于有标数据，我们利用 OMGD 算法进行模型优化；对于无标数据，我们利用数据标签算法生成高质量数据用于学生生成器的蒸馏训练。数据标签算法有助于挖掘同一风格下未标注数据的结构化特性，与配对数据形成互补，从而减轻昂贵且耗时的数据生成和挑选环节，起到降本增效的目的。结果显示该算法在降低30%模型计算量和50%数据标注量的同时提升模型生成质量；

写在最后

端午节与春节、清明节、中秋节并称为中国四大传统节日，是流行于中国以及汉字文化圈诸国的传统文化节日。抖音特效团队通过将国风文化融入创新技术并且结合传统节日落地到道具国风穿越上，呼应年轻人群日益关注的文化自信、国潮觉醒，希望能让年轻人能用低门槛的方式在轻松有趣中 pick 国潮国风文化。

智能创作团队介绍

智能创作团队是字节跳动音视频创新技术和业务中台，覆盖了计算机视觉、图形学、语音、拍摄编辑、特效、客户端、服务端工程等技术领域，在部门内部实现了前沿算法-工程系统-产品全链路的闭环，旨在以多种形式向公司内部各业务线以及外部合作客户提供业界最前沿的内容理解、内容创作、互动体验与消费的能力和行业解决方案。