“深大制造”最强图像风格化算法让照片秒变艺术品

深圳特区报

深圳市委机关报，改革开放的窗口

摘要

近日，深大一黑科技成果——“视觉特征迁移算法”被计算机视觉顶会CVPR 2025接收。该算法能让图像风格化，无论是诺贝尔奖头像风格、毕加索的抽象线条，还是各种天马行空的抽象画风，统统不在话下，有了这一算法，社交媒体头像不再单一。

“视觉特征迁移算法”是来自深圳大学计算机与软件学院可视计算研究中心黄惠教授团队的最新研究成果，由副教授周漾带领的硕士研究生高旭、陈子冲开发。

视觉特征迁移，指的是将一幅图像（称为“参考图像”）中独特的视觉特征，如色彩、纹理、笔触、甚至更高层次的艺术风格或材质感，迁移到另一幅图像（称为“目标图像”）上，从而生成一幅既保留了内容图像的结构和语义信息，又融合了风格图像视觉特性的新图像。该问题一直是计算机视觉和图形学领域一个重要且颇具挑战性的话题，是AIGC的重要任务之一，广泛应用于艺术创作、图像编辑、虚拟现实等领域，具有重要的研究意义和应用价值。简单来说，就是把一张图（比如一幅名画）的独特风格，色彩、笔触、纹理甚至艺术感“迁移”到另一张图上（如自拍照），然后，照片既保留了原来的样子，又瞬间变成了艺术品。

深大的这一成果提出了一种通用且高效的视觉特征迁移方法，适用于多种基于样例的图像合成应用，如艺术风格迁移、外观迁移、风格化文本到图像生成以及各种纹理合成任务。

与以往使用自注意力特征作为即插即用属性的方法不同，该方法充分利用预训练扩散模型的强大语义先验以及注意力机制，设计了一种新的注意力蒸馏损失。该损失通过构建“理想”风格化目标并计算与当前风格化结果之间的差异，在潜空间中反向传播优化生成图像的隐变量，克服了基于特征注入方法存在的域差距、架构限制和误差累积等局限性。

来自扩散模型的紧密语义对应关系确保了高保真的局部纹理细节还原，而基于注意力的全局关系建模则带来了整体视觉分布的一致性。此外，论文还提出了一种改进的分类器引导，将注意力蒸馏损失整合到去噪采样过程中，进一步加速了合成过程，并实现了更广泛的图像生成应用，包括风格化文生图以及与ControlNet、MultiDiffusion的联合使用。大量的实验和与最先进方法的比较表明，本文方法在基于样例的风格、外观和纹理等视觉特征迁移任务中有着非凡性能。