空频域结合的多尺度扩张卷积注意力数字水印

孙刘杰，刘磊

空频域结合的多尺度扩张卷积注意力数字水印

孙刘杰，刘磊

（上海理工大学，上海 200125）

将深度学习应用于数字水印，在隐藏信息的同时，不断提高图像的不可见性和鲁棒性，提出一种结合空间域和频率域的多尺度扩张卷积注意力数字水印算法（SF-ACA）。SF-ACA算法的网络框架包含由ACA和SFE构成的生成器、解码器2个部分组成。其中，ACA网络中的MCA模块将3个不同扩张率的扩张卷积对载体图像以多尺度融合的方式进行特征提取，使载体图像能更有效地隐藏水印信息；SFE结合快速傅里叶卷积块，在空域和频域中通过不同大小的感受野捕获互补信息，更精准地获取水印的特征信息，增强了秘密信息的不可见性和鲁棒性。本文提出的水印方法在隐藏与载体图像尺寸相等的三通道彩色图像时，PSNR值为38.81 dB，较UDH方法的PSNR值提高了7.78%。水印图像的隐藏容量是4 096比特，该算法与UDH方法在Dropout、Gaussian噪声、JPEG攻击下，提取精度分别提升了5.38%、10.5%、1.65%，满足不可见性要求的同时实现了强鲁棒性。本文方法在隐藏容量较大时，不可见性和鲁棒性都达到了较好的性能。

深度学习；水印；注意力机制；扩张卷积；傅里叶变换

随着大数据时代的来临，数字通信和多媒体数据日益普及，数字水印在媒体通信安全、解决数字作品的版权纠纷[1]和识别数字作品的真伪方面[2]发挥了巨大作用。数字水印[3]技术是将信息嵌入图片、音频、视频等数字载体中，且不影响原载体的使用价值，同时难以被发现和篡改。即使图像被第三方截获，除了发送者和接收者之外，没有人能够正确识别隐藏信息。出于安全考虑，数字水印通常要求与原始图像无法进行区分。近年来，数字水印技术在包装印刷防伪[4]、信息传输[5]、版权保护[6]等领域具有重要的应用价值。基于深度学习的数字水印技术已经成为水印技术领域的研究热点。Zhu等[7]于2018提出了基于深度学习的端对端盲水印方法HiDDeN，该篇论文在顶级会议ECCV上发表。在HiDDeN中，基于深度学习的数字水印网络框架有编码层、解码层和噪声层，该算法相较于传统水印方法在鲁棒性方面有了巨大提升。2020年，Tancik等[8]提出了一种的新的基于深度学习的数字水印算法StegaStamp，该方法实现了更真实的图像攻击下（例如图像打印或者摄屏攻击下）的水印鲁棒性。可见，将深度学习应用于数字水印技术中在鲁棒性方面有大大的提升。

目前，数字水印技术存在的问题是如何做到较高容量的同时，能够抵抗范围更广的攻击，拥有强鲁棒性[9]和更好的不可见性。本文基于空频两域的数字水印技术研究，能将一幅彩色图像隐藏在另一幅同等大小的彩色图像中，是一种更高效、更高容量、更好的不可见性、鲁棒性更强的数字水印方法。在数字水印领域，深度学习模型提供了适应性强的通用框架。深度学习可以增强使用数字水印技术嵌入信息的安全性。由于深层神经模型的高度非线性，嵌入的信息很难被检索到。本文提出的空频域结合的多尺度扩张卷积注意力数字水印方法不仅更安全，应用范围更广，而且针对对抗性攻击和失真具有更强的鲁棒性，还能够将数据更隐蔽地嵌入进图像中。基于深度学习的数字水印模型的持续发展将极大地提高数字IP保护的有效性和安全性，以及安全保密通信，具有重要的理论意义及应用价值。

1 相关工作

注意力机制通过对特征图中的可用信息进行提取，然后按照得分对特征加权，以突出重要特征对下游模型或模块的影响，抑制无用信息，这种优化模型性能的做法已经广泛应用于图像处理领域。2020年Yu等[10]提出了基于注意力的CNN模型的数字水印方法ABDH。注意力机制有助于生成模型感知载体图像的显眼和不显眼的区域，注意力机制可以感知更多不明显的像素，以提高鲁棒性。

通常情况下，为了使数字水印有更好的鲁棒性，会在一定程度上导致水印图像的质量下降。采取在频域[11]中进行数据隐藏的方式来实现鲁棒性和不可见性之间的平衡。将秘密信息隐藏到载体图像经过频域变换的低频系数部分，可以提高鲁棒性；或者将秘密信息隐藏到载体图像经过离散余弦变换的高频系数部分，提高不可见性。2021年Jing等提出HiNet[12]，这是一种在小波域隐藏秘密信息的深度学习数字水印方法，这种方法的安全性很好，但鲁棒性待提高。在鲁棒性方面与传统水印方法相比有了很大提高，但隐藏信息受限于二进制信息，且隐藏容量小。Zhang等[13]在2020年提出的一种基于深度学习的端对端的通用型数字水印模型，将完整的彩色图像隐藏在另一幅彩色图像中。在迭代时使用分割策略，从而加快收敛速度并显著提高性能，在训练阶段主动加入噪声攻击来解决鲁棒性这个问题。即便如此，UDH在均匀随机噪声干扰下鲁棒性依然较差。

综上可以看出，现有的数字水印方法具有抗攻击能力弱和无法兼顾水印容量与不可见性的问题，为了更高效、更高容量地实现水印加密的不可见性和强鲁棒性。本文提出的网络框架是一种探索深度学习的数字水印方法，本方法可以进行水印嵌入和提取。通过结合扩张卷积、注意力机制以及编码过程结合频域和空域对图像进行处理，实现了更好的鲁棒性和不可感知性。

2 算法设计

2.1 网络结构

图1 本文提出的SF-ACA水印框架的框图

2.1.1 扩张卷积注意网络

注意力模块有助于生成模型感知载体图像的显眼和不显眼的区域。注意力模块在深度学习中，使网络学习中的重要特征被强调，不重要特征被忽略。在不使用注意力模型时，提取到的信息流以相同的权重向前传递，但如果有已知的先验信息，根据先验信息可以做到抑制某些无效信息的流动，以及关注某些关键信息。同时，通过多尺度的扩张卷积，来使卷积核更加密集并扩大感受野，从而达到提升水印图像质量和增强鲁棒性的作用。

图2 多尺度扩张卷积模块

Fig.2 Multi-scale dilation convolution block

注：=1、2、5表示3个扩张卷积块的扩张率分别是1、2、5。

2.1.2 编码网络

本文提出的编码网络是一种空域与频域相结合的网络，使秘密图像在被处理的过程中，输入进网络并进行一系列的卷积与反卷积。由于普通卷积感受野有限，不能捕获到全局信息，本文在网络的第5层和第6层利用了快速傅里叶卷积块（FFC）。FFC的架构如图3所示。从理论上讲，相互连接的2条路径组成FFC，空间路径在部分输入特征信道上进行普通卷积，光谱路径在光谱域中运行。每条路径捕获具有不同感受野的互补信息。被捕获的信息在内部进行交换。在卷积过程中不断交换全局和局部分支信息流，扩大感受野，提高捕获全局信息的能力。

将经过FFC的张量的输入通道和输出通道设置为相同的数量，参数∈[0, 1]控制全局分支与局部分支在模块中使用的通道比率。将FFC用傅里叶变换到频域，在频域内做卷积，然后再通过傅里叶逆变换进行处理。FFC包含4个部分：局部到局部，局部到全局，全局到局部，全局到全局。前3部分都是使用3×3的标准卷积实现的，只有最后一部分是使用频域变换。通过路径间转换获得信息，以充分利用多尺度感受野。

2.1.3 解码网络

2.2 损失函数

3 实验结果与分析

实验部分介绍了实验装置、参数设置、评估性能指标。另外，为了验证多尺度扩张卷积注意模块以及快速傅里叶卷积对SF-ACA水印算法所提供的有效性，还完成了相关消融实验和泛化能力实验，并进行了分析。在对比实验中，本文的水印算法与现有的数字水印算法HiDDeN、UDH、CDWT[16]和IDEAS[17]进行了对比分析。选择这些水印算法进行对比的原因是在端对端的深度学习数字水印技术研究中，这些算法获得了较好的不可见性、鲁棒性和大容量嵌入等性能。

3.1 实验设置

将SF-ACA网络搭建在Pytorch平台上。模型分别在数据集ImageNet[18]和MIRFLICKR[19]上进行训练，用2 000张图像进行验证。在2 000幅图像的测试集上评估了具有最佳验证性能的图像。训练数据集中的图像被随机裁剪，然后被缩放到128×128的大小，再进行随机翻转之后将其传递给编码器，设计这些转换是为了增强模型的鲁棒性。用来测试的图像尺寸也是128×128，且在测试时经过随机变换或裁切，以验证其抗攻击能力。用来测试的图像大小为128×128，且在测试时经过随即变换或裁切，以验证其鲁棒性。Adam[20]优化器使用默认超参数，学习速率lr为0.001，FFC的通道比率=0.75。实验硬件方面，采用实验室工作站，配置如下：Intel® Core™ i7-10700K CPU，8 G内存，NVIDIA GeForce RTX 2070 SUPER/PCIe/SSE2显卡。

3.2 评估性能指标

从以下4个方面对SF-ACA数字水印算法进行了评价与分析：不可见性，即载体图像CI和水印图像WI之间的相似性，使用峰值信噪比（PSNR）[21]、结构相似性（SSIM）[22]、感知损失（LPIPS）和平均像素差异（APD）进行评价，PSNR值和SSIM值与图像质量呈正相关，LPIPS[23]和APD则与图像质量呈负相关；提取准确性，即秘密图像SI和解码图像DI之间的相似性，使用提取准确率进行评价；容量，即载体图像中能够隐藏的数据量。

提取准确率：

3.3 鲁棒性实验

训练和测试在同一配置的硬件设备和同一数据集上进行。从表1中可以看出，在JPEG噪声攻击下，SF-ACA在隐藏256位的信息量时的解码准确率是92.8%，UDH和CDWT在隐藏256位的信息时解码准确率分别是91.19%、89.35%，HiDDeN隐藏信息量为30位时的解码准确率是63%。在隐藏1 024位的信息时，IDEAS解码准确率是57.81%，远低于SF-ACA的解码准确率74.18%。显而易见，由表1可知，控制变量下SF-ACA的提取准确率要明显优于HiDDeN、UDH、IDEAS和CDWT。

表1 HiDDeN、UDH、IDEAS、CDWT与SF-ACA解码精度实验结果对比

Tab.1 Experimental result comparison of decoding accuracy of HiDDeN, UDH, IDEAS, and CDWT and SF-ACA

3.4 不可见性实验

SF-ACA是一种十分灵活的数字水印方法，载体图像和秘密图像不要求保持相同数量的通道。由于IDEAS和CDWT隐藏的是字符串内容，本文的隐藏内容是彩色图像，前2个方法与本文隐藏内容的类型不一致，因此并没有在定性分析中对他们的实验结果进行展示。SF-ACA和UDH的不可见性结果对比如图4所示。不难看出，UDH的CI和WI之间的差异明显，该方法的水印图像质量与SF-ACA之间存在较大差距，SF-ACA的CI和WI的PSNR值要优于UDH，SF-ACA有着较好的图像不可见性。图4中，PSNRc表示CI与WI之间的峰值信噪比值，PSNRs表示SI与DI之间的峰值信噪比值。UDH方法下，PSNRc和PSNRs的值分别为36.36 dB和35.19 dB，SF-ACA的PSNRc和PSNRs的值分别为38.85 dB和35.95 dB。UDH的SI和DI之间的差值明显大于SF-ACA的，说明SF-ACA的解码精度要优于UDH的解码精度。图5展示的是SF-ACA隐藏单幅图像的不可见性，CI和WI之间的差异或SI和DI之间的差异被放大，以便更好地可视化。可以看出CI和WI、SI和DI之间的差异都很小，难以被人眼察觉。在没有显著性能下降的情况下，SF-ACA可以在一个CI中可以隐藏多个SI。

图4 UDH、SF-ACA的不可见性实验结果展示

图5 SF-ACA隐藏单幅图像时的不可见性

3.5 对不同数据集的泛化能力

实际应用中，被使用的图片可能来自各个行业和各个领域。因此，在使用数字水印的模型时，为了充分验证SF-ACA对新数据的泛化能力，本文除了在MIRFLICKR数据集上对SF-ACA进行训练、验证和测试以外，还在大数据集ImageNet中对其进行评估。同时，当训练和验证所使用的图片来自不同的数据集时，SF-ACA的网络精度不受影响。这种模拟更接近实际的通信环境，数字水印模型无法在其实际应用的图像集上进行检测器模型的训练。图6展示的是SF-ACA在MIRFLICKR数据集上进行训练和SF-ACA在ImageNet数据集上进行测试的图片，显而易见，即使训练和测试时使用不同的数据集，水印图像和解码图像仍然有很好的表现，证明SF-ACA具有很好的泛化性。

图6 SF-ACA在不同数据集上进行训练时的表现

3.6 消融实验

SF-ACA网络中用到了多尺度扩张卷积注意力网络（ACA）和快速傅里叶卷积。为了验证ACA和快速傅里叶卷积对SF-ACA网络的有效性，本小节中通过改变所提出的SF-ACA网络中的配置，以UDH为基线进行了消融研究。定义2种变体：变体1，不使用多尺度扩张卷积注意力网络，仅使用快速傅里叶卷积；变体2，删除快速傅里叶卷积，仅使用多尺度扩张卷积注意力网络。在相同的环境下训练了SF-ACA和2种变体，通过将他们的实验结果进行对比，并分析了它们在不可见性和提取准确性方面的性能。消融实验结果详见表2，C、S分别表示表示CI与WI、SI与DI之间的实验结果，SF-ACA方法在图像质量方面的优势很明显。

表2 SF-ACA 网络、变体1、变体2的消融实验结果

Tab.2 Results of ablation experiments for SF-ACA network, variant 1, and variant 2

4 结语

本文提出了一个多尺度扩张卷积注意力模块ACA，通过多尺度扩张卷积注意力对载体图像进行处理，部分无效信息的流动受到合理抑制，关键信息受到关注，有利于载体图像获得更有效的隐藏空间；在U-Net网络上结合快速傅里叶卷积层搭建SFE编码网络，使秘密图像在空间域和频率域都可以通过不同感受野获取互补信息，实现秘密图像特征的跨尺度融合，有利于提高水印图像的鲁棒性和透明性。本文对所提出的算法进行了严格评估，证明了它在现实场景中的实用性，并通过消融实验来证实了SF-ACA中结合多尺度扩张卷积注意力模块和傅里叶卷积的关键作用。实验结果显示，SF-ACA在嵌入阶段可以实现与载体图像同等大小的大容量信息隐藏，其中APD值达到了2.49，相较于UDH方法降低了54.62%，LPIPS值为0.000 22，与UDH相比较降低了86.16%，SSIM、PSNR的值分别是0.979 1和38.81，与UDH方法相比分别提高了2.97%、7.78%，得到的水印图像具有高度不可感知性。同时SF-ACA的解码精度有优越的表现，当隐藏容量为4 096时进行Gaussian噪声攻击，水印的提取准确率仍然达到93.02%，足以证明本文方法有优秀的鲁棒性。SF-ACA在实现了较高的隐藏容量的同时，水印图像还具有较好的不可见性及鲁棒性。此外，SF-ACA能够做到在单幅载体图像中隐藏幅秘密图像，并取得良好的图像质量。

[1] CHENG B, ZHANG B. Application of Robust Digital Watermarking Technology in Image Copyright Disputes[J]. Journal of Physics Conference Series, 2021, 1883(1): 012124.

[2] XU X D, YU X. A Network Digital Works Protection Method Based on Digital Watermarking and Intrusion Detection[C]// Proceedings of the 2020 International Conference on Cyberspace Innovation of Advanced Technologies, 2020: 582-586.

[3] COX I, MILLER M, BLOOM J, et al. Digital Watermarking[J]. Journal of Electronic Imaging, 2002, 11(3): 414-414.

[4] NGUYEN H, RETRAINT F, MORAIN-NICOLIER F, et al. A Watermarking Technique to Secure Printed Matrix Barcode—Application for Anti-Counterfeit Packaging[J]. IEEE Access, 2019, 7: 131839-131850.

[5] SAYAH M, MOHAMED REDOUANE K, KHALDI A. A Wavelet Based Medical Image Watermarking Scheme for Secure Transmission in Telemedicine Applications[J]. Microprocessors and Microsystems, 2022, 90(4): 104490.

[6] WANG B W, SHI J W, WANG W S, et al. Image Copyright Protection Based on Blockchain and Zero-Watermark[J]. IEEE Transactions on Network Science and Engineering, 2022, 9(4): 1.

[7] ZHU J, KAPLAN R, JOHNSON J, et al. Hidden: Hiding Data with Deep Networks[C]// Proceedings of the European Conference on Computer Vision (ECCV), 2018: 657-672.

[8] TANCIK M, MILDENHALL B, NG R. Stegastamp: Invisible Hyperlinks in Physical Photographs[C]// Proceedings of the IEEE/CVF Conference On Computer Vision and Pattern Recognition, 2020: 2117-2126.

[9] 刘盼, 袁影影, 赵蒙蒙. 数字水印技术及其攻击防御方法研究[J]. 软件导刊, 2016, 15(6): 198-199.

LIU P, YUAN Y Y, ZHAO M M. Research on Digital Watermarking Technology and Its Attack Defense Method[J]. Software Guide, 2016, 15(6): 198-199.

[10] YU C. Attention Based Data Hiding with Generative Adversarial Networks[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2020, 34(1): 1120-1128.

[11] 陈青, 高贺. 基于IWT-SVD和BRISK的鲁棒图像水印算法[J]. 包装工程, 2020, 41(17): 213-220.

CHEN Q, GAO H. Robust Image Watermarking Algorithm Based on IWT-SVD and BRISK[J]. Packaging Engineering, 2020, 41(17): 213-220.

[12] JING J P, DENG X, XU M, et al. HiNet: Deep Image Hiding by Invertible Network[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021: 4733-4742.

[13] ZHANG C N, BENZ P, KARJAUV A, et al. Udh: Universal Deep Hiding for Steganography, Watermarking, and Light Field Messaging[J]. Advances in Neural Information Processing Systems, 2020, 33: 10223-10234.

[14] WANG P Q, CHEN P G, YUAN Y, et al. Understanding Convolution for Semantic Segmentation[C]// 2018 IEEE Winter Conference on Applications of Computer Vision (WACV), IEEE, 2018: 1451-1460.

[15] RONNEBERGER O, FISCHER P, BROX T. U-net: Convolutional Networks for Biomedical Image Segmentation[C]// Medical Image Computing and Computer-Assisted Intervention–MICCAI 2015: 18th International Conference, Munich, Germany, Springer International Publishing, 2015: 234-241.

[16] TAVAKOLI A, HONJANI Z, SAJEDI H. Convolutional Neural Network-Based Image Watermarking Using Discrete Wavelet Transform[J]. International Journal of Information Technology, 2023, 15(4): 2021-2029.

[17] MAWGOUD A A, TAHA M H N, ABU-TALLEB A, et al. A Deep Learning Based Steganography Integration Framework for Ad-Hoc Cloud Computing Data Security Augmentation Using the V-BOINC System[J]. Journal of Cloud Computing, 2022, 11(1): 97.

[18] DENG J, DONG W, SOCHER R, et al. Imagenet: A Large-Scale Hierarchical Image Database[C]// 2009 IEEE Conference On Computer Vision and Pattern Recognition, IEEE, 2009: 248-255.

[19] JAIN R. Multimedia Information Retrieval: Watershed Events[C]// Proceedings of the 1st ACM International Conference on Multimedia Information Retrieval, 2008: 229-236.

[20] KINGMA D P, BA J. Adam: A Method for Stochastic Optimization[J]. Computer Science, 2014, 4: 1-15.

[21] ALMOHAMMAD A, GHINEA G. Stego Image Quality and the Reliability of PSNR[C]// 2010 2nd International Conference on Image Processing Theory, Tools and Applications, IEEE, 2010: 215-220.

[22] WANG Z, BOVIK A C, SHEIKH H R, et al. Image Quality Assessment: From Error Visibility to Structural Similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[23] ZHANG R, ISOLA P, EFROS A A, et al. The Unreasonable Effectiveness of Deep Features as a Perceptual Metric[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 586-595.

Digital Watermarking Combining Spatial Domain and Frequency Domain Based on Multi-scale Expanded Convolutional Attention

SUN Liujie, LIU Lei

(University of Shanghai for Science and Technology, Shanghai 200125, China)

The work aims to apply the deep learning to the digital watermarking and propose a digital watermarking algorithm combining spatial domain and frequency domain based on multi-scale expanded convolutional attention (SF-ACA), so as to improve the invisibility and robustness of images while concealing information. The network framework of this algorithm consisted of two parts: a generator composed of ACA and SFE and a decoder. Among them, the MCA module in the ACA network combined three dilation convolutions with varying atrous rates for feature extraction of carrier images with multi-scale fusion, so that the carrier images could conceal the watermark information more effectively. The SFE combined fast Fourier convolution blocks to capture complementary information in the spatial and frequency domains with varied widths of perceptual fields to collect the feature information of the watermark more effectively and enhance the invisibility of the secret information and robustness. According to experimental findings, the PSNR value of the proposed watermarking method was 38.81 dB which was improved by 7.78% in comparison to the UDH method while concealing a color image of equal size to the carrier image. The watermarked image had a hiding capacity of 4 096 bits, and the method improved the extraction accuracy under Dropout, Gaussian noise, and JPEG attacks by 5.38%, 10.5%, and 1.65%, respectively, meeting the requirement of invisibility and achieving strong robustness. When the hiding capacity is high, the method described in this study performs better in terms of robustness and invisibility.

deep learning; watermarking; attention mechanism; expanded convolution; Fourier transformation

TB486；TP391

A

1001-3563(2024)03-0193-08

10.19554/j.cnki.1001-3563.2024.03.022

2023-04-26

上海市科学技术委员会科研计划（18060502500）；上海市自然科学基金面上项目（19ZR1435900）