随着科学与技术的发展,图像成为越来越重要的信息传播媒介.然而图像在形成、传送和储存的过程中,由于一些不可抗拒的因素,会产生图片污染进而造成图片退化,即模糊图片[1-2].通常,图像在退化过程中可用下面模型进行近似,
g=h⊗f+n,
(1)
式中:f为清晰图片;g为观察到的图片;n是零均值高斯白噪声;h为点扩散函数;⊗是卷积算子.图像复原技术是一个病态问题,通常使用正则化技术去解决这个问题,通过最小化下式的变分问题来复原清晰图像f,
(2)
式中:第一项通常被称为保真项,用来保存图像的最大信息,此部分可以通过最大后验估计推导出来[3];第二项被称为正则化项,通过改善正则化项使复原的图像更清晰.正则化参数α>0.
正则化项φ(f)的选取对复原出的图像质量有着至关重要的影响.Rudin等[4]提出一种全变差方法,用φ(f)=‖f‖1表示正则化项.这种方法能够比较好地保存图像的边缘信息,然而会产生阶梯效应.为了减弱复原图片的阶梯效应并且保存图像的边缘信息,Lysaker等[5]提出了一种用二阶次全变差正则化项取代原始全变差正则化项的方法.Chan等[6]提出了一种混合的全变差公式,将一阶和二阶全变差混合使用.也有其他学者采用更高阶的全变差公式,然而阶次越高,改进后的模型就越复杂,计算难度也会随之增加,产生一些不良效应.Huang等[7]通过引入辅助变量来代替真实图片,提出了一种快速总变差(Fast-TV)最小化方法.Liu等[8]和Shi等[9]采用重叠组稀疏正则化项恢复噪声损坏图像,在减轻阶梯效应方面非常有效.Bai等[10]提出了一种基于交替方向乘子法求解全变差正则化的模型,该模型对去除椒盐噪声非常有效,但对于随机噪声效果一般.赖明倩等[11]提出了一种全范数全变差的算法,既保留了边缘效果又减弱了阶梯效应.
全变差正则化方法能够较好地保留图像的边缘信息,但会产生阶梯效应,所以要对正则化项进行改进以便减弱阶梯效应.采用重叠组稀疏全变差函数(OGSTV)代替正则化项,该方法曾被用来去除一维噪声[12],能够保留边缘特性,并且减弱阶梯效应.重叠组稀疏全变差通常是利用交替方向乘子(ADMM)方法来进行求解.但在求解过程中,其惩罚因子对复原效果有较大影响,且一般由经验选取,不易调出最佳效果,所以笔者提出了一种自适应交替方向乘子法来求解该模型,在复原图片的过程中根据复原情况能够实时地调节ADMM的惩罚因子.该算法不仅能够保存图像的边缘特性,并且能够克服全变差的阶梯效应.此外,自适应交替乘子法比经典的交替乘子法更具有鲁棒性,第3节的试验证明了该算法的高效性.
定义一个在两维信号W×W上的点组是以(i,j)为中心,W×W为窗的连续采样.通过堆叠的列向量可以得到一个向量用重叠组稀疏函数(OGS)定义的正则化项变为:
(3)
所以对应的全变差公式的正则化项变为:
φ(s)=φ(xs)+φ(ys).
(4)
通过引入定义的重叠组稀疏正则化项,图像复原公式(2)可转换为:
(5)
对于图片中的每个像素值都有一定的范围约束PΩ=[pl,pu],这种约束被称为黑箱约束[13].通过引入一些辅助变量vx、vy、z,将式(5)转化为有约束问题,
s.t vx=x f, vy=y f,z=f.
(6)
相应的增广拉格朗日函数为:
L(f,vx,vy,z)=
φ(vy))+PΩ(z)+μT{(x f-vx)+
(y f-vy)+(f-z)}+
y f-
(7)
式中:μ是拉格朗日乘数;σ>0是惩罚因子.式(7)可以用ADMM算法进行求解.
在式(7)中,σ通常是由经验选取.但试验证明其值选取的大小对图片恢复质量有着至关重要的影响.所以提出了一种自适应正参数σ的选取方法.对式(7)进行变形得,
L(f,vx,vy,z)=x f-
(8)
式中:
利用ADMM算法对式(8)进行求解可得复原图片f的迭代公式为(文献[14]中给出了相应的求解过程),
fk+1=
(9)
由式(9)可以容易地看出图片复原迭代公式是以Si,i=1,2,3为步长的梯度下降.为了证明σ值变化对f的影响,令σ为自变量,其他参数为常量,可得,
f=argminΦ(σ),
(10)
(11)
式中:x f-vx);x2=(y f-vy);x3=(f-z).对Φ(σ)进行求导可得,Φ(σ)在内单调递减.其中xmax=max{‖x f-vx‖2,‖y f-vy‖2,‖f-z‖2}.由于在内增大σ会减小Φ(σ),越小的Φ(σ)值会复原出更好的图片f.区间的范围随着迭代发生变化,不易选取一个通用范围,所以笔者选取一个非常小的σ值作为初值,以σ=γσ进行迭代增加,γ>1为步长参数.
为了在图片复原过程中根据复原情况进行自适应的迭代,以空间欧式距离作为复原前后相似度度量得,
(12)
当Δk+1<ε,ε为任意小常数,图像复原迭代过程中图片再无变化,迭代终止.在迭代过程中根据Δk实时调整σk值,做如下定义,
(13)
式中:η为大于1的常数,对于相应的当图片相似度很小时(即Δk+1≥ηΔk),增大σ值,即可增大步长s,加快迭代速度;当图片相似度很大时(即减小σ值,即可减小步长s,对复原图片进行微调;当图片相似度变化很小时保持σ值不变,即保持s值不变进行迭代.自适应ADMM-OGSTV算法具体流程如下.
为了更加充分地验证本算法,笔者选取不同尺度的图片进行测试,所有测试图片如图1所示,其中图Goldhill尺寸为512×512,图Lena尺寸为256×256.
图1 测试图片
Fig.1 The picture for test
在试验过程中,分别对测试图片进行了两种高斯模糊,模糊核为7×7记为模糊核1;模糊核为21×21记为模糊核2,高斯函数标准差均为2.两种运动模糊,位移像素为10,偏移角度为30,记为模糊核3;位移像素20,偏移角度为45,记为模糊核4,偏移角度均为逆时针方向,论文以下内容采用此简记方式.笔者方法和最新的Fast-TV算法[7]、TVFN算法[11]和OGSATV-ADM4算法[8]进行了对比.为了保证对比的公平,所有算法的迭代终止条件为ε=1×10-5,其他条件为其论文中证明的最优条件.笔者方法经试验证明参数γ取1.01,参数η取1.09;重叠组稀疏窗,选取W=3,文献[15]已验证其最优性.实验环境为Windows 7, 64位Intel Core i5-3230 CPU 2.5 GHz,MATLAB版本为2014 a.
笔者对恢复出来的图片进行质量评价时,使用的是3种常用的评价方法,相对误差(RE)、峰值信噪比(PSNR)和信噪比(SNR),使用这3种方法[7]比较容易和其他算法进行对比.模糊信噪比[7](BSNR)为试验附加噪声.
采用交替方向乘子法去优化重叠组稀疏正则化模型时,为了验证正项惩罚参数σ对复原图片性能的影响,笔者选取图片Goldhill在模糊核1附加BSNR=40的零均值高斯噪声情况下,绘制了信噪比在不同σ值的曲线,具体如图2所示.
图2 不同σ值复原图片的SNR值
Fig.2 SNR values of the picture at different
σ values
由图2可知,不同σ对复原图片的SNR影响是至关重要的,即使σ发生非常微小的变化也能对复原结果产生巨大的影响.通过手动调节σ不仅费时,而且不易找出最佳σ值.所以笔者提出一种自适应调节方法,在迭代过程中根据复原图片fk和fk+1进行实时的调节,这样不仅易于操作,而且复原效果更好.
为了验证自适应步长的复原效果,笔者对不同尺寸图片进行了仿真,模糊和复原效果如图3所示.图3(a)、3(c)中依次为模糊核1至4,Gold-hill、Lena的退化图像,对于每种模糊类型都加入了BSNR=40的零均值高斯噪声.图3(b)、3(d)为相应的复原效果图.从人眼感官上,复原出的图片既保留了边缘特性又消除了阶梯效应,对于不同尺寸的图片在不同模糊类型和不同模糊核上均取得了较好结果.
为了验证笔者所提算法的优越性,依次用算法Fast-TV、TVFN、OGSATV-ADM4和本文算法对不同尺度图片在不同模糊类型和不同模糊核下,对复原图片进行了对比,对比结果如表1所示.由表1可知,笔者所提算法的PSNR、SNR和RE均优于其他算法,不过在复原时间上略长于Fast-TV和OGSATV-ADM4,但保证了复原效果.
图3 Goldhill和Lena不同模糊和复原图片
Fig.3 Different blur and restore pictures of Goldhill and Lena
为进一步验证笔者所提方法的优越性,选取Goldhill在模糊核1情况下,各算法的迭代结果对比如图4所示.笔者算法在获取最佳结果时迭代次数最少,证明了所提算法加速过程的有效性.由于Fast-TV、TVFN、OGSATV-ADM4和笔者算法辅助变量储存空间[16]依次为O(5 mn)、O(6 mn)、O(6 mn)和O(8 mn),所以笔者算法在自适应迭代过程中消耗一些时间.
各算法的计算时间迭代结果如图5所示.由图5可知,笔者算法获得最佳结果的计算时间略长,然而所提算法本身具有加速过程且复原结果具有很大提升,即使相比原算法多用0.14 s也是具有研究价值的.
各算法在不同模糊情况下的复原效果如图6所示.图6选取Goldhill在模糊核1和Lena在模糊核4情况下的模糊图片.在图6第一行中,我们可以观察到Fast-TV和TVFN在箭头所指处都产生了块状效应即阶梯效应,OGSATV-ADM4在一定程度上避免了阶梯效应.笔者所提算法不仅避免了阶梯效应,而且相比OGSATV-ADM4更符合人眼观测效应.
图4 Goldhill SNR在迭代次数上的迭代结果
Fig.4 The SNR iteration results of Goldhill
over iterations
图5 Goldhill SNR在计算时间上的迭代结果
Fig.5 The SNR iteration results of Goldhill
over time
表1 4种方法与不同模糊核的性能对比
Tab.1 Comparison of the performance of four methods with different blurring kernel
图片模糊核GoldhillLena模糊核1模糊核2模糊核3模糊核4模糊核1模糊核2模糊核3模糊核4Fast-TVTVFNOGSATV-ADM4笔者算法PSNR/dB30.7730.0534.1631.0830.2229.4135.0932.19SNR/dB24.4123.9427.7924.4423.0622.2327.4024.93RE0.0630.0670.0450.0600.0700.0770.0430.057时间/s2.963.551.742.661.231.791.131.25PSNR/dB30.9530.3234.3731.2430.4729.5035.3432.31SNR/dB24.6823.9927.9324.5923.2522.3027.6925.02RE0.0600.0650.0430.0590.0690.0750.0400.056时间/s3.915.352.614.082.113.371.741.86PSNR/dB31.1430.6034.5831.3330.6330.1235.7832.38SNR/dB24.7724.2328.2224.9623.7923.2228.8725.47RE0.0580.0610.0390.0560.0670.0690.0360.053时间/s3.073.751.813.011.492.081.351.61PSNR/dB32.0030.7735.4632.2431.4630.5236.3533.47SNR/dB25.6324.4029.1025.8724.5523.6229.4426.56RE0.0520.0600.0350.0510.0590.0660.0340.047时间/s3.213.961.933.141.582.151.461.68
图6 算法对比
Fig.6 Algorithm comparison
在图6第二行中,我们可以观察到,在箭头所指处笔者所提算法更加清晰,并且在对图片放大时对比算法都不同程度地产生了阶梯效应.通过试验证明,所提算法对不同尺度的图片在不同模糊类型和不同的模糊核下复原效果均优于对比算法,不仅恢复出了很好的边界,而且能够很好地避免阶梯效应.
笔者研究了基于重叠组稀疏全变差正则化的图像去模糊算法.为了解决相应的最小化问题,提出了一种自适应交替方向乘子算法来求解该模型,该方法在复原图片的过程中根据复原情况能够实时地调节ADMM的惩罚因子.通过试验证明该方法的有效性.与其他算法相比具有较高的峰值信噪比和信噪比,并且具有较小的相对误差.笔者提出的算法不仅能够保存边缘特性,而且能够避免阶梯效应.由于笔者所研究算法是非盲去模糊方法,在未来工作中可能把此算法扩展到盲去模糊问题中.
[1] 王东署,谭达佩,韦晓琴.基于发育网络的人脸朝向识别研究[J]. 郑州大学学报(工学版), 2016, 37(5): 23-27.
[2] 杨文柱,刘晴,王恩东,等.基于深度卷积神经网络的羽绒图像识别[J]. 郑州大学学报(工学版), 2018, 39(2): 11-17.
[3] BESAG J, YORK J, MOLLIE A. Bayesian image restoration, with two application in spatial statistics[J]. Annals of the institute of statistical mathematics,1991,43(1):1-20.
[4] RUDIN L, OSHER S, FATEMI E. Nonlinear total variation based noise removal algorithms[J]. Phys d,1992(60): 259-268.
[5] LYSAKER M, LUNDERVOLD A, TAI X C. Noise removal using fourth order partial differential equation with applications to medical magnetic resonance images in space and time[J]. IEEE Transactions on image processing, 2003, 12(12): 1579-1590.
[6] CHAN T F, MARQUINA A, MULET P. High-order total variation-based image restoration[J]. SIAM Journal on scientific computing, 2000, 22(2): 503-516.
[7] HUANG Y, NG M K, WEN Y W. A fast total variation minimization method for image restoration[J]. Multiscale model simul, 2008,7(2): 774-795.
[8] LIU J, HUANG T Z, SELESNICK I W, et al. Image restoration using total variation with overlapping group sparsity[J]. SCI Inf, 2015, 295(C): 232-246.
[9] SHI M, HAN T, LIU S. Total variation image restoration using hyper-lapacian prior with overlapping group
sparsity[J].Signal processing, 2016(126): 65-76.
[10] BAI M, ZHANG X, SHAO Q. Adaptive correction procedure for TVL1 image deblurring under impulse noise[J]. Inverse problem, 2016, 32(8): 085004.
[11] 赖明倩, 蔡光程. 基于交替方向乘子的全变差图像复原[J]. 计算机技术与发展, 2017,27(4): 60-63.
[12] SELESNICK I W, CHEN P Y. Total variation denoising with overlapping group sparsity[C]. IEEE ICASSP, 2013: 5696-5700.
[13] CHAN R H, MA J. A multiplicative iterative algorithm for box-constrained penalized likelihood image restoration[J]. IEEE Image process, 2012, 21(7): 3168-3181.
[14] BOYD S, PARIKH N, CHU E. Distributed optimization and statistical learning via the alternating direction method of multipliers[J]. Trends Mach, 2011, 3(1): 1-122.
[15] LIU G, HUANG T Z, LIU J, et al. Total variation with overlapping group sparsity for image deblurring under impulse noise[J]. SCI CG1EL, 2015, 10(4): e0122562-e0122562.
[16] WEN Y W, CHAN R H, ZENG T Y. Primal-dual algorithms for total variation based image restoration under Poisson noise [J]. Science China mathematics, 2016, 59(1): 141-160.