融合人眼掩蔽效应和图像梯度的块效应评价方法

JPEG是广泛应用的图像压缩方式[1]，原理为分块离散余弦变换(DCT).在压缩时，图像会丢弃一些对图像质量影响不大的高频分量，导致恢复后的图像块边界出现不连续的跳变，即块效应(如图1所示).

根据对原始图像的依赖程度，块效应评价算法主要分为：全参考(FR)、部分参考(RR)和无参考(NR)评价方法.FR和RR主要是将原始图像和退化图像之间的差异进行量化，并将量化结果作为评价指标.常见的评价指标有结构相似度指标(SSIM)、感知相似度指标(PSIM).PSIM是Gu等[2]综合考量图像的多尺度梯度、色彩信息以及视觉感知统计信息来评价图像质量.这两个指标的优点在于运算时间短，但是在多数的实际应用中，原始图像的信息都是无法获取的.

相比FR、RR，NR因不需要原始图像信息而被大量的学者所研究.根据图像中存在的失真类型数目不同，NR算法分为特定失真块效应评价算法和非特定失真块效应评价算法.针对非特定失真的块效应评价算法进行研究时，Liu等[3]利用图像局部空间的光谱熵特征，采用支持向量机(SVM)来训练得到的特征，得到图像质量预测模型(SSEQ).当图片仅存在块效应失真时，这种方法可用于图像块效应评价，但是由于处理的图像失真种类较多，会影响到对图像块效应的评价.针对特定失真的块效应评价算法进行研究时，Ryu等[4]利用局部小波系数和显著性的边缘分布信息(MDCS)来评价图像中的块效应，这种方法能够实现对块效应的准确定位.但是由于忽略了人类视觉系统(HVS)的特性，评价结果不能很好地与人类主观评价保持一致.针对上述算法的不足，王璐烽等[5]认为，图像块效应不仅能反映在图像的真实结构上，也能反映在图像的伪结构上，因此提出利用图像伪结构并结合HVS的亮度特性的算法，采用SVM训练该特征得到块效应评价模型(BAML).由于HVS系统的特性有许多，如何合理地将其结合到块效应的评价算法中是当前研究的重点和难题.

笔者提出了一种无参考的特定失真图像块效应评价算法.首先，基于图像块边界处像素点的梯度信息直方图，测量发生块效应边界的位置和强度；然后，结合人眼对图像纹理和亮度的掩蔽效应，得到图像块效应评价指标.该方法简单高效，与人类主观评价具有较高的单调一致性.

1 算法描述

本文算法流程如图2所示.首先,根据图像块边界处像素点梯度值，对边界发生块效应的位置以及强度进行检测，得到图像块效应映射图.第二，对图像的亮度掩蔽效应和纹理掩蔽效应进行检测.依据图像块的DCT系数，将图像块B分为平缓块(W)、纹理块(T).基于人眼对不同图像块的失真敏感性存在差异的特点，对图像纹理掩蔽效应进行检测；亮度掩蔽效应的检测是通过计算图像块的背景亮度来完成的.第三，采用非线性的方法将图像的纹理和亮度掩蔽效应叠加起来得到图像综合掩蔽效应图.最后，将图像的块效应映射图和综合掩蔽效应图可视化结合起来，得到与HVS感知相一致的图像显著性块效应映射图，并使用Minkowski[6]方法计算得到块效应的综合评价指标.笔者主要以图1(b)为例进行算法说明.

1.1 图像块效应映射图

目前，图像中发生块效应的边界主要是依据图像块边界两侧的两个像素点灰度值的变化实现检测[7-8]，但是这种方法无法检测到跨度超过两个像素点的灰度值变化.笔者利用图像块边界像素点的梯度来反映边界灰度值变化情况,选择常用的Sobel(3×3)算子计算图像梯度.

假设P为原始图像处理后的梯度映射图，P(α,β)表示横坐标为α、纵坐标为β的像素点；M×N表示选定的图像块尺寸，定义以下符号：

其中，a=

, b=

, i=α-aM,j=β-bN，

式中：a、b是图像块索引；i、j是块(a,b)内像素点索引.

JPEG压缩采用8×8的DCT，因此式(1)中M、 N都取为8.笔者仅以水平块边界为例进行详细的算法说明，垂直块边界采用相同的处理方式.

定义

是沿着(a,b)块的底部水平边界，为位置i处的上边界与下边界预处理结果的和，具体计算如下：

文献[7-8]根据像素绝对值差的直方图，确定图像块效应的参考强度(记为K)，笔者在此基础上进行了改进，预处理时块边界处的像素绝对值差经过Sobel运算时增加4倍，并且每一个

为上边界和下边界预处理结果的和，因此

等于对应位置像素绝对值差的8倍.这表明在

直方图中，水平坐标小于8的

对应的位置代表的是图像平滑区域.以

直方图中水平坐标8右边区域中最高峰值的水平坐标作为水平块效应参考强度(KH).考虑到发生块效应的边界连续性，将满足条件

(i=1,…,6)对应的像素点位置，标记为发生块效应的边界. 如图3所示(白色部分表示不存在块效应，黑色的深浅代表块效应的强弱)，本文算法相比改进前的方法，能够识别到更多发生块效应的图像块边界.

1.2 图像的纹理掩蔽效应

根据图像DCT的原理，可以将图像块B分成W和T. HVS对纹理区的掩蔽效应要强于平缓区.根据DCT的特点，将8×8图像块DCT后的系数划分成如图4所示的4个指示性区域[9]，分别用符号S(黑色区域)、L (蓝色区域)、R(红色区域)和Y(黄色区域)表示.笔者用区域R和Y的DCT域能量作为图像块的分类指标,图像块B的分类如下：

式中：B表示横坐标为a、纵坐标为b的图像块；ER(a,b)、EY(a,b)分别表示B在对应区域R、Y的DCT域能量；阈值Er为DCT域能量阈值，取960.

分类完成后，采用结合尺度因子的线性归一化方法计算图像块的纹理掩蔽效应：

式中：ET(a,b)为B的纹理掩蔽能量；EJ(a,b)= ER(a,b)+EY(a,b)，代表B的交流能量；Emin和Emax为整幅图像中所有纹理块的交流能量最小值和最大值；t为尺度因子，取2.25.

如图5(a)所示为“woman”纹理掩蔽效应图，从中可以发现,“woman”的帽子以及围巾部分，显示出了较强的纹理掩蔽效应；图像背景以及“woman”的肩膀等图像的平滑区域部分不存在纹理掩蔽效应.

1.3 图像亮度掩蔽效应

文献[10]表明，图像中较亮或者较暗的区域会有较强的亮度掩蔽效应，而亮度适中的区域对应的亮度掩蔽效应相对较弱. 为了更加符合HVS的特点，笔者计算图像块边界处像素点的亮度掩蔽效应时，对文献[10]中的方法进行改进，将块边界相邻的两个图像块DCT变换后的区域S的DCT域能量均值作为图像的背景能量，具体计算如下：

式中：EL(a,b)为图像块B的亮度掩蔽能量;EZ(a,b)=[ES(a,b)+ES(a+1,b)]/16, 表示B的背景能量.其中， ES(a,b)、 ES(a+1,b)为图像块B以及相邻的图像块在S区域的DCT能量.

如图5(b)所示，“woman”中亮度值较大的帽子、围巾以及亮度较暗的眼睛部分显示出了较强的亮度掩蔽效应.

1.4 图像块效应的强度估计

因为同一个图像块同时存在纹理和亮度两种掩蔽效应，笔者采用式(5)所示的方法进行两种掩蔽效应的结合，得到图像块的综合掩蔽效应：

EO(a,b)=λ×ET(a,b)+EL(a,b)-

ξ×min{λ×ET(a,b),EL(a,b)}，

式中：EO(a,b)、EL(a,b)、ET(a,b)分别为B的综合掩蔽能量、亮度掩蔽能量、纹理掩蔽能量；λ为纹理掩蔽效应的权重系数，取10；ξ为增益衰减因子，ξ∈(0,1)，取0.3.

笔者采用可视化的方法将图像块效应映射图与综合掩蔽效应结合得到图像显著性块效应，具体方法如下：

对比图3(b)和图6有助于理解可视化结合方法.如果直接利用图3(b)进行图像块效应的评价指标计算，会与HVS感知有较大的偏差.采用HVS感知图像块效应时，对于“woman”的帽子以及围巾部分的块效应是不敏感的，如果把它们同“woman”的背景部分看成同等权重进行块效应计算是不合理的.相比于图3(b)的效果，在结合人眼掩蔽效应之后，可以获得与HVS感知一致性更高的图像块效应映射图，如图6所示.

笔者采用了Minkowski[6]方法对整幅图像所有图像块计算，得到水平和竖直两个方向的Sa,b(i),进行求和得到图像的块效应评价指标Q：

式中：A、B表示图像共有A行和B列个像素点；θ=2～4，称作Minkowski指数[6]，主要突出Sa,b(i)中的较大的数值，从而更符合HVS对于块效应更强的边界关注度更高的特点，本文中θ=2.

2 试验结果分析

为了验证笔者提出的算法性能的优劣，在图像质量评价数据库IVC[11]、LIVE[12]、TID 2008[13](表1)中，进行9种图像块效应评价算法的对比.

9种算法为全参考图像质量评价的PSNR(峰值信噪比)、PSIM[2]算法以及常用的无参考块效应评价算法，如BRISQUE[14-15]、SSEQ[3]、JQS[16]、SHMCD[17]、MDCS[4]、BAML[5]、NBM[7].

笔者主要对比图像块效应评价指标与人类对图像质量的主观评价分数之间的SROCC[18] (spearman秩相关系数)和KROCC[18] (kendall秩相关系数)，这两个指标主要反映的是算法预测的单调性，取值范围在[0,1].其取值越接近1，表明算法的单调性越高，对应的评价性能越好.

表2给出了不同算法在3个数据库中的性能指标，对最优的评价值进行加粗处理.可以看出，本文算法获得了非常好的性能指标(由于BRISQUE、BAML和SSEQ算法使用LIVE图片进行训练，因此得到的评价指标没有实际意义，在表格中用“训练”代表)，尤其是在IVC和TID2008数据库上SROCC分别为0.950 8、0.942 1，KROCC分别为0.794 4、0.788 1.纵向来看，本文算法在3个数据库上都取得了最优的性能指标，并且远远高于全参考评价算法以及非特定的无参考块效应评价算法，相对特定失真的块效应评价算法JQS、SHMCD、NBM、MDCS、BAML也有不同程度的提升.这说明本文算法对于图像块效应的评价性能是非常有效的，与人类主观感知具有较高的单调一致性.

3 结论

对于图像块效应的评价，大多数算法都是在一种变换域(空域或者DCT域)上对图像进行分析.笔者提出的算法结合了图像在两种变换域上的信息，利用空域上的梯度信息获得图像块效应映射图，并利用DCT域上信息获得了HVS对图像的掩蔽效应，进而对块效应做出评价.通过在多个图像数据库中的仿真，发现该算法的评价结果与主观质量评价具有高度的单调一致性，比当前的主流块效应评价算法有了明显的提升.考虑到整个算法没有复杂的转换，且不需要原始图像，因此该算法可以用在无参考的图像质量评价体系中，对图像增强或者图像质量优化的参数选择有指导意义.

[1] 张卫党,吴琳.基于喷泉码及CDMA扩频的数字水印盲算法[J].郑州大学学报(工学版),2017,38(6):23-28.

[2] GU K, LI L D, LU H, et al. A fast reliable image quality predictor by fusing micro-and macro-structures[J].IEEE transactions on industrial electronics, 2017,64(5): 3903-3912.

[3] LIU L X, LIU B, HUANG H, et al. No-reference image quality assessment based on spatial and spectral entropies[J]. Signal processing: image communication, 2014, 29(8): 856-863.

[4] RYU S, SOHN K. Blind blockiness measure based on marginal distribution of wavelet coefficient and saliency [C]//IEEE International Conference on Acoutics Speech and Signal Processing. Vancouver, BC: IEEE, 2013:1874-1878.

[5] 王璐烽, 刘辉元. 基于机器学习的图像块效应盲评价算法[J]. 重庆邮电大学学报(自然科学版), 2014, 26(6):856-860.

[6] WINKLER S. Quality metric design: a closer look [C]//SPIE 3939 Human Vision and Electronic Imaging V. San Jose: SPIE, 2000: 37-44.

[7] ZHAI G, ZHANG W, YANG X, et al. No-reference noticeable blockiness estimation in images[J]. Signal processing: image communication, 2008, 23(6):417-432.

[8] LIEW A W C, YAN H. Blocking artifacts suppression in block-coded images using overcomplete wavelet representation[J]. IEEE transactions on circuits & systems for video technology, 2004, 14(4):450-461.

[9] TONG H H Y, VENETSANOPOULOS A N. A perceptual model for JPEG applications based on block classification, texture masking, and luminance masking[C]//1998 International Conterence on Image Processing. Chicago: IEEE, 1998: 428-432.

[10] CHOU C H, LI Y C. A perceptually tuned subband image coder based on the measure of just-noticeable-distortion profile[J]. IEEE transactions on circuits & systems for video technology, 1995, 5(6):467-476.

[11] CALLET P L, AUTRUSSEAU F. Subjective quality assessment IRCCyN/IVC database[DB/OL]. (2015-02-04).[2018-05-04].http://www.irccyn. ecnantes.fr/ivcdb/.

[12] SHEIKH H R, WANG Z, CORMACK L, et al.LIVE image quality assessment database Release2[EB/OL].(2005-06-16).[2018-05-04]. http://live.ece.utexas.edu/research/quality.

[13] PONOMARENKO N, LUKIN V, ZELENSKY A, et al.TID2008-A database for evaluation of full-reference visual quality assessment metrics[J]. Adv modern ra-dioelectron, 2009,10:30-45.

[14] MITTAL A, MOORTHY A K, BOVIK A C. Blind/referenceless image spatial quality evaluator[C]//2011 Conference Record of the Forty-fifth Asilomar Coference on Signals Systems and Computes. Pacific Grover, CA: IEEEE, 2011:723-727.

[15] MITTAL A, MOORTHY A K, BOVIK A C. No-reference image quality assessment in the spatial domain[J]. IEEE transactions on image processing, 2012, 21(12):4695-4708.

[16] WANG Z, SHEIKH H R, BOVIK A C. No-reference perceptual quality assessment of JPEG compressed images[C]//International Conference on Image Processing. Rochester, NY: IEEE, 2002: 477-480.

[17] LEE S, PARK S J. A new image quality assessment method to detect and measure strength of blocking artifacts[J]. Signal processing: image communication, 2012, 27: 31-38.

[18] 王志明. 无参考图像质量评价综述[J]. 自动化学报,2015,41(6):1062-1079.