数字图像修复技术用于艺术品复原以来,该技术得到了学术界和工业界的广泛关注,已成为图像处理领域的研究热点之一,在艺术品复原、影视特技、信息传输纠错、视频修复等方面具有广阔的应用前景。目前提出的图像修复方法数量较多,其中Criminisi提出的样本块技术,因其修复过程简单、填补效果好、能同时修复纹理和结构,已成为一种经典的方法。但是该方法也存在优先权计算不合理、样本块搜索耗时、样本块的匹配不准确、填补后出现块效应等问题,尽管有些学者对其不断进行改进,仍然还存在着优先权获取不准确、样本块匹配约束性不足、样本块遍历范围小、候选块挑选不理想、块效应处理比较简单、对多分辨率图像的资源利用不充分等问题,因此,还需要更进一步探究。本文以Criminisi提出的样本块技术为修复主框架,在其基础上进行了一系列优化:用多分辨率图像特征获取更精确的优先权;加入梯度或边界约束,提高样本块最优匹配;缩小遍历范围且采取并行搜索,以减少时间消耗;利用图割技术消减块效应;兼顾纹理和结构内容更准确获取样本块大小;应用多分辨率图像逐层引导修复,达到全局和局部填补的一致性;充分利用多分辨率图像资源优选更合适的样本块;在深度卷积生成对抗网络中加入梯度约束,提升语义修复质量。通过对以上问题的深入研究并进行实验分析,我们提出的改进的样本块修复技术在一定程度上能提高图像修复质量和效率。主要工作如下:(1)提出了基于样本块尺度自适应选择的图像修复方法。图像中的噪声点影响梯度值,进而使数据项的获取产生误差,导致得到的优先权值不准确,引起修复次序出错。我们利用三层不同分辨率图像的特征得到数据项,增强了数据项计算的稳定性。以纹理库图像Brodatz作为分析对象,提取24个特征值训练神经网络,预测纹理样本块的大小;通过提取结构张量特征值,进而确定结构项,再拟合得到结构样本块的大小;由这两种样本块尺寸共同确定最佳样本块的大小。实验发现,在7×7至17×17之间挑选样本块的大小比较合适。通过对结构和纹理图像的实验分析,表明该技术具有很好的修复能力。(2)提出了基于整体引导式分层图像修复算法。根据图像尺寸和样本块大小自动计算图像分解的层数;将图像分解为多分辨率图像后,先实施顶层修复,再逐步利用各层修复的结果引导下层修复。整体引导使得下层图像的修复具有先前的引导信息,从而使各层的样本块匹配更加准确;在其它层(除顶层外)的修复中加入梯度距离搜索相似样本块,使选取的样本块更准确。实验表明,在修复具有简单纹理和结构的图像时,该方法可以取得满意的修复效果。(3)提出了基于筛网型引导式分层图像修复方法。采用整体引导式方法修复比较复杂的纹理区域时,因采取上采样操作,图像会出现一定的模糊性。为解决此问题,提出了筛网型引导式修复方法。在顶层修复后,上采样通过隔行隔列的0填补,只使用部分信息引导下层修复,与整体引导式修复算法相比,筛网型引导式方法可以去除模糊带来的副作用。由于图像中可能存在旋转或翻转的样本资源,考虑在多种旋转和翻转情况下进行搜索,使得图像的搜索更加精确。通过当前层和其上层图像获取其它层(除顶层外)图像的数据项,得到的优先权值更合理。存在多个候选样本块时,利用SSIM(Structural Similarity Index Measurement)进行筛选,以挑选出更相似的样本块。(4)提出了基于多分辨率图像特征和图割技术相结合的图像修复方法。将图像分解后得到多个不同尺度的图像,扩展了图像的样本资源,搜索这些资源可以找到更加相似的样本块。为了加快图像的搜索速度,在填补块周围进行搜索,减小搜索的范围。加入SSIM评价筛选样本块,同时用图割技术消减填补产生的块效应。实验验证了该图像修复技术的有效性。(5)提出了基于深度卷积生成对抗网络的图像修复方法。用基于样本块的技术修复图像时,在样本资源不足的情况下,无法找到合适的样本块,从而导致修复不能满足要求。为解决这个问题,采用DCGAN(Deep Convolutional Generative Adversarial Network)网络结构,在填补区域的周围加入梯度损失约束促使填补结果更符合视觉一致性。该方法具有语义修复的能力,将其与传统的图像修复方法和其它深度神经网络相比,实验结果表明了该方法具有不错的修复效果。
| [1] 自适应多分辨率方法在反应多相流数值模拟中的应用[J]. 计算物理 2020(06) |
| [2] 多分辨率曝光融合在安卓平台上的实现[J]. 电脑知识与技术 2016(32) |
| [3] 一种多分辨率雷达仿真平台的设计与实现[J]. 现代防御技术 2015(02) |
| [4] 基于多分辨率融合深度学习网络的视网膜病变分割[J]. 现代计算机 2021(05) |
| [5] 基于多分辨率半边的全球多尺度地形无缝建模[J]. 测绘学报 2020(08) |
| [6] 实时交互的多分辨率洪水演进模型[J]. 灌溉排水学报 2011(04) |
| [7] 曲线的一类非线性多分辨率算法及其收敛性[J]. 高校应用数学学报A辑 2008(01) |
| [8] 多分辨率特征注意力融合行人再识别[J]. 中国图象图形学报 2020(05) |
| [9] 列车运行控制系统多分辨率模型描述方法研究[J]. 铁道学报 2014(11) |
| [10] 多分辨率三角网格基础上的区域分割[J]. 中国机械工程 2009(09) |
| [11] 辛时域多分辨率算法在波导结构仿真中的应用[J]. 电波科学学报 2021(01) |
| [12] 基于多分辨率残差网络的心肌梗死定位识别研究[J]. 生物医学工程研究 2019(04) |
| [13] 基于优化辛时域多分辨率算法的光子晶体传输特性分析[J]. 激光与光电子学进展 2020(13) |
| [14] 图像多分辨率表示方法概述[J]. 数字技术与应用 2018(02) |
| [15] 实体模型的多分辨率中轴生成[J]. 计算机辅助设计与图形学学报 2015(06) |
| [16] 采用多分辨率运动先验的地面目标稳定跟踪[J]. 光电工程 2013(05) |
| [17] 多分辨率社团结构挖掘在故障定位中的应用[J]. 振动与冲击 2012(06) |
| [18] 基于多分辨率聚类的云制造任务分配[J]. 计算机集成制造系统 2012(07) |
| [19] 多分辨率物流选址系统研究[J]. 物流科技 2011(05) |
| [20] 基于二代小波的曲线多分辨率表示[J]. 福建电脑 2011(10) |
| [21] 基于双因子定价模型的投资组合风险价值的多分辨率特征研究[J]. 数学的实践与认识 2010(22) |
| [22] 基于小波分析的多分辨率地形模型生成算法研究[J]. 西北工业大学学报 2009(01) |
| [23] 基于多分辨率局部与全局特征融合的人脸识别[J]. 计算机工程与设计 2018(09) |
| [24] 结合最佳缝合线和多分辨率融合的图像拼接[J]. 中国图象图形学报 2017(06) |
| [25] 中国航空网络的多分辨率小波分解研究[J]. 西南交通大学学报 2013(01) |
| [26] 基于传播子技术的辛时域多分辨率方法[J]. 电子学报 2012(05) |
| [27] 结合遗传分割的多分辨率预测匹配算法[J]. 小型微型计算机系统 2010(03) |
| [28] 一种新型的快速多分辨率频谱感知电路设计[J]. 复旦学报(自然科学版) 2010(06) |
| [29] 面向螺丝锁附序列的多分辨率融合卷积神经网络[J]. 西安交通大学学报 2020(03) |
| [30] 多分辨率三维地理数据采集[J]. 电脑迷 2018(11) |
