电脑凹陷修复到底怎么样(虹膜纹理修复：电脑能“魔术般”恢复被眼睫毛遮挡的虹膜图像吗？)
引言
自从1993年开创性研究以来，使用近红外成像在受控环境中进行虹膜识别取得了显著进展。为了使这种诊断方式成功，
患者必须遵守正确捕捉虹膜图像的规则，例如站在正确的位置，并保持与摄像机的眼神接触，不要眯眼。目前虹膜识别系统已广泛应用于多种场景，
如国际边境控制、银行ATM的访问安全、生物识别认证的电子护照、法医调查、智能手机认证、计算机登录和汽车防盗技术。在这些场景中，大多数虹膜图像都是从非合作状态的被试者中获取的。
在不受控制的情况下或在无法获得个体合作的情况下，由于引入了运动模糊、镜面反射和模糊质量等噪声，虹膜图像的清晰度和准确性通常会降低，还可能受到睫毛和眼睑遮挡、非正面视角等因素的影响，从而最终降低识别性能。
?虹膜图像修复的计算机建模与模拟方法
本文提出了一种基于深度学习的端到端方法，用于修复被遮挡的虹膜纹理，以丰富虹膜纹理信息并提高虹膜识别的准确性。
图像修复方法可以广泛分为非语义和语义方法。非语义方法的核心思想是利用图像中已知的信息来扩散或填充区域以实现修复。
较主流的非语义方法包括基于总广义变差的方法、多金字塔局部补丁统计稀疏表示、基于分数阶非线性扩散驱动的微分曲率、基于域分解类型的数值算法以及其他图像修复算法。
这些方法在对有小缺失区域或无复杂结构的图像进行修复时效果良好，但对于有较大缺失区域或更复杂纹理信息的图像通常会出现模糊现象。
语义方法，也称为基于学习的图像修复技术，利用深度学习来捕捉有关图像的高语义信息，包括物体的位置、形状、颜色和纹理。通过这种数据分布，掩蔽的区域被填充并恢复规则。主流的语义方法可以分为两种类型：基于卷积神经网络和生成对抗网络的方法。
最近有关基于CNN的图像修复的研究由郑等人进行，他们提出了一种非局部基于补丁的全连接张量网络分解方法，用于多光谱图像修复。
提出了一种生成网络，其计算要求很低，用于图像修复以增强特征对比度,创造了一种突破性的神经算法，利用欧拉弹性来进行图像修复，并应用变分能量作为神经网络损失。
在最近的基于GAN的图像修复研究中，王等人开发了一种端到端框架，称为自动连续感知转换GAN，用于自动盲目地进行序列图像修复。
郑等人提出了一个编码器，配备了傅里叶卷积块，使其能够从具有缺失区域的输入图像中提取多尺度特征表示，并且提出了一个双流解码器，其中包含一种新的级联全局空间调制块，用于级联调制GAN。
陈等人提出了一种创新的多尺度补丁GAN系统，实现了边缘检测图像修复。在面部识别、医学和自然场景等各个领域的图像修复研究结果表明，GAN-based图像修复在每个领域都取得了比其他方法更好的结果。
由于虹膜图像修复研究相对较为不成熟，而虹膜具有独特的"多自由度"拓扑结构和"高熵"随机纹理，一些基于深度学习的虹膜修复方法无法充分利用全局信息，生成的图像仍然存在失真、噪声、模糊等问题。
本文提出了一种两阶段的深度残差注意-GAN，第一阶段采用粗糙修复网络来帮助模型定位修复区域和生成粗糙纹理，第二阶段采用精细修复网络来生成细致的虹膜纹理。
在精细修复网络中，我们使用改进的残差块作为模型的编码层，更全面、有效地提取虹膜纹理特征，并使用新的跳跃连接模块实现高、低层特征的语义和空间信息的融合。
TSDRA-GAN虹膜纹理修复的深度建模与模拟方法
提出了首个用于修复被眼睑和眼睫毛遮挡的虹膜纹理的TSDRA-GAN方法。该方法的两阶段粗-细生成方法确保了生成图像的全局和局部一致性，并在一定程度上改善了生成图像的纹理失真和模糊问题。
提出的方法真正实现了对原始虹膜图像的纹理修复，而不是生成与原始图像一致的图像，这与现有虹膜图像修复研究在本质上是不同的。
为TSDRA-GAN的编码阶段提出了改进的深度残差块。该深度残差块在正常残差块的基础上重新使用了中间层特征，避免了由于网络过深而导致的性能下降。
提出了一种新的双效注意计算模块。该模块结合了两种注意机制，更有效地融合了高、低层特征的语义和空间信息，避免了由最大池化操作引起的信息丢失和低分辨率信息过多传递的问题。
相关工作方面，基于深度学习的虹膜识别通常包括三个部分：虹膜分割、标准化和虹膜识别，虹膜分割和虹膜识别是两个不可或缺的主要任务，标准化非连接低质量的虹膜图像引入了更多的非虹膜信息，影响了识别准确性。
一些学者提出了不需要标准化的虹膜识别方法，而每种类型的虹膜信息缺失的低质量虹膜图像修复逐渐成为研究热点。
根据虹膜纹理丢失的类型，当前的虹膜图像修复算法可以广泛分为边缘纹理修复和内部纹理修复算法。
Chen等人提出了一种基于U-Net优化的鉴别器GAN用于修复缺乏边缘纹理的虹膜图像，通过提供全局图像反馈来保持合成图像的全局一致性。
Zeng等人提出了一种逐渐训练生成高分辨率图像的GAN-based虹膜图像修复网络，从低分辨率图像开始逐步生成高分辨率图像。Zhang等人提出了一种双向虹膜修复的区域注意机制指导的方法，用于修复光斑遮挡的虹膜纹理。
Lee等人提出了一种基于GAN的虹膜图像去模糊算法，用于增强虹膜图像质量。
关于残差结构和注意力模块方面，网络模型的深度对其性能有着关键影响。理论上，网络越深，特征提取能力越强；
当网络的深度达到一定水平时，模型的效果近似饱和甚至下降。过深的网络可能遇到梯度消失或梯度爆炸的问题。为了解决这个问题，何等人提出了残差学习的思想，这在很大程度上缓解了训练深度神经网络的困难。
我们加深了标准残差块的结构深度，并重新使用了改进的残差块的中间层特征，避免了由于网络过深导致的性能下降。
Li等人提出了引入上下文注意模块来改进生成图像的全局和局部语义一致性。Cha等人提出了动态注意模块，以减少由于生成图像中虚假纹理引起的像素不一致问题。
Mao等人提出了一种自注意模块，用于提取图像局部特征的自相似性。根据虹膜图像的特点，我们提出了一种双效注意计算模块，结合了挤压激励和空间注意两种注意机制，其中SA可以有效学习要修复区域的位置信息。
SE可以有效学习完整区域的特征信息，并用于修复缺失区域。这两个模块使得模块能够更有效地提取和融合高、低层特征的语义和空间信息，并避免了最大池化操作引起的信息丢失和低分辨率信息过度传递的问题。
虹膜图像修复与识别中的深度建模与模拟方法评估与优化
经过数据预处理，选择具有相对完整虹膜区域的虹膜图像作为三个数据集中的训练控制学习组。具体而言，分别从IITD、CA4I和ND-IRIS-0405数据集中选择了229、367和2480张图像。
在从IITD和CA4I数据集中选择的虹膜图像上进行了8倍的数据扩展，并在从ND-IRIS-0405数据集中选择的虹膜图像上进行了2倍的数据扩展。
为了模拟现实场景中的睫毛遮挡情况并丰富数据多样性以提高测试性能，我们应用了三种类型的遮罩图像，如图4所示，通过观察实验所用数据集的虹膜图像特征，将扩展后的数据逻辑地与三种类型的遮罩图像结合起来。
获得最终的训练数据，其中IITD、CA4I和ND-IRIS-0405数据集分别包含6183、9909和14880个样本。
表示的修复图像尽管在所有三个数据集中部分虹膜纹理被睫毛和眼睑遮挡，但图像的纹理更清晰，轮廓更精细，比粗糙恢复图像更好。
恢复区域的虹膜纹理不是完整区域中存在的虹膜纹理的片段，恢复区域与完整区域之间没有明显的颜色差异，恢复标记非常微妙，纹理失真得到了很大改善。
修复区域的虹膜纹理不是杂乱的，而是与完整虹膜纹理自然一致，虹膜纹理的方向符合“瞳孔附近的径向排列和周边的圆形排列”的生物模式。
除了主观评价，还选择峰值信噪比和Fréchet初始距离作为恢复实验的客观评价指标，其值从预处理图像和修复图像计算得出。IITD、CA4I和ND-IRIS-0405数据集的恢复图像的PSNR值分别为22.201、21.857和24.402，FID值分别为28.229、16.313和42.635。
为了确认TSDRA-GAN获得的修复图像在识别准确率方面的改善，将修复图像和原始图像分别进行相同的虹膜识别实验，并选择在0.1%的假接受率下的等误差率和真接受率作为识别评价指标。
不同类型图像在三个数据集下的接收器操作特征曲线和识别度量结果分别在。显示了Ablation1的比较实验结果，包括从预处理图像和修复图像得出的ROC曲线以及EER和TAR值。
预处理增加了整个图像中虹膜区域的比例，即前景比例增加，背景比例减少，有利于网络的特征提取，从而提高了识别率。
在三个数据集中，修复图像在每个指标上均以不同程度优于预处理图像，中用红线表示的修复图像的识别准确率高于用蓝线表示的预处理图像。
可以得出以下两个结论：增加图像中前景的比例可以在一定程度上提高识别率；由TSDRA-GAN获得的修复图像具有比预处理图像更高的识别准确性，从而证实了其修复的有效性。
显示了Ablation2、Ablation3和Ablation4的修复实验效果。表示三个数据集的TSDRA-GAN获得的修复图像。、和表示Ablation2获得的Inpainting_sc图像。
、和表示Ablation3获得的Inpainting_cbam图像。、和表示Ablation4获得的Inpainting_sa图像，在相同的实验配置下，TSDRA-GAN获得的修复图像的图像质量在不同程度上优于Ablation2、Ablation3和Ablation4获得的修复图像，
并且在图中用虚线框标出了Inpainting_sc、Inpainting_cbam和Inpainting_sa图像与修复图像之间的不足之处。
在IITD数据集中，的Inpainting_sc图像容易出现白点。和表示的Inpainting_cbam图像和Inpainting_sa图像容易出现不完全修复和边缘粗糙。在CA4I数据集中，和容易出现边缘毛糙和过度修复，容易过度修复。
在ND-IRIS-0405数据集中，、和都容易出现不完全修复和内部凹陷。从视觉效果上看，TSDRA-GAN获得的修复图像的图像质量优于其他三种类型的图像。
显示了四种类型图像的PSNR和FID值。三个数据集的修复图像在PSNR指标方面优于Inpainting_sc图像、Inpainting_cbam图像和Inpainting_sa图像。
IITD和CA4I数据集的Inpainting_cbam图像在PSNR指标上略优于修复图像，修复图像在FID指标上优于Inpainting_sa图像。ND-IRIS-0405数据集的修复图像在四种类型的修复图像中表现最好。
综合视觉效果和修复评价指标表明，修复图像的恢复效果优于其他三种类型的图像。
为了进一步说明修复图像的优越恢复效果，对四种类型的修复图像进行了完全等效的识别实验，显示了三种类型图像的比较识别准确率。
在所有三个数据集中，由红线表示的修复图像的识别准确率均高于由绿线表示的Inpainting_sc图像、由黄线表示的Inpainting_cbam图像和由蓝线表示的Inpainting_sa图像。
三个数据集的修复图像的EER和TAR指标值是最优的，通过结合修复和识别实验，提出的DACC结构在虹膜图像修复任务上表现更好。
总结
我们提出了一种名为TSDRA-GAN的两阶段深度残差注意-GAN，用于修复被眼睑和眼睫毛遮挡的虹膜纹理。
值得注意的是，TSDRA-GAN的目标是修复原始虹膜图像，而不是在原始虹膜图像上人工创建残余纹理。
TSDRA-GAN采用了粗-细生成方法，在第一阶段进行虹膜纹理的轮廓修复和粗糙纹理修复，在第二阶段进行虹膜纹理的精细修复，两阶段生成方法确保了生成图像的语义和纹理信息的保留。
在精细网络的第二阶段，将残差结构作为编码器的一个组成部分，并对改进的残差块结构进行了进一步的特征提取，以减轻由于网络加深而引起的性能下降。
在这个阶段的跳跃连接部分，DACC对编码器和解码器的特征进行了双向计算融合，并根据它们不同的特点进行相关计算，以实现虹膜修复任务的更有效信息融合。
通过对三个公开可用的虹膜数据集进行广泛的定性和定量修复和识别实验，验证了所提出的修复方案的可行性和有效性。
对于虹膜图像修复任务，缺失的虹膜纹理有各种各样的形式，而当前主流的监督学习方法虽然在生成高质量图像方面效果较好，但需要有学习对象的存在。
在实际场景中，很难为每种缺失纹理产生控制学习组。因此，在虹膜图像修复中采用无监督学习方法，减少人为干预过程，将成为未来的主要研究方向。