图像质量和美感的量化一直是图像处理和计算机视觉领域的一个长期问题。技术质量评估涉及测量像素级的劣化，例如噪声、模糊、压缩伪影等，而美感评估则捕捉与图像中的情感和美感相关的语义级特征。最近，使用人工标记数据训练的深度卷积神经网络(CNN) 已用于解决特定类别图像（例如风景）的图像质量的主观性。然而，这些方法的范围可能有限，因为它们通常将图像分为低质量和高质量两类。我们提出的方法可以预测评级的分布。这可以实现更准确的质量预测，与真实评级的相关性更高，并且适用于一般图像。
在“ NIMA：神经图像评估”中，我们引入了一个深度 CNN，它经过训练可以预测普通用户会将哪些图像评为好看（技术上）或有吸引力（美学上）。NIMA 依赖于最先进的深度物体识别网络的成功，建立在它们能够理解物体的一般类别（尽管存在许多变化）的能力之上。我们提出的网络不仅可用于可靠地、与人类感知高度相关的图像评分，而且还可用于各种劳动密集型和主观任务，如智能照片编辑、优化视觉质量以增加用户参与度或最小化成像管道中感知到的视觉错误。
背景
一般来说，图像质量评估可以分为全参考和无参考方法。如果有参考“理想”图像，则可以开发图像质量指标，如PSNR、SSIM等。当没有参考图时，“盲”(或无参考)方法依靠统计模型来预测图像质量。这两种方法的主要目标是预测与人类感知高度相关的质量分数。在深度 CNN 方法的图像质量评估中，通过在对象分类相关数据集(例如ImageNet )上进行训练来初始化权重，然后在带注释的数据上进行微调以执行感知质量评估任务
典型的美学预测方法将图像分为低/高质量。尽管训练数据中的每张图像都与人工评分的直方图而不是单个二进制分数相关联，但情况仍然如此。评分直方图是图像整体质量以及评分者之间一致性的指标。在我们的方法中，NIMA 模型不会将图像归为低/高分或回归到平均分，而是为任何给定的图像生成评分分布 - 在 1 到 10 的范围内，NIMA 为每个可能的分数分配可能性。这更直接符合通常捕获训练数据的方式，并且与其他方法相比，它可以更好地预测人类偏好（更多详细信息请参阅我们的论文）。然后可以使用 NIMA 矢量分数的各种函数（例如平均值）对照片进行美学排名。下面显示了 NIMA 对美学视觉分析 ( AVA
) 数据集的大型数据库中的一些测试照片进行排名。每张 AVA 照片都会由平均 200 人参加摄影比赛进行评分。经过训练后，NIMA 对这些照片的美学评分与人类评分者给出的平均分数非常接近。我们发现 NIMA 在其他数据集上的表现同样出色，预测的质量分数接近人类评分。
使用 NIMA 对AVA数据集中标有“景观”标签的一些示例进行排序。预测的 NIMA（和地面真实值）分数显示在每个图像下方。
NIMA 分数还可用于比较同一主题的图像质量，这些图像可能以各种方式扭曲。以下示例中显示的图像是TID2013测试集的一部分，其中包含各种类型和级别的扭曲。
使用 NIMA 对TID2013数据集中的一些示例进行排序。预测的 NIMA 分数显示在每个图像下方。
感知图像增强正如我们在另一篇最近的论文
中所展示的，质量和美学分数也可用于感知地调整图像增强算子。换句话说，最大化 NIMA 分数作为损失函数的一部分可以增加增强图像感知质量的可能性。以下示例显示 NIMA 可用作训练损失来调整色调增强算法。我们观察到，通过 NIMA 分数指导的对比度调整可以提高基线美学评级。因此，我们的模型能够引导深度 CNN 过滤器找到其参数（例如亮度、高光和阴影）在美学上接近最优的设置。
NIMA 可用作训练损失来增强图像。在此示例中，通过使用 NIMA 作为损失来训练深度 CNN，可以增强图像的局部色调和对比度。测试图像来自MIT-Adobe FiveK 数据集。
展望未来
我们对 NIMA 的研究表明，基于机器学习的质量评估模型可能具有多种有用的功能。例如，我们可以让用户轻松地在众多照片中找到最好的照片；或者甚至可以通过向用户提供实时反馈来改善拍照效果。在后处理方面，这些模型可用于指导增强操作员产生感知上更优的结果。从直接意义上讲，NIMA 网络（以及类似的网络）可以作为人类对照片和视频品味的合理但不完美的代理。我们很高兴分享这些结果，但我们知道，更好地理解质量和美学意味着什么是一项持续的挑战——这将涉及对我们的模型进行持续的再训练和测试。
发表于 2024-12-13 23:36:26