当前位置:首页>java>图像复原重要评价指标及其代码实现

图像复原重要评价指标及其代码实现

  • 2026-10-22 15:52:36
图像复原重要评价指标及其代码实现

图像复原重要评价指标及其代码实现

图像复原中的评价指标可以分为不同类型,根据不同的评价目的(如视觉质量、数学精度、感知质量等)进行选择。以下是一些常见的评价指标及其详细说明:

1. 峰值信噪比(PSNR)

  • • 定义:PSNR是用于评估图像质量的一个常见指标,主要用于计算图像恢复的重建质量。
  • • 公式:其中:
    • • 是图像中的最大像素值(例如,对于8位图像,MAX=255)。
    • • 是均方误差,表示图像与原图之间的平均误差。
  • • 解释:PSNR值越大,表示图像复原质量越好,图像之间的差异越小。
  • • PSNR详细阈值
应用场景
PSNR范围
质量等级
视觉感知
无损压缩/原始
∞ dB
完美
与原图无区别
高质量处理
40-50 dB
优秀
几乎看不到失真
专业应用
35-40 dB
很好
细微失真,需要训练才能察觉
一般应用
30-35 dB
良好
轻微失真,可接受
低质量处理
25-30 dB
一般
明显失真,但内容可辨
极限压缩
20-25 dB
较差
严重失真
不可接受
<20 dB
差
无法辨认内容

2. 结构相似性(SSIM)

  • • 定义:SSIM用来衡量两幅图像在亮度、对比度和结构方面的相似性,广泛用于图像质量评价。
  • • 公式:其中:
    • •  分别是图像 (x) 和 (y) 的均值。
    • •  分别是图像 (x) 和 (y) 的方差。
    • •  是图像 (x) 和 (y) 的协方差。
    • •  是防止分母为零的常数。
  • • 解释:SSIM值在[0, 1]之间,越接近1表示图像之间越相似。SSIM比PSNR更注重图像的结构性差异,而不仅仅是误差。
  • • SSIM详细阈值
SSIM值
质量等级
主观描述
0.97-1.00
极好
与原图几乎无法区分
0.95-0.97
优秀
非常轻微的质量损失
0.90-0.95
良好
轻微质量损失,可接受
0.80-0.90
一般
可见的质量下降
0.70-0.80
较差
明显质量下降
0.50-0.70
差
严重质量损失
<0.50
极差
几乎无法接受

3. 均方误差(MSE)

  • • 定义:MSE是最基本的图像质量评价指标之一,计算的是恢复图像和原始图像之间像素值的差异。
  • • 公式:其中:
    • • 和 分别是原始图像和恢复图像在位置 的像素值。
    • • 分别是图像的行和列数。
  • • 解释:MSE值越小,表示图像恢复得越好。MSE缺乏对感知质量的考虑,可能无法很好地反映图像的主观视觉质量。

4. 学习感知图像块相似度 (LPIPS)

  • • 定义:LPIPS是基于深度学习的图像感知质量评价指标,通过比较图像之间的感知差异来评估图像质量,适合用来衡量复原图像的视觉效果。
  • • 公式:其中:
    • • 表示通过预训练深度神经网络提取的图像特征。
    • •  和分别是原始图像和复原图像。
  • • 解释:LPIPS提供了一种更符合人类感知的质量评估方法,它的值越小,表示图像的视觉质量越好。
  • • LPIPS详细阈值
LPIPS值
质量等级
感知差异
0.00-0.05
极好
感知上几乎相同
0.05-0.10
很好
轻微差异
0.10-0.20
良好
可察觉但可接受
0.20-0.30
一般
明显差异
0.30-0.50
较差
严重差异
>0.50
差
完全不同的感知

5. 平均结构相似性(MS-SSIM)

  • • 定义:MS-SSIM是SSIM的扩展,计算多个尺度上的结构相似性。
  • • 公式:其中:
    • •  是尺度数。
    • •  是在第个尺度上计算的SSIM值。
  • • 解释:MS-SSIM能考虑图像在不同尺度下的结构信息,因此比传统的SSIM更为精确,能够更好地评估图像的质量。
  • • MS-SSIM阈值
MS-SSIM值
对应质量
应用建议
>0.980
透明质量
专业出版、医疗诊断
0.950-0.980
高质量
数码摄影、艺术创作
0.900-0.950
良好质量
网络发布、一般应用
0.850-0.900
可接受质量
社交媒体、快速浏览
<0.850
低质量
仅用于快速预览

6. 信息熵

  • • 定义:信息熵衡量图像的复杂度和细节信息,熵越高,图像的细节越丰富。
  • • 公式:其中:
    • • 是图像中第  种像素值的概率。
  • • 解释:信息熵用于衡量图像中的信息量,图像越复杂,熵值越高。

7. 均值绝对误差(MAE)

  • • 定义:MAE衡量的是原始图像和复原图像之间像素值的绝对差异。
  • • 公式:
  • • 解释:MAE值越小表示恢复图像越接近原始图像。

8. 视觉相似度(VIF)

  • • 定义:VIF基于视觉信息的相关性,衡量图像恢复的视觉相似度。
  • • 公式:VIF的计算较为复杂,涉及图像局部结构信息和全局结构信息的比对。
  • • 解释:VIF考虑了图像的局部和全局结构信息,对人眼感知差异的敏感度较高。

9. 峰值感知误差(PPE)

  • • 定义:PPE通过计算原图和复原图像之间的局部区域感知误差,能够体现图像恢复的真实效果。
  • • 公式:PPE通常需要先提取图像的特征,然后计算特征空间中的误差。

10. 加权均方误差 (WMSE)

  • • 定义:WMSE在计算误差时引入了加权系数,通常用于解决特定区域的视觉重要性问题。
  • • 公式:其中是图像中每个像素的加权系数。
  • • 解释:WMSE可以通过赋予特定区域更高的权重,使得恢复图像在关键区域的质量更高。

11. 特征相似性(FSIM)

  • • 定义:基于相位一致性和梯度幅度
  • • 公式:其中::相位一致性:梯度幅度:小常数
  • • FSIM阈值
FSIM值
质量等级
备注
>0.95
极好
相位和梯度保持很好
0.90-0.95
好
特征保持良好
0.80-0.90
一般
部分特征丢失
<0.80
差
特征保持较差

12. 自然图像质量评价(NIQE)

  • • 定义:基于自然场景统计特征
  • • 公式:
    1. 1. 从自然图像提取特征向量
    2. 2. 建立多变量高斯模型:
    3. 3. 测试图像特征向量
    4. 4. 计算马氏距离:
  • • NIQE阈值
NIQE值
质量等级
自然度
0-2
非常自然
接近自然图像统计
2-3
自然
较好的自然度
3-5
一般
可见的人工痕迹
5-8
不自然
明显的人工痕迹
>8
极不自然
严重偏离自然统计

13. 盲/无参考图像空间质量评价(BRISQUE)

  • • 定义:基于图像局部归一化亮度的统计特征
  • • 公式:
    1. 1. 局部归一化:
    2. 2. 拟合非对称广义高斯分布(AGGD)
    3. 3. 提取AGGD参数作为特征

14. 对于超分辨率任务 - 信息保真度准则(IFC)

  • • 公式:其中:
    • • :子带索引
    • • :系数索引
    • • :原始与复原图像小波系数差
    • • :噪声方差

15. Frechet Inception Distance(FID)

  • • 定义:比较特征空间的统计分布
  • • 公式:其中:
    • • :真实与生成图像特征的均值向量
    • • :协方差矩阵
    • • :矩阵迹
  • • FID阈值
数据集
优秀FID
良好FID
一般FID
CIFAR-10
<15
15-30
30-50
ImageNet
<20
20-40
40-80
自定义数据集
<25
25-50
>50

完整Python代码实现

import numpy as npimport cv2import torchimport torch.nn.functional as Ffrom scipy import ndimagefrom scipy.linalg import sqrtmfrom skimage.metrics import structural_similarityimport warningsimport torchvision.models as modelsimport torchvision.transforms as transformswarnings.filterwarnings('ignore')class ImageMetrics:    def __init__(self, data_range=255):        self.data_range = data_range    def calculate_mse(self, img1, img2):        if img1.shape != img2.shape:            raise ValueError("输入图像形状不一致")        mse = np.mean((img1.astype(np.float64) - img2.astype(np.float64)) ** 2)        return mse    def calculate_psnr(self, img1, img2):        mse = self.calculate_mse(img1, img2)        if mse == 0:            return float('inf')        psnr = 10 * np.log10(self.data_range ** 2 / mse)        return psnr    def calculate_ssim(self, img1, img2, window_size=11, gaussian_weights=True,                       sigma=1.5, use_sample_covariance=True):        # 确保图像是2D或3D        if len(img1.shape) == 2:            img1 = img1[..., np.newaxis]            img2 = img2[..., np.newaxis]        # 计算SSIM        ssim_value, ssim_map = structural_similarity(            img1, img2,            win_size=window_size,            gaussian_weights=gaussian_weights,            sigma=sigma,            use_sample_covariance=use_sample_covariance,            data_range=self.data_range,            channel_axis=2 if img1.shape[2] > 1 else None,            full=True        )        return ssim_value, ssim_map    def calculate_ms_ssim(self, img1, img2, weights=None):        if weights is None:            weights = [0.0448, 0.2856, 0.3001, 0.2363, 0.1333]        levels = len(weights)        mssim = []        mcs = []        # 转换为float        img1 = img1.astype(np.float64)        img2 = img2.astype(np.float64)        for i in range(levels):            if i > 0:                # 下采样                img1 = cv2.pyrDown(img1)                img2 = cv2.pyrDown(img2)            ssim_val, ssim_map = self.calculate_ssim(img1, img2)            if i < levels - 1:                # 计算对比度和结构部分                C1 = (0.01 * self.data_range) ** 2                C2 = (0.03 * self.data_range) ** 2                # 计算局部均值和方差                mu1 = cv2.GaussianBlur(img1, (11, 11), 1.5)                mu2 = cv2.GaussianBlur(img2, (11, 11), 1.5)                sigma1_sq = cv2.GaussianBlur(img1 ** 2, (11, 11), 1.5) - mu1 ** 2                sigma2_sq = cv2.GaussianBlur(img2 ** 2, (11, 11), 1.5) - mu2 ** 2                sigma12 = cv2.GaussianBlur(img1 * img2, (11, 11), 1.5) - mu1 * mu2                # 对比度比较                cs_map = (2 * sigma12 + C2) / (sigma1_sq + sigma2_sq + C2)                mcs.append(np.mean(cs_map))            mssim.append(ssim_val)        # 组合各尺度结果        ms_ssim = np.prod(np.array(mcs) ** np.array(weights[:-1])) * (mssim[-1] ** weights[-1])        return ms_ssim    def calculate_fsim(self, img1, img2):        # 转换为灰度        if len(img1.shape) == 3:            img1_gray = cv2.cvtColor(img1, cv2.COLOR_RGB2GRAY)            img2_gray = cv2.cvtColor(img2, cv2.COLOR_RGB2GRAY)        else:            img1_gray = img1            img2_gray = img2        # 计算相位一致性(简化:使用Sobel梯度)        sobel_x = cv2.Sobel(img1_gray, cv2.CV_64F, 1, 0, ksize=3)        sobel_y = cv2.Sobel(img1_gray, cv2.CV_64F, 0, 1, ksize=3)        pc1 = np.sqrt(sobel_x ** 2 + sobel_y ** 2)        sobel_x = cv2.Sobel(img2_gray, cv2.CV_64F, 1, 0, ksize=3)        sobel_y = cv2.Sobel(img2_gray, cv2.CV_64F, 0, 1, ksize=3)        pc2 = np.sqrt(sobel_x ** 2 + sobel_y ** 2)        # 计算梯度幅度        G1 = pc1.copy()        G2 = pc2.copy()        # 计算相似性        T1 = 0.85        T2 = 160        S_L = (2 * G1 * G2 + T1) / (G1 ** 2 + G2 ** 2 + T1)        S_PC = (2 * pc1 * pc2 + T2) / (pc1 ** 2 + pc2 ** 2 + T2)        PC_m = np.maximum(pc1, pc2)        # 计算FSIM        numerator = np.sum(S_L * S_PC * PC_m)        denominator = np.sum(PC_m)        if denominator == 0:            return 0        fsim = numerator / denominator        return fsimclass NoReferenceMetrics:    def __init__(self):        pass    def calculate_brisque_features(self, img):        if len(img.shape) == 3:            img_gray = cv2.cvtColor(img, cv2.COLOR_RGB2GRAY)        else:            img_gray = img        # 局部归一化        mu = cv2.GaussianBlur(img_gray, (7, 7), 7 / 6)        mu_sq = mu * mu        sigma = np.sqrt(np.abs(cv2.GaussianBlur(img_gray * img_gray, (7, 7), 7 / 6) - mu_sq))        # MSCN系数        mscn = (img_gray - mu) / (sigma + 1)        # 计算统计特征        features = []        # 1. MSCN系数的AGGD参数        from scipy.stats import skew, kurtosis        features.extend([            np.mean(mscn),            np.std(mscn),            skew(mscn.flatten()),            kurtosis(mscn.flatten())        ])        # 2. 水平方向差值        h_diff = mscn[:, :-1] - mscn[:, 1:]        features.extend([            np.mean(h_diff),            np.std(h_diff),            skew(h_diff.flatten()),            kurtosis(h_diff.flatten())        ])        # 3. 垂直方向差值        v_diff = mscn[:-1, :] - mscn[1:, :]        features.extend([            np.mean(v_diff),            np.std(v_diff),            skew(v_diff.flatten()),            kurtosis(v_diff.flatten())        ])        return np.array(features)    def calculate_niqe_features(self, img):        if len(img.shape) == 3:            img_gray = cv2.cvtColor(img, cv2.COLOR_RGB2GRAY)        else:            img_gray = img        # 计算MSCN系数(与BRISQUE相同)        mu = cv2.GaussianBlur(img_gray, (7, 7), 7 / 6)        mu_sq = mu * mu        sigma = np.sqrt(np.abs(cv2.GaussianBlur(img_gray * img_gray, (7, 7), 7 / 6) - mu_sq))        mscn = (img_gray - mu) / (sigma + 1)        # 提取统计特征        from scipy.stats import skew, kurtosis        features = [            np.mean(mscn),            np.var(mscn),            skew(mscn.flatten()),            kurtosis(mscn.flatten())        ]        # 添加其他统计特征        features.append(np.percentile(mscn, 10))        features.append(np.percentile(mscn, 25))        features.append(np.percentile(mscn, 50))        features.append(np.percentile(mscn, 75))        features.append(np.percentile(mscn, 90))        return np.array(features)class DeepLearningMetrics:    """深度学习相关质量指标"""    def __init__(self, device='cuda'if torch.cuda.is_available() else'cpu'):        self.device = torch.device(device)        # 加载预训练模型用于LPIPS        self.vgg = models.vgg16(pretrained=True).features.to(self.device).eval()        for param in self.vgg.parameters():            param.requires_grad = False        # 图像转换        self.transform = transforms.Compose([            transforms.ToTensor(),            transforms.Normalize(mean=[0.485, 0.456, 0.406],                                 std=[0.229, 0.224, 0.225])        ])    def calculate_lpips(self, img1, img2, use_vgg=True):        # 转换图像格式        if len(img1.shape) == 2:            img1 = np.stack([img1, img1, img1], axis=2)            img2 = np.stack([img2, img2, img2], axis=2)        # 转换为tensor        img1_tensor = self.transform(img1).unsqueeze(0).to(self.device)        img2_tensor = self.transform(img2).unsqueeze(0).to(self.device)        if use_vgg:            # 提取VGG特征            features1 = self._extract_vgg_features(img1_tensor)            features2 = self._extract_vgg_features(img2_tensor)            # 计算特征距离(加权)            lpips_value = 0            weights = [1.0, 0.5, 0.25, 0.125, 0.0625]  # 简化权重            for i, (f1, f2) in enumerate(zip(features1, features2)):                if i >= len(weights):                    break                # 归一化特征                f1_norm = F.normalize(f1, p=2, dim=1)                f2_norm = F.normalize(f2, p=2, dim=1)                # 计算L2距离                diff = f1_norm - f2_norm                dist = torch.mean(diff ** 2)                lpips_value += weights[i] * dist.item()        else:            # 使用像素级差异作为简化版本            diff = img1_tensor - img2_tensor            lpips_value = torch.mean(diff ** 2).item()        return lpips_value    def _extract_vgg_features(self, x):        """        提取VGG特征        """        features = []        for i, layer in enumerate(self.vgg):            x = layer(x)            if i in [3, 8, 15, 22, 29]:  # 特定卷积层后                features.append(x)                if len(features) >= 5:  # 只取前5层                    break        return features    def calculate_fid(self, real_images, fake_images, batch_size=64):        # 加载Inception模型        inception = models.inception_v3(pretrained=True, transform_input=False)        inception.fc = torch.nn.Identity()  # 移除分类层        inception = inception.to(self.device).eval()        def get_features(images):            """提取特征"""            features = []            for i in range(0, len(images), batch_size):                batch = images[i:i + batch_size]                batch_tensors = []                for img in batch:                    if len(img.shape) == 2:                        img = np.stack([img, img, img], axis=2)                    img_tensor = self.transform(img).unsqueeze(0)                    batch_tensors.append(img_tensor)                batch_tensor = torch.cat(batch_tensors, 0).to(self.device)                with torch.no_grad():                    feat = inception(batch_tensor)                    features.append(feat.cpu().numpy())            return np.concatenate(features, axis=0)        # 提取特征        real_features = get_features(real_images)        fake_features = get_features(fake_images)        # 计算统计量        mu1, sigma1 = np.mean(real_features, axis=0), np.cov(real_features, rowvar=False)        mu2, sigma2 = np.mean(fake_features, axis=0), np.cov(fake_features, rowvar=False)        # 计算FID        diff = mu1 - mu2        covmean, _ = sqrtm(sigma1.dot(sigma2), disp=False)        if np.iscomplexobj(covmean):            covmean = covmean.real        fid = diff.dot(diff) + np.trace(sigma1 + sigma2 - 2 * covmean)        return fiddef main(img1, img2):    # 确保图像大小相同    if img1.shape != img2.shape:        # 调整大小        img2 = cv2.resize(img2, (img1.shape[1], img1.shape[0]))    # 转换为RGB    img1 = cv2.cvtColor(img1, cv2.COLOR_BGR2RGB)    img2 = cv2.cvtColor(img2, cv2.COLOR_BGR2RGB)    # ===============================    # 1. 基础指标计算    # ===============================    metrics = ImageMetrics(data_range=255)    # MSE    mse = metrics.calculate_mse(img1, img2)    print(f"MSE: {mse:.4f}")    # PSNR    psnr = metrics.calculate_psnr(img1, img2)    print(f"PSNR: {psnr:.2f} dB")    # SSIM    ssim_value, ssim_map = metrics.calculate_ssim(img1, img2)    print(f"SSIM: {ssim_value:.4f}")    # MS-SSIM    ms_ssim = metrics.calculate_ms_ssim(img1, img2)    print(f"MS-SSIM: {ms_ssim:.4f}")    # FSIM    fsim = metrics.calculate_fsim(img1, img2)    print(f"FSIM: {fsim:.4f}")    # ===============================    # 2. 无参考指标计算    # ===============================    no_ref_metrics = NoReferenceMetrics()    niqe = metrics.calculate_niqe(img1, img2)    print(f"NIQE: {niqe:.4f}")    # BRISQUE特征    brisque_features1 = no_ref_metrics.calculate_brisque_features(img1)    brisque_features2 = no_ref_metrics.calculate_brisque_features(img2)    print(f"BRISQUE特征差异: {np.mean(np.abs(brisque_features1 - brisque_features2)):.4f}")    # ===============================    # 3. 深度学习指标    # ===============================    dl_metrics = DeepLearningMetrics(device='cpu')    # LPIPS    lpips_value = dl_metrics.calculate_lpips(img1, img2)    print(f"LPIPS: {lpips_value:.4f}")    return {        'mse': mse,        'psnr': psnr,        'ssim': ssim_value,        'ms_ssim': ms_ssim,        'fsim': fsim,        'niqe': niqe,        'brisque': np.mean(np.abs(brisque_features1 - brisque_features2)),        'lpips': lpips_value,    }if __name__ == "__main__":    # 单对图像评估    # 加载图像    img_path1 = 'reference.jpg'  # 参考图像    img_path2 = 'restored.jpg'  # 复原图像    img1 = cv2.imread(img_path1)    img2 = cv2.imread(img_path2)    results = main(img1, img2)

最新文章

随机文章