
科研图像处理

当我们说两张图片“很像”时,这往往是一种非常主观的判断。
同样是“相似”,它可能指两张图的像素值接近,也可能指它们的结构轮廓相似、灰度分布相似、关键解剖区域对应,甚至只是在人眼看来具有相似的语义内容。

因此,在医学图像处理中,如何把这种主观的“像不像”转化为可以计算、可以比较、可以解释的数值指标,是一个非常重要的问题。
本文将以经典的 Shepp-Logan phantom 作为示例图像,依次介绍几种常见的图像相似性度量方法,直观地观察:不同指标到底在衡量什么,以及它们分别适合哪些图像分析场景。
1. 什么叫两张图相似?
假设我们有一张参考图像,对这张图像做不同的处理:
加噪声;
模糊;
整体变暗;
整体变亮;
对比度增强;
平移 8 个像素;
局部遮挡。

这些变化在人眼看来并不等价,需要用不同的量化方法来区分:
加噪声和模糊通常意味着图像质量下降;
亮度变化可能不改变解剖结构;
平移会造成逐像素误差,但结构本身没有改变;
遮挡则改变了局部内容
2. 图像相似性可以分成几个层次
在医学图像处理中,我们常见的相似性大致可以分成五类:

比如同一张 CT 图像被整体变暗后,人眼仍会认为它和原图很像。但 MSE 可能会明显变大,因为每个像素都变了。相反,NCC 可能仍然很高,因为它更关心强度变化趋势。
3. 逐像素差异
最直观的相似性度量方法,是把两张图像逐像素相减。

这一步得到的是Difference image:

但是,差异图本身仍然是一张图。它能告诉我们“哪里不同”,却不能直接给出一个整体数值来回答:这两张图整体上到底有多像?
3.1 MSE:Mean Squared Error,均方误差
MSE的计算方式是:

MSE 越小,说明两张图在像素值上越接近。如果两张图完全一样,那么MSE = 0。
3.1 RMSE:Root Mean Squared Error,均方根误差

RMSE 的好处是,它和原始图像的灰度单位一致。
例如,如果图像灰度范围是 0 到 255,那么 RMSE 也可以理解为平均意义上的灰度误差大小。
MSE 和 RMSE 的优点是非常明显的优点是简单、直观、可解释;缺点也很明显:
对整体亮度变化敏感;
对轻微错位极其敏感;
不一定符合人眼感受;
要求两张图已经处于同一空间坐标系。
在医学图像中,MSE 更适合用于同模态、同强度尺度、已经配准好的图像,例如图像重建、去噪、超分辨率重建结果评价。
3.2 PSNR:Peak Signal-to-Noise Ratio,峰值信噪比
PSNR常用于图像压缩、图像重建、去噪和超分辨率任务中,用来衡量重建图像相对于原图的质量。

其中,MAX表示图像中可能出现的最大灰度值。PSNR 的单位是dB。
既然已经有了 MSE,为什么还要用 PSNR?为什么还要用 PSNR?
一个重要原因是:MSE 的绝对大小和图像本身的灰度范围有关。
PSNR 的作用,就是把 MSE 放到图像允许的最大灰度范围下进行衡量,并转换为 dB,因此更适合在图像重建、去噪、压缩和超分辨率任务中报告和比较。
4. 相关性
4.1 NCC:Normalized Cross-Correlation
前面的 MSE 和 RMSE 都是在问:
两张图对应位置的灰度值到底差多少?
但对于同一个样本,在不同扫描条件、不同曝光、不同归一化方式下,整体亮度和对比度可能发生变化。
此时,两张图的像素值不一定相同,但它们的结构和灰度变化趋势可能仍然非常一致。
这时可以使用 NCC(Normalized Cross-Correlation)。通常叫归一化互相关。它衡量的是:
两张图的强度变化趋势是否一致。

其中,N 是总像素数。这个公式的本质是计算两张图的强度变化趋势是否一致:
如果两个位置都比各自平均值亮,那么乘积为正
如果两个位置都比各自平均值暗,那么乘积也为正
如果一个亮、一个暗,那么乘积为负
因此:
NCC 越接近 1:说明两张图的灰度变化趋势越一致
NCC 越接近 0:说明两张图几乎没有线性相关性
NCC 越接近 -1:说明两张图呈反相关
从本质上看,这个标量形式的 NCC 就是:
把两张标准化后的图像当作两个长向量,计算它们的相关系数。
NCC 的一个重要优点是:它对线性亮度变化不太敏感。

那么它们的 NCC 仍可能很高。
这对医学图像非常有用。例如同一结构在不同扫描条件下强度范围略有变化时,NCC 往往比 MSE 更合理。
不过 NCC 也不是万能的。它仍然要求两张图有较好的空间对应关系。如果图像发生平移、旋转或局部形变,NCC 也会下降。

4.2 Cross-correlation map,互相关图
之前的教程也提到了互相关作为图像配准的方法:
我们可以用Cross-correlation map来表示两张图像的互相关关系,从而找到两张图像的偏移量:


本质是在计算:当第二张图相对于第一张图平移 (Δx,Δy)时,两张图有多相似。
如果你把所有可能的 (Δx,Δy)都算一遍,就会得到一张 2D 热图,也就是常说的互相关图。
5. SSIM:Structural Similarity Index ,结构相似性指数
前面介绍的 MSE、RMSE 和 PSNR 都是从“逐像素误差”的角度出发。它们关心的是:两张图在同一个位置上的灰度值到底差多少?
但是在很多图像任务中,尤其是医学图像中,我们并不只关心每个像素的绝对灰度值是否完全一致。 我们还会关心:主要解剖结构是否还在? 边缘和轮廓是否清晰? 局部组织之间的相对对比关系是否保留?
这时就可以引入 SSIM。SSIM 是 Structural Similarity Index 的缩写,中文通常叫 结构相似性指数。

SSIM 并不是直接比较两张图的像素差,而是把局部图像块之间的相似性拆成三个部分:
luminance,亮度相似性
contrast,对比度相似性
structure,结构相似性
假设两张局部图像块分别为 x和y,那么 SSIM 可以理解为(假设权重一致):

其中:
l(x,y)衡量局部平均亮度是否相似
c(x,y) 衡量局部对比度是否相似
s(x,y)衡量局部结构变化模式是否相似

这三个部分,分别对应人眼观察图像时非常关注的三个维度:亮不亮、对比强不强、结构像不像
在常见设置下,SSIM 通常写成下面这个合并形式:

这个公式看起来比 MSE 复杂,但它的直观含义很清楚:SSIM 会同时惩罚亮度不一致、对比度不一致和局部结构不一致。
SSIM 的取值为[0,1]。SSIM 越接近 1,说明两张图像越相似。
SSIM 比 MSE 更接近人眼感受。下面的示意图比较了不同类型的图像变化。不同变化可能对 MSE 和 SSIM 产生不同影响。

6. Gray-level histogram,灰度直方图
前面介绍的 MSE、NCC 和 SSIM,都默认两张图像中的空间位置是有意义的。 也就是说,它们都在某种程度上关心:
图像中同一个位置,或者同一个局部区域,是否相似?
但是有些时候,我们并不关心每个像素具体在哪里,而只关心整张图像的灰度分布是否相似。 这时就可以使用 灰度直方图(gray-level histogram)。
灰度直方图回答的问题是:一张图里有多少暗像素?多少中等灰度像素?多少亮像素?
它关心的是灰度值的整体分布,而不是这些灰度值出现在图像中的哪个位置。




7. MI:Mutual Information,互信息
前面介绍的 NCC 和 SSIM,都假设两张图像之间的灰度关系相对直接。 例如,同一个组织区域在两张图中都比较亮,或者同一个边缘在两张图中都比较清楚。
但是在多模态医学图像中,这个假设经常不成立。
例如:
CT 和 MRI 中,同一种组织的灰度含义不同
T1 和 T2 MRI 中,组织亮暗关系可能发生变化
明场图像和荧光图像的成像机制完全不同
不同染色通道中,同一结构可能呈现不同强度模式
这时,如果还要求两张图的像素值相等,或者要求灰度变化方向完全一致,就会比较困难。 这正是 Mutual Information(MI,互信息) 经常用于多模态图像配准的原因。
Mutual Information衡量的是两个变量之间的统计依赖关系。
对于两张图像,可以把它直观理解为:如果我知道图像 A 某个像素的灰度值,我能在多大程度上预测图像 B 对应像素的灰度值?
如果两张图完全无关,那么知道图像 A 的灰度值,对预测图像 B 的灰度值没有什么帮助,MI 就比较低。
如果两张图之间存在稳定关系,即使它们的灰度值并不相等,MI 也可以比较高。
假设两张图像的灰度值分别看作两个随机变量:

它们各自的边缘概率分布为:

它们的联合概率分布为:

那么互信息定义为:


此时 MI 会变大。
所以 MI 衡量的本质是:两张图像的联合分布,和“完全独立时应该出现的分布”之间差了多少。

如果希望得到一个更容易解释、更方便比较的指标,可以使用 Normalized Mutual Information(NMI,归一化互信息)。
NMI 的核心思想是:不只看两张图共享了多少信息,还要考虑这些共享信息相对于两张图自身总信息量来说占多大比例。


本篇教程的所有Python代码,可以在GitHub上下载:
https://github.com/ethanzhao9/Medical-Image-Processing
如果对于Python图像处理有什么问题可以私信我,或者给我发邮件:zhaoyc9@163.com
希望对大家有帮助~
往期推荐

点赞在看哦~