图像融合概述

一、图像融合的层次

图像融合的三个层次(三种分类)是:像素级融合、特征级融合、决策级融合

1、像素级融合(研究最多,应用最广的融合层次)

像素级融合是最低层次的融合,它的处理对象是单个像素。

常见的作法是对相应位置处的像素取最大值、最小值或平均值进行融合。

它对图像配准的精度要求很高(像素级精度),是三个融合层次中难度最大的层次。

可借助于下图帮助理解:

其大致流程为:

2、特征级融合

特征级融合的层次介于像素级和决策级之间,其主要针对目标是图像的特征(如几何特征、谱特征、统计特征等)。

特征相对于原图像信息而言往往是稀疏的,能有效地提高图像融合的计算速度。

其大致流程为:

3、决策级融合

决策级融合的层次是最高的,它针对决策问题的具体目标,不太关心微小细节。

其思想是模拟人分析、推理和判决图像的过程,融合的是决策本身而不是像素或者特征(有点类似于投票表决)。

它的优点是具有很好的灵活性,不易受噪声的干扰;缺点是预处理的代价高昂。

其大致流程为:


二、像素级融合的方法

针对像素级的融合问题,现有的解决方法大致分为三类:

空间域融合方法、变换域融合方法以及深度学习方法

分类树如下图所示:


三、空域简单融合实例


四、拉普拉斯金字塔融合实例