多模态图像融合算法综述

科技创新与应用

2017年36期多模态图像融合算法综述

刘卷舒，姜慧娜

（上海电力学院电子与信息工程学院，上海200090）

文章提出一种新的图像融合算法的分类体系，摘要：多模态图像融合能最大限度地提取各模态的图像信息，同时减少冗余信息。在分析

新体系的基础上，阐述了各体系下的代表性算法，论述图像融合的研究背景及研究进展，最后提出了未来趋势的新目标。

特征级；决策级；图像融合算法关键词：图像融合；像素级；

中图分类号院TP391.41文献标志码院A文章编号院2095-2945渊2017冤36-0060-02

引言并行融合方法的困难之处在于要求提取的特征维数必须不同模态传感器关于同一场景所采集到的图像数据经过相同，否则就要进行一些预处理[6]。相关技术处理相融合的过程称为多模态图像融合，本文站在2.2.3基于特征选择的融合算法新的角度，提出一种新的分类体系，同时阐述各体系下的代表特征选择算法即将数据为维度，每一维度中选一个最利性算法，论述图像融合领域的发展现状。于分类的数据，这些选出的数据构成新的特征[8]。以基于模糊

1图像融合的体系逻辑理论的图像融合算法为例，首先源图像的特征构成一组

像素级、数据，根据融合的对象，图像融合一般分为三个等级：假定改组数据中只有i个可靠，用设定好的规则融合这

[1]特征级及决策级。像素级的处理对象是像素，最简单直接，特i个数据，融合的结果和析取算子如融合得到算子，某些特殊

[7]征级建立在抽取输入源图像特征的基础上，决策级是对图像情况，例如组合爆炸，可以用递增排列的方法。

2.2.4基于特征变换的融合算法信息更高要求的抽象处理，本文在此基础上提出一种不同的

以基于D-S证据理论的图像融合算法为例，其优点是可的分类体系，即直接融合和间接融合。

以最大程度地消除不确定的因素，融合进源图像的互补图像1.1直接图像融合算法

特征，尽量保留住源图像的边缘特征[7]。直接图像融合算法分基于像素点和基于特征向量的融合

方法，基于像素点的融合主要针对初始图像数据而进行[2]，是2.2.5基于特征决策的融合算法对各图像像素点信息的综合处理[3]。以基于贝叶斯估计法为例，它以贝叶斯法则为基础，是按

[9][10]1.2间接图像融合算法类其步骤为：提取待融合源照概率论来组合信息的新方法，间接图像融合算法是指对图像进行变换、分解重构或经图像的特征，利用图像特征计算出基本概率赋值函数，并应用神经网络处理后，通过逻辑推理来分析多幅图像的信息。贝叶斯公式进行融合。

2直接图像融合算法类3间接图像融合算法类直接图像融合算法分基于像素点和基于特征向量的图像间接图像融合算法类是指对图像进行变换、分解重构或融合算法。经神经网络处理后，通过逻辑推理或逻辑来分析多幅图像的

2.1基于像素点的直接图像融合算法信息，最终进行融合的算法类型。设待融合图像X、Y，且X（i，j）、Y（i，j）为图像X、图像Y3.1基于变换的间接图像融合算法在位置（i，j）的灰度值，则融合后的图像Z（i，j）=xX（i，j）+yY常用的变换方法主要有HIS变换和小波变换。（i，j），x、y是加权系数且x+y=1。算法简单、融合速度快，但减3.1.1基于HIS变换的图像融合算法弱了图像的对比度[4]。在HIS变换中，H表示图像色度信息，I表示图像亮度信

[11]（1）2.2基于特征向量的直接图像融合算法融合步骤为：预处理；（2）对息，杂表示图像饱和度信息，

G、B三个通道进行HIS变换；（3）直方图匹配源图像特征包括颜色、纹理、形状、空间关系等，从多模态图源图像的R、

[2]像提取特征信息，并对其归纳和分析处理，可剔除虚假特征、图像与经过HIS变换后的亮度图，生成与亮度直方图分布特

（4）构建新的复合特征。性类似的图像；用生成的图像代替亮度图，并同H、I、S分

2.2.1特征的串行融合算法量图进行HIS逆变换最后得到融合的图像。样本空间赘上的随意样本孜沂赘，且在赘上定义两个特3.1.2基于小波变换的图像融合算法

[5]征空间A和B，同时构建两个特征向量琢沂A和茁沂B，则孜基于小波变换的图像融合方法，首先将源图像经小波变的串行组合特征可以定义为酌=（琢，茁）。虽然该法可以有效提换分解成为不同频域特征，每幅图像的相同频域间融合，最后高识别率，但不同特征向量在串联组合前要进行加权或归一通过小波逆变换以获得融合结果图。目前在基于小波变换的化处理[6]。图像融合方法中，用的较多的多分辨技术是Mallat[12]法，该算

2.2.2特征的并行融合算法法在实现过程中先按行、列再按列、行进行一维的小波变换。样本空间赘上的随意样本孜沂赘，且在赘上定义两个特3.2基于分解和重构的间接图像融合算法征空间A和B，同时构建两个特征向量琢沂A和茁沂B，则孜的现阶段常用的基于分解和重构的图像融合方法即多分辨特征并行组合为酌=琢+i茁，但该法的缺陷是维数可能不等，对

渊下转64页冤[7]此可以用零补足低维特征。

（1993，作者简介：刘卷舒01-），女，本科学历，研究生在读，主要研究方向：变电站图像处理。

-60-

设计创新TechnologyInnovationandApplication

科技创新与应用

4结束语

本文引入圆弧抽芯机构，以水龙头作为典型对象研究了带圆弧形结构模具的开发；圆弧抽芯结构的设计可以有效地克服传统弧运动机构体积大、操作复杂等缺点，对于简化模具结构、降低加工制造成本、优化加工工艺；创新性地设计斜导

利用PROEMechanism柱圆弧抽芯机构，实现圆弧抽芯动作，

完成了模具圆弧抽芯结构的运动仿真，验证机构设计的合理与准确；通过仿真结果绘制了滑块运动轨迹包络面，完成了导槽孔异形空间结构的设计，优化了空间结构完成了光滑导槽

针对圆弧抽芯结构模具的立体设计，并完成了生产实际验证。

设计的方法，具有良好的推广价值。

杨林，吴琳，等.塑料水龙头壳体模具设计[J].塑料工业，[1]赵桂丰，2008，36（S1）：143-145.

[2]陈怀民.淋浴花洒本体圆弧抽芯机构及模具设计[J].福建工程学院

2017年36期参考文献院

学报，2010，8（01）：48-51.

等.基于UG的注塑模具工程图自动生成技[3]杨晨朝，刘壮，高长水，

术研究[J].机械设计与制造工程，2017，46（06）：25-28.[4]黄力.斜导柱圆弧抽芯注射模设计[J].模具制造，2011，11（04）：44-45.

朱兵.螺旋形斜导柱滑块抽芯机构的设计[J].模具工业，[5]顾正央，

2002（03）：40-42.[6]刘赣华，张振铎，王霞，等.从动螺旋锥齿轮双锥辊辗压成形模具应力分析[J].机械设计与制造，2017（06）：221-224.

梁宏斌.FDM在模具制造中精度及强度的研究[J].机械设计[7]王东立，

与制造，2016（01）：112-114.

王霜.基于PROE的内锥齿轮建模与分析[J].机械设计与制[8]何国修，

造，2012（04）：227-229.[9]许耀东，宋超.基于ProE嵌入式圆柱坐标工作台装配设计及运动仿真[J].上海工程技术大学学报，2012，26（01）：62-65.[10]高东强，姚素芬，李进.基于PRO/E的双摆线钢球减速器的参数化设计技术的研究[J].机械设计与制造，2009（03）：222-224.

渊上接60页冤

率塔式图像融合算法。

多分辨率塔式图像融合算法中[13]，源图像被持续过滤成塔形结构，该结构的不同层用不同的融合算法进行融合，得到一个经合成处理后的塔形结构，对其重构处理，得到合成的图像。

3.2.1基于高斯-拉普拉斯金字塔分解和重构的融合方法

传统的拉普拉斯金源图像和高斯核函数卷积并下采样[3]，

字塔融合要求源图像的分辨率比值为偶数[3]，这一缺陷被B.A原iazzi等人改善，他们扩展了传统的塔形结构，解决了分辨率为非偶数时的融合问题。

3.2.2基于梯度金字塔分解和重构的融合方法

为了得到梯度金字塔形结构，对高斯塔形结构里每层图像和对应的梯度滤波器做卷积，该法可以同时反映源图像的水平和竖直两方向上的变化[3]。

3.2.3基于比率低通金字塔分解和重构的融合方法

比率低通金字塔是求高斯金字塔中各级之间的比值[14]，比拉普拉斯金字塔结构更适宜人眼的视觉机理[4]。

3.2.4基于遗传算法的图像融合

源图像经过奇异值或小波分解，得到相应的奇异值或小波系数，这些系数用遗传算法进行编码，按照一定的顺序构成

[7]一组染色体串，每种可能实现的融合方法可以用每一代中的个体表示，按照遗传算法理论，经过几代基因的选择、交叉及突变，用预先假定构建的评价函数，来评估某种融合方法是否有效，直到评价为收敛及终止，即找到了最优的融合方法[7]。

4结束语

多模态图像把两幅待融合源图像的互补信息按照某些准则进行科学地融合，以获得对同一场景的全方位解释或描述，

可以更加精确全面的反映实际情况[15]。然而关于图像融合至

融合结今没有系统的理论框架，以至于各类融合算法的选择、

果的评价机制等等都没有科学的定论，此外成像技术飞速发展，由此带来的如何提高融合算法的融合速度同时减少储存空间也成为了目前研究中亟待解决的问题。

[1]张素兰.基于小波变换的多聚焦图像融合研究[D].重庆大学，2009.[2]古洪杰.基于图像融合的小模数塑料齿轮齿形缺陷检测技术研究[D].吉林大学，2009.

[3]方凯.数字图像融合算法研究[D].西安电子科技大学，2006.[4]庄晓婵.图像融合算法研究[D].西北工业大学，2007.

陈定荣，何亦征.面向目标识别的多特征图像融合技术综[5]王大伟，

述[J].航空电子技术，2011，42（2）：6-12.[6]石强，张斌，陈喆， 等.异质影像融合研究现状及趋势[J].ActaAuto原maticaSinica，2014，40（3）：385-396.

[7]王大伟.基于特征级图像融合的目标识别技术研究[D].中国科学院

，研究生院（长春光学精密机械与物理研究所）2010.

[8]石强.基于混合智能系统的遥感影像融合分类[D].武汉大学，2014.[9]胥妍.基于小波变换技术的图像融合方法的研究与应用[D].山东师范大学，2008.

[10]江金娜.基于D-S证据理论的多传感器决策级图像融合的算法研究[D].哈尔滨理工大学，2015.

[11]谭航.像素级图像融合及其相关技术研究[D].电子科技大学，2013.[12]吴疆.医学图像融合算法研究[D].西北工业大学，2006.[13]李娟.多聚焦图像融合方法研究[D].湖南大学，2006.[14]晁锐，张科，李言俊.像素级多分辨图像融合技术概述[J].系统工程与电子技术，2004，26（1）：137-141.

[15]王丽.基于小波分析的多聚焦图像融合算法研究[D].哈尔滨理工大学，2007.

参考文献院

-64-