小波神经网络的研究小波神经网络的研究主要内容l从小波分析和神经网络各自存在的问题出发，对小波网络的产生原因和产生形式进行了研究；简单地介绍了小波分析和神经网络的构造理论；然后从小波函数的选择、网络参数初始化、隐层节点数确定和参数调节算法几方面对小波网络的学习过程进行了讨论；最后介绍了小波网络的应用，并提出了当前存在的问题和今后的研究方向。 1 引言引言 l人工神经网络(简称神经网络)得以广泛应用的主要原因在于它的学习能力，多输入并行处理能力，非线性映射和容错能力，以及通过新的学习获得自适应性的能力。 l小波分析(wavelet analysis)是近十几年来发展起来的一种强有力的数学工具，其对非平稳随机信号具有良好的时频局部特性和变焦能力，原则上可以替代傅里叶变换应用的所有场合。 l小波变换具有良好的时频局部性质，神经网络则具有自学习和良好的容错能力，小波神经网络由于较好的结合了两者的优点而具有强大的优势。2 小波分析理论基础小波分析理论基础l小波分析主要研究函数的表示，即将函数分解为“基本函数”之和，而“基本函数”是由一个小波函数经伸缩和平移而得到的，这个小波函数具有很好的局部性和光滑性，使得人们通过分解系数刻划函数时，可以分析函数的局部性质和整体性质。 几个定义小波函数一般具有以下特点： 3 神经网络理论基础神经网络理论基础从连接方式看，NN主要有两种： l连接权值的进化：包括两个主要的阶段。第一阶段就是决定连接权值的表示方法，即是用二进制串编码还是用其他的编码方法。第二阶段就是结构的进化也就是对于手边的任务找出接近最优的神经网络结构。 l网络结构的进化：己经成为神经网络研究和应用的及其重要的任务之一。结构的进化最重要的两个问题是进化计算中所使用的编码表示方法和搜索算子。 进化被引入到神经网络主要包括三个方面: 连接权的进化，网络结构的进化，学习规则的进化。 l学习规则的进化：被认为是在神经网络中的学会学习(learning to learn)的过程，在这个过程中自适应的学习规则通过进化被获得。它也能被认为是是一种新颖的学习规则被自动发现的过程。 一般而言，没有一种方法在各种各样的网络中总是全面的赢家。最好的训练算法是依赖于所要解决的问题的。如何学习l如果想象神经网络的连接权值和结构为它的硬件，我们能够很容易的理解神经网络的软件 学习规则的进化的重要性。 l通过向环境学习获取知识并改进自身性能是NN的一个重要特点，在一般情况下，性能的改善是按某种预定的度量通过调节自身参数(如权值)随时间逐步达到的，学习方式(按环境所提供信息的多少分)有三种：l这种学习方式(如图3-4(1)需要外界存在一个“教师”，他可对一组给定输入提供应有的输出结果(正确答案)。这组已知的输入输出数据称为训练样本集。NN的学习系统可根据己知输出与实际输出之间的差值(误差信号)来调节系统参数。监督学习(有教师学习)l非监督学习(如图3-4(2)时不存在外部教师，学习系统完全按照环境所提供数据的某些统计规律来调节自身参数或结构(这是一种自组织过程)，以表示外部输入的某种固有特征(如聚类，或某种统计上的分布特征)。非监督学习(无教师学习)再励学习(强化学习)l这种学习(如图3-4(3)介于上述两种情况之间，外部环境对系统输出结果只给出评价(奖或惩)而不是给出正确答案，学习系统通过强化那些受奖励的动作来改善自身性能。4 小波网络理论基础小波网络理论基础l小波神经网络是近年来神经网络研究中的一个新分支，是结合小波变换理论与人工神经网络的思想而设计与构造的一类新的神经网络模型，它结合了小波变换良好的时频局域化性质以及神经网络的自学习功能,所以具有较强的逼近能力与容错能力，具有很好的泛化功能。 小波分析和神经网络的结合主要有两种途径：l(1)松散型结合，即小波分析作为神经网络的前置处理手段，为神经网络提供输入特征向量。图4-1(1)为松散型结合，信号经过小波变换后，再输入给常规神经网络以完成分类，函数逼近等功能。l(2)紧致性结合，小波和神经网络直接融合，即小波函数和尺度函数形成神经元。如图4-1(2)，这是目前大量研究小波神经网络的文献中最为广泛采用的一种结构形式。它是将常规神经网络的隐层函数用小波函数来代替，相应的输入层到隐层的权值及隐层阈值分别由小波函数的尺度和平移参数所代替。这种方法很好的结合了小波变换与神经网络，充分继承了两者的优点。WNN、RBF以及BP网络的相应比较如下： （3）RBF网络和WNN网络都具有比BP网络更快的逼近速度，但是RBF网络的隐节点中心难求，这是该网络难以广泛应用的原因。 （4）BP的学习算法常常忽视了许多包含在训练数据中的先验知识，因而忽略了权重初始化中潜在的简化问题，而WNN的训练数据的预处理将导致训练问题的凸性，使在选择权重时更具指导性。此外，Sigmoid函数不满足框架条件，但三个Sigmoid函数的线性组合得到的带限小波函数却可以满足，因此WNN可以近似等效为三个BP的组合，其估值能力近似是BP的三倍。l理论分析和实验均表明:小波神经网络具有逼近能力强，收敛速度快，网络参数(隐含层节点数和权重)的选取有理论依据，有效避免了局部最小值等优点。当然，小波神经网络也有不足之处：小波网络的构造比较复杂，相比BP和RBF网络而言，小波网络的运算复杂度增加了。而且高维小波网络的映射学习时容易产生 “维数灾难”问题，即随着网络的输入维数增加，网络所需训练样本呈指数增长，网络的收敛速度会下降。这两点可考虑通过借助光学或VLSI技术，实现小波网络的并行高速运算而解决。 5 小波网络的应用与展望小波网络的应用与展望l自从小波网络被提出以后，它在许多领域中被较为广泛地应用。例如: 函数或信号逼近方面的应用； 数据与图像压缩方面的应用； 语音识别方面的应用；化学中光谱数据压缩与分类方面的应用；声纳信号分类方面的应用；机械故障信号分类方面的应用；电力系统故障信号识别与处理方面的应用；小波分析与模糊神经网络的结合，如小波模糊神经网络；其他方面的应用等。小波网络的理论远未成熟，主要表现为：a. 在逼近论中，神经网络、小波级数、小波网络和模糊系统，有着相似的表达形式，它们之间的内在联系是怎样的？神经网络、小波网络和模糊系统综合的研究可以参见文献；b. 小波网络中小波函数或尺度函数的最优选择问题；c. 虽然小波网络中隐层节点数确定方法已经有人进行了研究，但从实际应用来看，如何确定隐层节点最佳个数仍是有待进一步研究的问题；d. 小波网络中初始化参数问题，如所提出的小波网络，若尺度参数与位移参数初始化不合适，将导致整个网络学习过程的不收敛；e. 离散正交小波网络构造的复杂性和多维输入出现的“维数灾难”问题；f. 小波网络在实际中的实现问题，包括构造、算法和硬件实现等。