总总 结结 RBFRBF神经网络与神经网络与BPBP神经网络的比较神经网络的比较 lRBFRBF神经网络与神经网络与BPBP神经网络都是非线性多层神经网络都是非线性多层前向网络，它们都是通用逼近器。对于任前向网络，它们都是通用逼近器。对于任一个一个BPBP神经网络，总存在一个神经网络，总存在一个RBFRBF神经网络神经网络可以代替它，反之亦然。但是这两个网络可以代替它，反之亦然。但是这两个网络也存在着很多不同点，这里从网络结构、也存在着很多不同点，这里从网络结构、训练算法、网络资源的利用及逼近性能等训练算法、网络资源的利用及逼近性能等方面对方面对RBFRBF神经网络和神经网络和BPBP神经网络进行比较神经网络进行比较研究。研究。（1 1从网络结构上看从网络结构上看 lBPBP神经网络实行权连接，而神经网络实行权连接，而RBFRBF神经网络输入层到隐神经网络输入层到隐层单元之间为直接连接，隐层到输出层实行权连接。层单元之间为直接连接，隐层到输出层实行权连接。BPBP神经网络隐层单元的转移函数一般选择非线性函神经网络隐层单元的转移函数一般选择非线性函数如反正切函数），数如反正切函数），RBFRBF神经网络隐层单元的转移神经网络隐层单元的转移函数是关于中心对称的函数是关于中心对称的RBFRBF如高斯函数）。如高斯函数）。BPBP神经神经网络是二层或二层以上的静态前馈神经网络，其隐网络是二层或二层以上的静态前馈神经网络，其隐层和隐层节点数不容易确定，没有普遍适用的规律层和隐层节点数不容易确定，没有普遍适用的规律可循，一旦网络的结构确定下来，在训练阶段网络可循，一旦网络的结构确定下来，在训练阶段网络结构将不再变化；结构将不再变化；RBFRBF神经网络是二层静态前馈神经神经网络是二层静态前馈神经网络，隐层单元数也就是网络的结构可以根据研究网络，隐层单元数也就是网络的结构可以根据研究的具体问题，在训练阶段自适应地调整，这样网络的具体问题，在训练阶段自适应地调整，这样网络的适用性就更好了。的适用性就更好了。（2 2从训练算法上看从训练算法上看l BP BP神经网络需要确定的参数是连接权值和阈神经网络需要确定的参数是连接权值和阈值，主要的训练算法为值，主要的训练算法为BPBP算法和改进的算法和改进的BPBP算法。算法。但但BPBP算法存在许多不足之处，主要表现为易限算法存在许多不足之处，主要表现为易限于局部极小值，学习过程收敛速度慢，隐层和于局部极小值，学习过程收敛速度慢，隐层和隐层节点数难以确定。隐层节点数难以确定。RBFRBF神经网络的训练算神经网络的训练算法在前面已做了论述，目前，很多法在前面已做了论述，目前，很多RBFRBF神经网神经网络的训练算法支持在线和离线训练，可以动态络的训练算法支持在线和离线训练，可以动态确定网络结构和隐层单元的数据中心和扩展常确定网络结构和隐层单元的数据中心和扩展常数，学习速度快，比数，学习速度快，比BPBP算法表现出更好的性能。算法表现出更好的性能。（3 3从网络资源的利用上看从网络资源的利用上看lRBF神经网络原理、结构和学习算法的特殊性决定了其隐层单神经网络原理、结构和学习算法的特殊性决定了其隐层单元的分配可以根据训练样本的容量、类别和分布来决定。如采元的分配可以根据训练样本的容量、类别和分布来决定。如采用最近邻聚类方式训练网络，网络隐层单元的分配就仅与训练用最近邻聚类方式训练网络，网络隐层单元的分配就仅与训练样本的分布及隐层单元的宽度有关，与执行的任务无关。在隐样本的分布及隐层单元的宽度有关，与执行的任务无关。在隐层单元分配的基础上，输入与输出之间的映射关系，通过调整层单元分配的基础上，输入与输出之间的映射关系，通过调整隐层单元和输出单元之间的权值来实现，这样，不同的任务之隐层单元和输出单元之间的权值来实现，这样，不同的任务之间的影响就比较小，网络的资源就可以得到充分的利用。这一间的影响就比较小，网络的资源就可以得到充分的利用。这一点和点和BP神经网络完全不同，神经网络完全不同，BP神经网络权值和阈值的确定由神经网络权值和阈值的确定由每个任务输出节点均方差的总和直接决定，这样，训练的每个任务输出节点均方差的总和直接决定，这样，训练的网络只能是不同任务的折中，对于某个任务来说，就无法达到网络只能是不同任务的折中，对于某个任务来说，就无法达到最佳的效果。而最佳的效果。而RBF神经网络则可以使每个任务之间的影响降神经网络则可以使每个任务之间的影响降到较低的水平，从而每个任务都能达到较好的效果，这种并行到较低的水平，从而每个任务都能达到较好的效果，这种并行的多任务系统会使的多任务系统会使RBF神经网络的应用越来越广泛。神经网络的应用越来越广泛。l总之，总之，RBFRBF神经网络可以根据具体问题确定相应的神经网络可以根据具体问题确定相应的网络拓扑结构，具有自学习、自组织、自适应功网络拓扑结构，具有自学习、自组织、自适应功能，它对非线性连续函数具有一致逼近性，学习能，它对非线性连续函数具有一致逼近性，学习速度快，可以进行大范围的数据融合，可以并行速度快，可以进行大范围的数据融合，可以并行高速地处理数据。高速地处理数据。RBFRBF神经网络的优良特性使得其神经网络的优良特性使得其显示出比显示出比BPBP神经网络更强的生命力，正在越来越神经网络更强的生命力，正在越来越多的领域内替代多的领域内替代BPBP神经网络。目前，神经网络。目前，RBFRBF神经网络神经网络已经成功地用于非线性函数逼近、时间序列分析、已经成功地用于非线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等。统建模、控制和故障诊断等。LearningLearning中的代数结构的建立中的代数结构的建立空间空间所谓空间就是指一个集合以及在上面所谓空间就是指一个集合以及在上面定义的某种数学结构。关于这个数定义的某种数学结构。关于这个数学结构的定义或者公理，就成为这学结构的定义或者公理，就成为这个数学分支的基础，一切由此而展个数学分支的基础，一切由此而展开。开。Rn 除了线性运算，包括度量结构和内积除了线性运算，包括度量结构和内积结构。结构。l第一，它是一个拓扑空间第一，它是一个拓扑空间(Topological (Topological space)space)l如果对一个非空集合如果对一个非空集合X X给予适当的结构，使之给予适当的结构，使之能引入微积分中的极限和连续的概念，这样能引入微积分中的极限和连续的概念，这样的结构就称为拓扑，具有拓扑结构的空间称的结构就称为拓扑，具有拓扑结构的空间称为拓扑空间。为拓扑空间。l第二，它是一个度量空间第二，它是一个度量空间(Metric space)(Metric space)。我们可以计算上面任意两点的距离。我们可以计算上面任意两点的距离。l第三，它是一个有限维向量空间第三，它是一个有限维向量空间(Finite (Finite dimensional space)dimensional space)。因而，我们可以对里。因而，我们可以对里面的元素进行代数运算加法和数乘），我面的元素进行代数运算加法和数乘），我们还可以赋予它一组有限的基，从而可以用们还可以赋予它一组有限的基，从而可以用有限维坐标表达每个元素。有限维坐标表达每个元素。 l第四，基于度量结构和线性运算结构，可以第四，基于度量结构和线性运算结构，可以建立起分析建立起分析(Analysis)(Analysis)体系。我们可以对连体系。我们可以对连续函数进行微分，积分，建立和求解微分方续函数进行微分，积分，建立和求解微分方程，以及进行傅立叶变换和小波分析。程，以及进行傅立叶变换和小波分析。l第五，它是一个希尔伯特空间也就是完备的第五，它是一个希尔伯特空间也就是完备的内积空间）内积空间）(Hilbert space, Complete inner (Hilbert space, Complete inner product space)product space)。它有一套很方便计算的内积。它有一套很方便计算的内积(inner product)(inner product)构造构造这个空间的度量结构这个空间的度量结构其实就是从其内积结构诱导出来。更重要的，其实就是从其内积结构诱导出来。更重要的，它是完备的它是完备的(Complete)(Complete)代表任何一个柯西序代表任何一个柯西序列列(Cauchy sequence)(Cauchy sequence)都有极限都有极限很多人有意很多人有意无意中其实用到了这个特性，不过习惯性地认无意中其实用到了这个特性，不过习惯性地认为是理所当然了。为是理所当然了。l第六，它上面的线性映射构成的算子空间仍旧是第六，它上面的线性映射构成的算子空间仍旧是有限维的有限维的一个非常重要的好处就是，所有的线一个非常重要的好处就是，所有的线性映射都可以用矩阵唯一表示。特别的，因为它性映射都可以用矩阵唯一表示。特别的，因为它是有限维完备空间，它的泛函空间和它本身是同是有限维完备空间，它的泛函空间和它本身是同构的，也是构的，也是RnRn。因而，它们的谱结构，也就可以。因而，它们的谱结构，也就可以通过矩阵的特征值和特征向量获得。通过矩阵的特征值和特征向量获得。 l第七，它是一个测度空间第七，它是一个测度空间可以计算子集的大小可以计算子集的大小面积面积/ /体积）。正因为此，我们才可能在上面建体积）。正因为此，我们才可能在上面建立概率分布立概率分布(distribution)(distribution)这是我们接触的绝这是我们接触的绝大多数连续统计模型的基础。大多数连续统计模型的基础。LearningLearning的主要工作分成两个大的范畴：的主要工作分成两个大的范畴：建立一种表达形式，让它处于上面讨论的建立一种表达形式，让它处于上面讨论的RnRn空空间里面。间里面。 获得了有限维向量表达后，建立各种代数算法或获得了有限维向量表达后，建立各种代数算法或者统计模型进行分析和处理。者统计模型进行分析和处理。表达表达讨论第一个范畴。先看看，目前用得比较广泛的讨论第一个范畴。先看看，目前用得比较广泛的一些方法：一些方法：直接基于原始数据建立表达。我们关心的最终目直接基于原始数据建立表达。我们关心的最终目标是一个个现实世界中的对象：一幅图片，一标是一个个现实世界中的对象：一幅图片，一段语音，一篇文章，一条交易记录，等等。这段语音，一篇文章，一条交易记录，等等。这些东西大部分本身没有附着一个数值向量的。些东西大部分本身没有附着一个数值向量的。为了构造一个向量表达，我们可以把传感器中为了构造一个向量表达，我们可以把传感器中记录的数值，或者别的什么方式收集的数值数记录的数值，或者别的什么方式收集的数值数据按照一定的顺序罗列出来，就形成一个向量据按照一定的顺序罗列出来，就形成一个向量了。如果有了。如果有n n个数字，就认为它们在个数字，就认为它们在RnRn里面。里面。量化量化(quantization)(quantization)l这是在处理连续信号时被广泛采用的方式。只这是在处理连续信号时被广泛采用的方式。只是习以为常，一般不提名字而已。比如一个空是习以为常，一般不提名字而已。比如一个空间信号间信号VisionVision中的中的imageimage或者时间信号，或者时间信号，它们的它们的domaindomain中的值是不可数无限大的中的值是不可数无限大的(uncountably infinite)(uncountably infinite)，不要说表示为有限，不要说表示为有限维向量，即使表达为无限序列也是不可能的。维向量，即使表达为无限序列也是不可能的。在这种情况下，一般在有限域内，按照一定顺在这种情况下，一般在有限域内，按照一定顺序每隔一定距离取一个点来代表其周围的点，序每隔一定距离取一个点来代表其周围的点，从而形成有限维的表达。这就是信号在时域或从而形成有限维的表达。这就是信号在时域或空域的量化。空域的量化。l这样做不可避免要丢失信息。但是，由于小这样做不可避免要丢失信息。但是，由于小邻域内信号的高度相关，信息丢失的程度往邻域内信号的高度相关，信息丢失的程度往往并不显著。而且，从理论上说，这相当于往并不显著。而且，从理论上说，这相当于在频域中的低通过率。对于有限能量的连续在频域中的低通过率。对于有限能量的连续信号，不可能在无限高的频域中依然保持足信号，不可能在无限高的频域中依然保持足够的强度，只要采样密度足够，丢失的东西够的强度，只要采样密度足够，丢失的东西可以任意的少。可以任意的少。l除了表示信号，对于几何形体的表达也经常除了表示信号，对于几何形体的表达也经常使用量化。使用量化。数学结构数学结构l找出有限个数充分表达一个对象也许不是最困难的。找出有限个数充分表达一个对象也许不是最困难的。不过不过, ,在其上面建立数学结构却未必了。首先需要一在其上面建立数学结构却未必了。首先需要一个拓扑结构用以描述空间上的点是如何联系在一起。个拓扑结构用以描述空间上的点是如何联系在一起。直接建立拓扑结构在数学上往往非常困难，也未必直接建立拓扑结构在数学上往往非常困难，也未必实用。因而，绝大部分工作采取的方式是首先建立实用。因而，绝大部分工作采取的方式是首先建立度量结构。一个度量空间，其度量会自然地诱导出度量结构。一个度量空间，其度量会自然地诱导出一个拓扑结构。一个拓扑结构。l最简单的情况，就是使用原始向量表达的欧氏距离。最简单的情况，就是使用原始向量表达的欧氏距离。不过，由于原始表达数值的不同特性，这种方式效不过，由于原始表达数值的不同特性，这种方式效果一般不是特别好，未必能有效表达实际对象的相果一般不是特别好，未必能有效表达实际对象的相似性或者不相似性）。因而，很多工作会有再此似性或者不相似性）。因而，很多工作会有再此基础上进行度量的二次建立。基础上进行度量的二次建立。l方式是多种多样的，一种是寻求一个映射，方式是多种多样的，一种是寻求一个映射，把原空间的元素变换到一个新的空间，在那把原空间的元素变换到一个新的空间，在那里欧氏距离变得更加合适。这个映射发挥的里欧氏距离变得更加合适。这个映射发挥的作用包括对信息进行筛选，整合，对某些部作用包括对信息进行筛选，整合，对某些部分进行加强或者抑制。这就是大部分关于分进行加强或者抑制。这就是大部分关于feature selectionfeature selection，feature extractionfeature extraction。这两种方式未必是不同的。如果映射是单射，这两种方式未必是不同的。如果映射是单射，那么它相当于在原空间建立了一个不同的度那么它相当于在原空间建立了一个不同的度量。量。代数运算代数运算l上面提到的度量建立方法，比如欧氏距离，它上面提到的度量建立方法，比如欧氏距离，它需要对元素进行代数运算。可是，有些事物其需要对元素进行代数运算。可是，有些事物其原始表达可能是一个原始表达可能是一个setset，一个，一个graphgraph，或者别，或者别的什么特别的的什么特别的objectobject。怎么建立代数运算呢？。怎么建立代数运算呢？l一个新的代数结构一旦建立起来，其它的数学一个新的代数结构一旦建立起来，其它的数学结构，包括拓扑，度量，分析，以及内积结构结构，包括拓扑，度量，分析，以及内积结构也随之能被自然地诱导出来，我们也就具有了也随之能被自然地诱导出来，我们也就具有了对这个对象空间进行各种数学运算和操作的基对这个对象空间进行各种数学运算和操作的基础础嵌入嵌入(embedding)到某个向量空间到某个向量空间l最常见的就是保距嵌入，我们首先建立度量结最常见的就是保距嵌入，我们首先建立度量结构绕过向量表达，直接对两个对象的距离通构绕过向量表达，直接对两个对象的距离通过某种方法进行计算），然后把这个空间嵌入过某种方法进行计算），然后把这个空间嵌入到目标空间，通常是有限维向量空间，要求保到目标空间，通常是有限维向量空间，要求保持度量不变。持度量不变。lmanifold embedding，这个是通过保持局部，这个是通过保持局部结构的嵌入，获取全局结构。结构的嵌入，获取全局结构。内积内积(inner product)构造构造l内积结构一旦建立，会直接诱导出一种性质良内积结构一旦建立，会直接诱导出一种性质良好的度量，就是范数好的度量，就是范数(norm)(norm)，并且进而诱导出，并且进而诱导出拓扑结构。拓扑结构。kernelkernel理论指出，对于一个空间，理论指出，对于一个空间，只要定义一个正定核只要定义一个正定核(positive kernel)(positive kernel)，就，就必然存在一个希尔伯特空间，其内积运算等效必然存在一个希尔伯特空间，其内积运算等效于核运算。这个结论的重要意义在于，我们可于核运算。这个结论的重要意义在于，我们可以绕开线性空间，通过首先定义以绕开线性空间，通过首先定义kernelkernel的方式，的方式，诱导出一个线性空间诱导出一个线性空间( (再生核希尔伯特空间再生核希尔伯特空间 Reproducing Kernel Hilbert Space)Reproducing Kernel Hilbert Space)，从而，从而我们就自然获得我们所需要的度量结构和线性我们就自然获得我们所需要的度量结构和线性运算结构。这是运算结构。这是kernel theorykernel theory的基础。的基础。lkernelkernel被视为非线性化的重要手段，用于处理被视为非线性化的重要手段，用于处理非高斯的数据分布。通过非高斯的数据分布。通过nonlinear kernelnonlinear kernel改改造的内积空间，其结构和原空间的结构确实不造的内积空间，其结构和原空间的结构确实不是线性关联，从这个意义上说，它实施了非线是线性关联，从这个意义上说，它实施了非线性化。不过，我们还应该明白，它的最终目标性化。不过，我们还应该明白，它的最终目标还是要回到线性空间，新的内积空间仍旧是一还是要回到线性空间，新的内积空间仍旧是一个线性空间，它一旦建立，其后的运算都是线个线性空间，它一旦建立，其后的运算都是线性的，因而，性的，因而，kernelkernel的使用就是为了寻求一个的使用就是为了寻求一个新的线性空间，使得线性运算更加合理新的线性空间，使得线性运算更加合理非非线性化的改造最终仍旧是要为线性运算服务。线性化的改造最终仍旧是要为线性运算服务。流形流形(manifold)l上面说到的都是从全局的方式建立代数结构的上面说到的都是从全局的方式建立代数结构的过程，但是那必须以某种全局结构为基础无过程，但是那必须以某种全局结构为基础无论预先定义的是运算，度量还是内积，都必须论预先定义的是运算，度量还是内积，都必须适用于全空间。）但是，全局结构未必存在或适用于全空间。）但是，全局结构未必存在或者适合，而局部结构往往简单方便得多。这里者适合，而局部结构往往简单方便得多。这里就形成一种策略，以局部而达全局就形成一种策略，以局部而达全局这就是这就是流形流形(manifold)(manifold)的思想，而其则根源于拓扑学。的思想，而其则根源于拓扑学。l从拓扑学的角度说，流形就是一个非常优良的从拓扑学的角度说，流形就是一个非常优良的拓扑空间：符合拓扑空间：符合HausdorffHausdorff分离公理任何不分离公理任何不同的两点都可以通过不相交的邻域分离），符同的两点都可以通过不相交的邻域分离），符合第二可数公理具有可数的拓扑基），并且合第二可数公理具有可数的拓扑基），并且更重要的是，局部同胚于更重要的是，局部同胚于RnRn。因而，一个正。因而，一个正则则(Regular)(Regular)流形基本就具有了各种最良好的流形基本就具有了各种最良好的拓扑特性。而局部同胚于拓扑特性。而局部同胚于RnRn，代表了它至少，代表了它至少在局部上可以继承在局部上可以继承RnRn的各种结构，比如线性的各种结构，比如线性运算和内积，从而建立分析体系。运算和内积，从而建立分析体系。神经网络在模式识别中的应用神经网络在模式识别中的应用设计一个三层设计一个三层BPBP网络对数字网络对数字0 0至至9 9进行分类进行分类 每每个个数数字字用用9 9 7 7的的网网格格表表示示，灰灰色色像像素素代代表表0 0，黑黑色色像像素素代代表表1 1。将将每每个个网网格格表表示示为为0 0，1 1的的长长位位串串。位位映映射射由由左左上上角角开开始始向向下下直直到到网格的整个一列，然后重复其他列。网格的整个一列，然后重复其他列。 选选择择BPBP网网络络结结构构为为63-6-1063-6-10。6363个个输输入入结结点点，对对应应上上述述网网格格的的映映射射。1010个个输输出出结结点点对对应应1010种种分分类类。如如果果输输出出结结点点的的值值大大于于0.90.9，则取为，则取为ONON，如果输出结点的值小于，如果输出结点的值小于0.10.1，则取为，则取为OFFOFF。 测试结果表明：除了8以外，所有被测的数字都能够被正确地识别。对于数字8，神经网络的第6个结点的输出值为0.53，第8个结点的输出值为0.41，表明第8个样本是模糊的，可能是数字6，也可能是数字8，但也不完全确信是两者之一。 当训练成功后，对如图当训练成功后，对如图所示测试数据进行测试。所示测试数据进行测试。测试数据都有一个或者测试数据都有一个或者多个位丢失。多个位丢失。lBPBP神经网络在软测量中的应用神经网络在软测量中的应用 o主导变量：被估计的变量。主导变量：被估计的变量。o辅助变量：与被估计变量相关的一组可测变量。辅助变量：与被估计变量相关的一组可测变量。o软测量系统的设计：软测量系统的设计：o辅助变量的选择：变量类型、变量数量和检测点辅助变量的选择：变量类型、变量数量和检测点位置的选择。位置的选择。o数据采集与处理。数据采集与处理。o软测量模型的建立：通过辅助变量来获得对主导软测量模型的建立：通过辅助变量来获得对主导变量的最佳估计。变量的最佳估计。 斗口流量软测量技术斗口流量软测量技术 l放水闸口，按照现行水资源管理办法，斗放水闸口，按照现行水资源管理办法，斗口流量是水管部门与用水单位结算水费的口流量是水管部门与用水单位结算水费的法定依据。法定依据。l量水法通过观测干渠量水法通过观测干渠( (闸前闸前) )水位和支渠水位和支渠( (闸闸后后) )若干点水位以及放水口的闸门开启高度，若干点水位以及放水口的闸门开启高度，建立适用的软测量模型是实现精确自动测建立适用的软测量模型是实现精确自动测量的关键。量的关键。Q=f(e,H,h1,h2,h3,)Q=f(e,H,h1,h2,h3,)分别接收启闸高度分别接收启闸高度e e、闸前水位、闸前水位H H和闸后水位和闸后水位h1,h2,h3,h4h1,h2,h3,h4共共6 6个直接测量值个直接测量值l多层前向网络软测量模型的性能依赖于网络结构多层前向网络软测量模型的性能依赖于网络结构和训练样本数据的质量。为此从水工试验获取的和训练样本数据的质量。为此从水工试验获取的大量数据中精选出大量数据中精选出1212组数据构成训练样本集组数据构成训练样本集, ,训练训练样本数据基本覆盖了特定流态下的典型测量值。样本数据基本覆盖了特定流态下的典型测量值。l为检验经过训练的为检验经过训练的BPBP网络和网络和RBFRBF网络软测量模型的网络软测量模型的测量精度和泛化能力测量精度和泛化能力, ,选择训练样本集之外的选择训练样本集之外的4 4组组试验数据试验数据,构成检验样本集。构成检验样本集。l基于神经网络的故障诊断基于神经网络的故障诊断一、神经网络用与故障诊断的优点一、神经网络用与故障诊断的优点 训训练练过过的的神神经经网网络络能能存存储储有有关关过过程程的的知知识识，能能直直接接从从历历史史故故障障信信息息中中学学习习。可可以以根根据据对对象象的的日日常常历历史史数数据据训训练练网网络络，然然后后将将此此信信息息与与当当前前测测量量数数据据进进行比较，以确定故障的类型。行比较，以确定故障的类型。 神神经经网网络络具具有有滤滤除除噪噪声声及及在在有有噪噪声声情情况况下下的的出出正正确确结结论论的的能能力力，可可以以训训练练人人工工神神经经网网络络来来识识别别故故障障信信息息，使使其其能能在在噪噪声声环环境境中中有有效效地地工工作作，这这种种滤滤除除噪噪声声的的能能力力使使得得人人工工神神经经网网络络适适合合在在线线故故障障检检测测和和诊断。诊断。 神经网路具有分辨故障原因及故障类型的能力。神经网路具有分辨故障原因及故障类型的能力。二、基于神经网络诊断系统结构二、基于神经网络诊断系统结构 l神经网络作为一种自适应的模式识别技术，并不需神经网络作为一种自适应的模式识别技术，并不需要预先给出有关模式的经验知识和判别函数，它通要预先给出有关模式的经验知识和判别函数，它通过自身的学习机制自动形成所要求的决策区域。网过自身的学习机制自动形成所要求的决策区域。网络的特性由其拓扑结构、神经元特性、学习和训练络的特性由其拓扑结构、神经元特性、学习和训练规则所决定。它可以充分利用状态信息，对来自于规则所决定。它可以充分利用状态信息，对来自于不同状态的信息逐一进行训练而获得某种映射关系。不同状态的信息逐一进行训练而获得某种映射关系。而且网络可以连续学习，如果环境发生改变，这种而且网络可以连续学习，如果环境发生改变，这种映射关系还可以自适应地进行调整。映射关系还可以自适应地进行调整。典型的基于神经网络模式识别典型的基于神经网络模式识别功能诊断系统结构功能诊断系统结构l基于神经网络的诊断过程分为两步。首先，基于一基于神经网络的诊断过程分为两步。首先，基于一定数量的训练样本集通常称为定数量的训练样本集通常称为“征兆征兆故障数故障数据集对神经网络进行训练，得到期望的诊断网络；据集对神经网络进行训练，得到期望的诊断网络；其次，根据当前诊断输入对系统进行诊断，诊断的其次，根据当前诊断输入对系统进行诊断，诊断的过程即为利用神经网络进行前向计算的过程。在学过程即为利用神经网络进行前向计算的过程。在学习和诊断之前，通常需要对诊断原始数据和训练样习和诊断之前，通常需要对诊断原始数据和训练样本数据进行适当的处理，包括预处理和特征选择本数据进行适当的处理，包括预处理和特征选择/ /提取等，目的是为诊断网络提供合适的诊断输入和提取等，目的是为诊断网络提供合适的诊断输入和训练样本。此外，尽管神经网络和传统的故障诊断训练样本。此外，尽管神经网络和传统的故障诊断是两种不同的诊断方法，但两者是紧密联系在一起是两种不同的诊断方法，但两者是紧密联系在一起的。如采用小波分析等数据处理方法，可用为神经的。如采用小波分析等数据处理方法，可用为神经网络诊断提供可以利用的特征向量。网络诊断提供可以利用的特征向量。 三、基于三、基于RBFRBF网络的齿轮箱故障诊断网络的齿轮箱故障诊断1、问题描述、问题描述 变速箱是整机进行减速增扭的部件，它受扭转和变速箱是整机进行减速增扭的部件，它受扭转和拉压两种载荷的综合作用，据统计，以齿轮为代表拉压两种载荷的综合作用，据统计，以齿轮为代表的变速箱故障发生率占据除发动机故障以外的其他的变速箱故障发生率占据除发动机故障以外的其他所有故障的所有故障的59%70%。在非拆卸状态下，传统的。在非拆卸状态下，传统的齿轮箱故障诊断手段往往依赖于专家的经验判断。齿轮箱故障诊断手段往往依赖于专家的经验判断。但是，由于齿轮箱是一种非常复杂的传动机构，它但是，由于齿轮箱是一种非常复杂的传动机构，它的故障模式和特征量之间是一种非常复杂的非线性的故障模式和特征量之间是一种非常复杂的非线性关系，再加上齿轮箱在不同工况下的随机因素，所关系，再加上齿轮箱在不同工况下的随机因素，所以专家的经验并不能解决所有的诊断问题。而应用以专家的经验并不能解决所有的诊断问题。而应用神经网络可以有效地避免这个问题。神经网络的自神经网络可以有效地避免这个问题。神经网络的自适应、自学习和对非线性系统超强的分析能力注定适应、自学习和对非线性系统超强的分析能力注定它可以在齿轮箱的故障诊断中大显身手。它可以在齿轮箱的故障诊断中大显身手。 2、输征兆、输征兆/故障样本集的收集与设计故障样本集的收集与设计神经网络输入的确定实际上就是特征量的提取，对神经网络输入的确定实际上就是特征量的提取，对于特征量的选取，主要考虑它是否与故障有比较于特征量的选取，主要考虑它是否与故障有比较确定的因果关系，如果输入征兆参数和故障没有确定的因果关系，如果输入征兆参数和故障没有任何关系，就不能建立它们之间的联系。任何关系，就不能建立它们之间的联系。 统计表明：齿轮箱故障中有统计表明：齿轮箱故障中有60%60%左右都是由齿轮左右都是由齿轮导致的，所以这里只研究齿轮故障的诊断。对于导致的，所以这里只研究齿轮故障的诊断。对于齿轮的故障，这里选取了频域中的几个特征量。齿轮的故障，这里选取了频域中的几个特征量。3、RBF网络设计网络设计神经网络工具箱中用于创建神经网络工具箱中用于创建RBFRBF网络的函数为网络的函数为newrbenewrbe，在设计过程中，最重要的参数是经向基函数的，在设计过程中，最重要的参数是经向基函数的分布常数。由于本例中的样本数目不是很大，将分布常数。由于本例中的样本数目不是很大，将分布常数设定为分布常数设定为1.21.2。4、测试创建的、测试创建的RBF网络网络接接下下来来通通过过一一组组实实际际数数据据对对网网络络进进行行测测试试，看看网网络络是是否否可可以以正正确确诊诊断断出出齿齿轮轮的的故故障障。如如果果正正确确诊诊断断出出故故障障，则则网网络络可可以以投投入入使使用用。分分别别在在无无故故障障、齿齿根根裂裂纹纹和和断断齿齿时时进进行行测测量量，得得到到各各参参数数的的值值，将将这这些些数数据据作作为为输输入入向向量量，利利用用仿仿真真函函数数计计算算网网络输出，通过故障判别准则看是否出了故障。络输出，通过故障判别准则看是否出了故障。测试数据测试数据 测试结果测试结果输 出 结 果 故障类别 0.9750，0.0010，0.0031 无故障 0.0008，0.9873，0.0046 齿根裂纹 0.0016，0.0034，0.9987 断齿l神经网络系统辨识的应用神经网络系统辨识的应用系统辨识在工业方面的广泛应用系统辨识在工业方面的广泛应用 1. 1. 控制系统的分析和设计控制系统的分析和设计 2. 2. 在实时控制中，辨识器做为被控对象的模型，在实时控制中，辨识器做为被控对象的模型， 调整控制器参数，获得较好的控制效果调整控制器参数，获得较好的控制效果 3. 3. 建立与辨识系统的逆模型，做为控制器建立与辨识系统的逆模型，做为控制器 4. 4. 预测、预报：建立时变模型，预测其参数，预测、预报：建立时变模型，预测其参数， 以实现系统参数的预测、预报。以实现系统参数的预测、预报。 5. 5. 监视系统运行状态，进行故障诊断监视系统运行状态，进行故障诊断系统辨识基本原理系统辨识基本原理基于神经网络的系统辨识基于神经网络的系统辨识 基于神经网络的系统辨识基于神经网络的系统辨识 选择适当的神经网络作为被辨识系统选择适当的神经网络作为被辨识系统P P的模型、的模型、（可是线性系统，也可是非线性系统）。（可是线性系统，也可是非线性系统）。 辨识过程辨识过程 所选的网络结构确定后，在给定的被辨识系统所选的网络结构确定后，在给定的被辨识系统输入输出观测数据下，网络通过学习训练），输入输出观测数据下，网络通过学习训练），不断的调整权系值，使得准则函数为最优。不断的调整权系值，使得准则函数为最优。q在线辨识在线辨识q 系统运行中完成，辨识过程应具有实时性，即必系统运行中完成，辨识过程应具有实时性，即必须在一个采样周期内，产生一次须在一个采样周期内，产生一次 模型参数估计的模型参数估计的调整值。调整值。q 离线辨识离线辨识q 取得系统输入输出数据，存储后再辨识，辨识与取得系统输入输出数据，存储后再辨识，辨识与系统分离，无实时性要求。离线辨识系统分离，无实时性要求。离线辨识 使网络在系使网络在系统工作前，先完成训练，因输入输出训练集很难覆统工作前，先完成训练，因输入输出训练集很难覆盖系统工作范围，难以适应系统工作中参数变化。盖系统工作范围，难以适应系统工作中参数变化。q克服离线辨识不足q先进行离线训练，得到网络的权系作为在线学习初始权，再进行在线学习，以加快后者学习过程。q神经网络具有学习能力，在被辨识系统特性变化时，能通过调整权系值，自适应跟踪被辨识系统的变化。q神经控制系统中，系统辨识是以系统在闭环控制下所得到的观测数据进行的，因而，是在线辨识。对于时变系统，在线方法，实时辨识是唯一可选用的方法。动态系统辨识常用的神经网络动态系统辨识常用的神经网络 非线性非线性DTNNDTNN输出反馈网络输出反馈网络内时延反馈网络内时延反馈网络是局部递归网络，既有前馈又有反馈，是动态网络，是是局部递归网络，既有前馈又有反馈，是动态网络，是滤波器。可为单输入单输出，也可为多输入多输出。滤波器。可为单输入单输出，也可为多输入多输出。两种辨识结构两种辨识结构从神经网络模型的输入输出，与被辨识系统的输入输出关系上，可分为两种辨识结构：并联型；串并联型并联型并联型串串并联型并联型假设非线性对象的数学模型可以表示为：假设非线性对象的数学模型可以表示为： 其中其中f f是描述系统特征的未知非线性函数，是描述系统特征的未知非线性函数，m m，n n分别分别为输入输出的阶次。则可以利用多层前向为输入输出的阶次。则可以利用多层前向BPBP网络来网络来逼近非线性函数，进而估计对象的模型。逼近非线性函数，进而估计对象的模型。 人工神经网络的辨识技术人工神经网络的辨识技术BPBP网络系统辨识原理图网络系统辨识原理图 液压伺服系统的辨识液压伺服系统的辨识风洞的控制对象的传递函数：风洞的控制对象的传递函数：或假设控制对象的二阶惯性加纯滞后的系统，那假设控制对象的二阶惯性加纯滞后的系统，那么么 为系统滞后时间， 为系统采样时间。观察所得实验数据，可知：模型仿真验证实验：模型仿真验证实验：Ma = 0.4样本数据为：Ma = 0.4, 0.6, 0.7, 0.8, 0.9, 1.0模型仿真验证实验：Ma = 0.8样本数据为：Ma = 0.4, 0.6, 0.7, 0.8, 0.9, 1.0模型仿真验证实验：Ma = 1.0样本数据为：Ma = 0.4, 0.6, 0.7, 0.8, 0.9, 1.0系统开环实验：系统开环实验：l神经控制的设计与实现神经控制的设计与实现传感器l 不确定、不确知系统与环境不确定、不确知系统与环境 对处于不确定、不确知环境中的复杂的非线性不对处于不确定、不确知环境中的复杂的非线性不确定、不确知系统的设计问题，是控制领域研究确定、不确知系统的设计问题，是控制领域研究的核心问题。神经控制是解决问题的一条途径。的核心问题。神经控制是解决问题的一条途径。 在已知被控对象的一些先验知识情况下：在已知被控对象的一些先验知识情况下： （1 1由神经网络做辨识器，在线识别对象模型，由神经网络做辨识器，在线识别对象模型，由于网络的学习能力，辨识器的参数可随着对象、由于网络的学习能力，辨识器的参数可随着对象、环境的变化而自适应的改变。环境的变化而自适应的改变。 （2 2由神经网络做控制器，其性能随着对象、环由神经网络做控制器，其性能随着对象、环境的变化而自适应的改变通过神经辨识器）。境的变化而自适应的改变通过神经辨识器）。 控制结构有两个网络，在高维空间搜索寻优，训练时，需调整的权系值多，且收敛速度与所选的学习算法、初始权系有关，因而，系统设计还是有相当难度的。 神经控制结构一例单神经元PID控制数字数字PIDPID算法：算法：增量式增量式PIDPID控制算法：控制算法：基于基于BPBP神经网络的神经网络的PIDPID控制控制控制器由两部分组成：控制器由两部分组成：常规常规PIDPID控制器：直接进行闭环控制；控制器：直接进行闭环控制；神经网络神经网络NNNN：对：对PIDPID参数进行调整。参数进行调整。基于神经网络的多电机同步控制基于神经网络的多电机同步控制l对于多电机同步控制系统来说，实现的是电动机对于多电机同步控制系统来说，实现的是电动机转速的跟随，受到扰动的电动机转速是变化的，转速的跟随，受到扰动的电动机转速是变化的，其它的电动机跟随这台电动机的转速变化。在系其它的电动机跟随这台电动机的转速变化。在系统受到扰动后，电动机之间的转速趋于同步越快统受到扰动后，电动机之间的转速趋于同步越快越好，即应尽快消除转速偏差；当电动机之间的越好，即应尽快消除转速偏差；当电动机之间的转速趋于同步时，要尽量减小转速发生超调。转速趋于同步时，要尽量减小转速发生超调。l一般情况是要求系统中的第一般情况是要求系统中的第i台电动机转速台电动机转速vi和第和第i+l台电动机转速台电动机转速vi+1，之间保持一定的比例关系，之间保持一定的比例关系，即即vi=avi+1以满足系统的实际工艺要求。这里以满足系统的实际工艺要求。这里a为转速同步系数。为转速同步系数。同步控制器补偿同样采用同步控制器补偿同样采用PIDPID控制。其差值经过控制。其差值经过PIDPID补补偿器加到随动电机输入端。偿器加到随动电机输入端。lBPBP神经网络，根据系统的运行状态，调节神经网络，根据系统的运行状态，调节PIDPID控制控制器的参数，以期达到某种性能指标的最优化，使器的参数，以期达到某种性能指标的最优化，使输出层神经元的输出对应于输出层神经元的输出对应于PIDPID控制器的控制器的3 3个可调个可调参数参数KDKD、KiKi、KdKd。通过。通过BPBP神经网络的自学习、加神经网络的自学习、加权系数的调整，使权系数的调整，使BPBP神经网络输出对应于某种最神经网络输出对应于某种最优控制规律下的优控制规律下的PIDPID控制器参数。以电机作为控制控制器参数。以电机作为控制对像，一般采用增量式对像，一般采用增量式PIDPID控制算法进行控制。控制算法进行控制。比较两种仿真结果，经计算采用常规比较两种仿真结果，经计算采用常规PIDPID补偿器时，突补偿器时，突加负载扰动后，同步误差加负载扰动后，同步误差Verror=0Verror=02626；采用神经；采用神经网络网络PIDPID补偿器时，突加负载扰动后，同步误差补偿器时，突加负载扰动后，同步误差VerrorVerror=O=O0808。