学习的课程内容学习的课程内容Part I 理论教学理论教学第第1章章 辨识的一些基本概念辨识的一些基本概念内内 容：容： 系统和模型概念、建模方法、辨识定义、辨识问题的表达形式、系统和模型概念、建模方法、辨识定义、辨识问题的表达形式、 辨识算法的基本原理、误差准则、辨识的内容和步骤、辨识的应用。辨识算法的基本原理、误差准则、辨识的内容和步骤、辨识的应用。 内内 容：容： 随机过程的基本概念及其数学描述、谱密度函数、白噪声及其产随机过程的基本概念及其数学描述、谱密度函数、白噪声及其产生方法、生方法、 M序列的产生及其性质序列的产生及其性质第第2章章 随机信号的描述与分析随机信号的描述与分析第第3章章 过程的数学描述过程的数学描述内内 容：容： 连续系统的输入输出模型、离散系统的输入输出模型、数学模连续系统的输入输出模型、离散系统的输入输出模型、数学模 型之间的等价变换、噪声模型及其分类。型之间的等价变换、噪声模型及其分类。 第第4 4章章 经典的辨识方法经典的辨识方法内内 容：容：LevyLevy法、相关分析法、实验一辅导。法、相关分析法、实验一辅导。第第5 5章章 线性动态模型参数辨识（线性动态模型参数辨识（I II I II ）最小二乘法）最小二乘法 内内 容：容： 最小二乘法的基本概念、最小二乘问题的提法、最小二乘问题最小二乘法的基本概念、最小二乘问题的提法、最小二乘问题的解、最小二乘参数估计的收敛性、最小二乘参数估计的几何解析、最小的解、最小二乘参数估计的收敛性、最小二乘参数估计的几何解析、最小二乘参数估计的统计性质、最小二乘参数估计的递推算法、最小二乘递推二乘参数估计的统计性质、最小二乘参数估计的递推算法、最小二乘递推算法的几种变形，增广最小二乘法、广义最小二乘法、辅助变量法、相关算法的几种变形，增广最小二乘法、广义最小二乘法、辅助变量法、相关二步法。二步法。第第6 6章章 梯度校正参数辨识方法梯度校正参数辨识方法内 容：确定性问题的梯度校正参数辨识方法 随机性问题的梯度校正法第第7 7章章 极大似然法极大似然法第第8 8章章 模型阶次辨识模型阶次辨识 内 容：Hankel矩阵法、F-Test定阶法。第第9 9章章 系统辨识在实际中的应用系统辨识在实际中的应用参考书：参考书：1.1.方崇智、萧德云编著，方崇智、萧德云编著，过程辨识过程辨识，清华大学出版社，北京，清华大学出版社，北京3.3.蔡季冰编著，蔡季冰编著，系统辨识系统辨识，北京理工大学出版社，北京，北京理工大学出版社，北京预修课程：自动控制原理，概率统计与随机过程预修课程：自动控制原理，概率统计与随机过程 2.2.李言俊，张科编著，李言俊，张科编著，系统辨识理论及应用系统辨识理论及应用，国防工业出版社，北京，国防工业出版社，北京系统辨识基础系统辨识基础 第第1 1讲讲 第第1 1章章 辨识的一些基本概念辨识的一些基本概念1.1 系统和模型 (第1讲)1.2 辨识的定义和三要素(第2讲)1.3 辨识算法的基本原理 (第2讲)1.4 辨识的步骤(第2讲) 1.5 线性系统辨识问题的表达形式(第3讲)1.6 线性系统辨识的误差准则及其关于参数空间的线性问题(第3讲)1.1 系统和模型1.1.1 系统1.1.2 模型1.1.3 建模方法1.1.1 系统定义System: A group of interacting, interrelated, or interdependent elements forming a whole （金山词霸）.An object in which variables of different kinds interact and produce observable signals (Ljung)其它课程、科学研究、工程实践、日常生活严格定义 系统科学（不讨论）1.1.1 系统例：带太阳能加热装置的房屋1.1.1 系统温度：感兴温度：感兴趣的可测输趣的可测输出出以系统的观点看待太阳能加热装置泵速：可泵速：可控的输入控的输入室外环境室外环境: :不可测的干扰输入不可测的干扰输入d dz z太阳辐射：可测太阳辐射：可测的干扰的干扰 输入输入uu可测可测输入输入1.1.1 系统太阳能加热系统框图激励激励不可测干扰可测输入可测输出1.1.1 系统系统：可以用如下框图来表示的客观对象系统的要素未知干扰可测输入可测输出我们感兴趣的可测信号使z发生变化的可测信号使z发生变化的不可测信号信号之间的客观因果关系？1.1.1 系统系统的分类(从f 的角度分)：动态与静态（静态系统是动态系统的特例）线性与非线性离散与连续（1.观察值总是离散的；2.控制系统的输出在采样间隔内保持不变；3.采样间隔足够小）1.1.1 系统线性动态系统是一种理想化的假设，可以简化研究工程实践中，很多系统可以近似看成线性系统1.1.2 模型(1) 数学模型(2) 其它类型的模型(3) 模型的定义(1)数学模型不可测干扰? ?e什么是数学模型数学模型：对真实系统的变量间相互关系的假定性数学描述? ?综合误差(1)数学模型数学模型的要素e系统的实际输出系统的实际输入综合误差直观：对d的模拟,ed（f f）,伪干扰本质：刻画u f z关系描述不了的部分( 未知d, f的误差)，强行补偿的手段u f z关系描述不了的误差,综合误差,方程误差,可以计算(1)数学模型数学模型和真实系统的区别可测输出不可测干扰可测输入e综合误差可测输入可测输出(1)数学模型数学模型的两类形式及其用途可测输出e综合误差可测输入系统分析系统设计预测(预测控制)性能监测与故障诊断仿真在线估计和软测量模型评价与系统辨识(1)数学模型数学模型的近似性和外特性等价从黑箱角度出发,外特性等价(统计意义)近似性模型是对真实系统本质信息的一种有用的描述(1)数学模型l数学模型的分类(i)静态模型与动态模型(ii)确定性模型与随机性模型(iii)定常模型与时变模型(iv)集中参数与分布参数模型(v)线性模型与非线性模型(vi)单变量与多变量模型(vii)连续与离散模型静态模型与动态模型动态模型是用来描述过程出于过渡过程时的各状态变量之间的关系的，它们一般都是时间的函数。而静态模型则是动态模型出于稳态时的表现，或者说静态模型是用来描述过程出于稳态时（各状态变量的各阶导数均为0）的各状态变量之间的关系的。它们一般不是时间的函数。确定性模型与随机模型由确定性模型所描述的过程，当过程的状态确定以后，过程的输出响应是唯一确定的。由随机性模型所描述的过程，即使过程的状态确定了，过程的输出响应仍然是不确定的。集中参数模型与分布参数模型集中参数模型中模型的各变量与空间位置无关，而把变量看作在整个系统中是均一的，对于稳态模型，其为代数方程，对于动态模型，则为常微分方程。分布参数模型中至少有一个变量与空间位置有关，所建立的模型对于稳态模型为空间自变量的常微分方程，对于动态模型为空间、时间自变量的偏微分模型线性模型与非线性模型线性模型用来描述线性过程，必定满足叠加原理和均匀性。非线性模型用来描述非线性过程，一般不满足叠加原理。另外需要注意的是：系统线性和关于参数空间线性的区别系统线性和关于参数空间线性的区别如果模型的输出关于输入变量是线性的，称之为系统线性。如果模型的输出关于参数空间是线性的，称之为参数空间线性。本质线性和本质非线性的区别本质线性和本质非线性的区别如果模型经过适当的数学变换可将原来是非线性的模型转变为线性模型，那么原来的模型称为本质线性，否则原来的模型称为本质非线性。(2)其它类型的模型 l根据 的实现形式，模型的表现形式为物理模型“直觉”模型图表模型数学模型(3) 模型的定义定义1LJUNG：“模型就是对系统的变量之间的相互关系的一种假设性描述。”定义2LJUNG：“一个系统的模型就是针对某种特定的目的、对该系统的某些特性的一种描述。”定义3Eykhoff, 1974 ：“模型是把关于系统（过程）的本质的部分信息简缩成有用的描述形式。”定义4徐南荣：“模型是对系统（实体）的特征和它的变化规律的一种表示或抽象，而且往往是对系统（实体）中那些所要研究的特定的特征定量的抽象。” 定义5：模型是针对特定的应用，对系统中与该应用相关的那些信号（变量）之间的本质关系的一种假定性的近似描述。 1.1.3 建模方法l机理建模， “白箱”建模，理论建模e机理分析(化学,物理,物料、能量平衡,传热传质)机理清楚不适合复杂系统“白箱”建模1.1.3 建模方法辨识建模，实验建模，统计建模，“黑箱”建模e拟合,统计分析外特性等价适合复杂系统建模机理不清“黑箱”建模1.1.3 建模方法混合建模，“灰箱”建模机理已知的部分采用机理建模，机理未知的部分采用辨识建模利用机理建模确定模型的结构，利用辨识建模确定模型的参数本课程的重点：辨识建模1.1.3 建模方法建模的基本原则目的性：建模的目的要明确；实在性：模型的物理概念要明确；可辨识性：模型结构要合理；输入信号要持续激励；数据要充足；悭吝：在满足精度要求的前提下，待辨识的模型参数个数要尽可能少(模型复杂度, 过拟合)系统辨识基础系统辨识基础 第第2 2讲讲 第第1 1章章 辨识的一些基本概念辨识的一些基本概念1.1 系统和模型 (第1讲) 1.2 辨识的定义和三要素(第2讲)1.3 辨识算法的基本原理 (第2讲)1.4 辨识的步骤(第2讲)1.5 线性系统辨识问题的表达形式(第3讲)1.6 线性系统辨识的误差准则及其关于参数空间的线性问题(第3讲)1.2 辨识的定义和三要素辨识的定义1 Zadeh,1962：辨识就是在输入和输出数据的基础上，从一组给定的模型类中，确定一个与所测系统等价的模型。辨识的定义2Ljung,1978 ：辨识就是按照一个准则在一组模型类中选择一个与数据拟合得最好的模型。典型的黑箱建模1.2 辨识的定义和三要素l辨识定义所揭示的辨识基本思路在候选模型类中选择一个选择的依据？最好地拟合输入输出数据输入输出数据什么是最好？定量的等价准则 l辨识三要素输入输出数据 模型类 (如系数待定的差分方程)等价准则1.3 辨识算法的基本原理准备好三要素 u和z, 辨识原理 ? ?三要素(每个要素变化，都会影响辨识结果)1.3 辨识算法的基本原理l模型类 要素1要素1要素2要素3批处理递推1.4 辨识的步骤(1)设计辨识实验，获取实验数据(2)选择模型类，即模型结构(3)选择等价准则 (4)求解优化问题，计算模型(5)模型校验(6)辨识步骤的重复(7)补充说明：参数辨识与结构辨识(8)辨识步骤图(1)设计辨识实验，获取实验数据l数据集是辨识的三要素之一l数据集性质影响辨识结果，u 数据集，因此要设计辨识实验(重点设计u) (1)设计辨识实验，获取实验数据lu 应该保证可辨识性可辨识性：辨识结果唯一 数据不合适时，优化问题的解不唯一输入信号为(2n阶)持续激励(n阶)系统可辨识持续激励：定义(略)，直观：信号要覆盖系统的全部频谱，要激励系统的所有模态(1)设计辨识实验，获取实验数据lu 应该保证辨识精度辨识参数的精度对于固定的数据集u、z对于固定的数据集u、z，Cramer-Rao不等式最优输入信号Fisher信息矩阵由u和系统特性决定 Cramer-Rao Cramer-Rao不等式不等式 考虑一个随机向量z，它在参数 条件下的条件概率密度函数记作 。在一定的正则条件下，参数 的任何无偏估计值 都将满足下列不等式：其中，M为Fisher信息矩阵，定义为 辨识输入信号的选择辨识输入信号的选择1.1.持续激励输入信号的要求持续激励输入信号的要求2.2.最优输入信号设计的要求最优输入信号设计的要求(1)设计辨识实验，获取实验数据l设计u时还应考虑的其它因素输入信号幅度不能太大，以免使工况进入非线性区； “净扰动”要小，正、负扰动机会均等（不影响工作点）；工程易实现，成本低 l设计实验时还应该考虑的因素采样时间的设计数据长度的设计 (2)选择模型类，即模型结构l模型类是辨识的三要素之一l模型结构严重不合理时，模型的预测误差和准则函数值很可能无法达到可接受的水平：l模型结构影响优化问题求解的难度和复杂度 l* 模型结构不合理时，可能影响系统的可辨识性，即上述优化问题的 解不唯一 （*不必掌握）(2)选择模型类，即模型结构l模型类的确定依赖于对系统的先验知识、或工程人员的直觉和经验。线性模型结构（如差分方程、传递函数、状态方程等）是人们在实际应用中所广泛选取的模型类。 (3)选择等价准则 l等价准则是辨识的三要素之一l影响辨识结果（例如，通过不同加权，使辨识对不同时间或不同频段模型误差赋予不同的重视程度）l影响优化问题的求解难度和辨识算法的形式和复杂度(3)选择等价准则最常见的等价准则，加权平方和 (4)求解优化问题，计算模型在(1)-(3)的基础上，求解 计算出辨识结果(5)模型校验在上述步骤(1)-(3)中，每一步都存在着很多不同的选择(1)-(3)的选择并不一定合理，(4)所得出的模型也不一定满意。因此，在得到模型后，必须通过各种手段来测试模型是否符合实际应用的要求。(5)模型校验常见的模型校验手段有：在实际应用中检验； 用不同时段的数据分别建立多个模型，检查模型特性一致性（零极点、增益、延迟等）；利用不同时段的数据分别建立模型，然后交叉使用数据，比较模型的准则函数值；增加数据长度，检查模型准则函数值的变化(6)辨识步骤的重复 当模型校验表明所得到的模型不可靠或不满意时，必须重复(1)-(5 )(6)辨识步骤的重复辨识步骤(1)设计辨识实验，获取实验数据(2)选择模型类，即模型结构(3)选择等价准则 (4)求解优化问题，计算模型(5)模型校验重复上述步骤，直到通过模型校验(7)补充说明：参数辨识与结构辨识l参数辨识参数辨识的内容 ：参数估计值参数辨识的方法：步骤(4)l结构辨识的内容模型类的形式（结构）， 的形式选定模型类后，确定参数的个数（例如，差分方程的阶次）(7)补充说明：参数辨识与结构辨识l结构辨识的方法（模型类的形式）：已包含在上述辨识步骤中：假定结构(2) 选择等价准则(3)求解优化问题，计算模型(4)模型检验(5)修改结构的假定(2) (7)补充说明：参数辨识与结构辨识阶次辨识的方法（结构辨识的特殊情况）假定阶次(2) 选择等价准则(3)求解优化问题，计算模型(4)校验(5)（采用专门用于检验阶次的准则函数）修改阶次(2) (8)辨识步骤图辨识目的先验知识实验设计输入输出信号检测存储模型结构设定辨识方法应用参数模型辨识非参数模型辨识模型结构辨识模型检验重新试验最终模型不合格合格经济指标任务实际经验预实验 操作条件等价准则系统辨识基础系统辨识基础 第第3 3讲讲 第第1 1章章 辨识的一些基本概念辨识的一些基本概念1.1 系统和模型 (第1讲) (书1.1)1.2 辨识的定义和三要素(第2讲) (书1.2)1.3 辨识算法的基本原理 (第2讲) (书1.4)1.4 辨识的步骤(第2讲) (书1.6)1.5 线性系统辨识问题的表达形式(第3讲) (书1.3)1.6 线性系统辨识的误差准则及其关于参数空间的线性问题(第3讲) (书1.5)1.5线性系统辨识问题的表达形式(1)线性系统和线性模型类(2) 最小二乘格式(1)线性系统和线性模型类l在工程实践中，当信号在工作点附近小范围变化时，很多系统都可以近似看成线性系统(1)线性系统和线性模型类l对于线性系统，可以选择线性模型类待确定参数待确定参数任意形式的线性模型l线性系统和线性模型的区别伪干扰补偿手段综合误差,方程误差(2)最小二乘格式基于ARX模型的模型类(2)最小二乘格式ARX模型最小二乘格式最小二乘格式很多线性模型类都可以等价转换成最小二乘格式(2)最小二乘格式l最小二乘格式模型类l意义：统一的模型类,统一的辨识方法待辨识，线性模型类数据向量方程误差(2)最小二乘格式最小二乘格式模型类的要素系统的可观测数据向量假定的变量间关系补偿手段方程误差综合误差不是真实的干扰 估计输出(2)最小二乘格式线性模型化成最小二乘格式的规则(辨识算法的需要)数据向量h中的元素必须是线性不相关的(保证将来的最小二乘算法有解)；数据向量h中的所有元素必须是可测或可估计的参数向量 必须包括模型中的所有独立参数；(2)最小二乘格式线性系统与最小二乘模型类的比较客观的线性系统 人为假定的模型类 实际的干扰 方程误差 实际输入 数据向量 (2)最小二乘格式l线性系统也可以表达成最小二乘格式人为假定的模型类 方程误差 客观存在 干扰 (e)真实参数假定参数(2)最小二乘格式l基于最小二乘格式，重新理解辨识的基本原理(第2讲，与图1.9有区别)要素1要素1要素2要素3批处理递推(2)最小二乘格式l基于最小二乘格式，重新理解辨识的基本原理(第2讲，图1.9)批处理递推(残差,新息)(2)最小二乘格式k 时刻的输出值预测：k 时刻的输出误差，或称为“新息”原理：将新息(Innovation)“反馈”到辨识算法中去，依据该值修正“下一时刻”模型参数的估计值。此迭代过程不断进行下去，直至对应的准则函数取得最小值。反馈的又一功能。与神经网络的学习算法（Bp）算法相似。“辨识”的过程就是“学习”的过程。辨识的精度问题“时域评价结果”与“频域评价结果”不一致。设对象具有如下传递函数：辨识得到的模型为： 以阶跃响应为评价指标：精度较高。以阶跃响应为评价指标：精度较高。. 阶跃响应的对比脉冲响应的对比频率特性的对比结论：1. 辨识得到的模型只是实际过程的近似，需要有明确的评价指标；2. 不同的评价指标会得出不同的“精度评价”结果。提示：不必要一味追求“精确”的模型。评价标准：实际应用的效果。(2)最小二乘格式关于参数空间线性的模型也可以化成最小二乘格式(2)最小二乘格式本质线性模型也可以化成最小二乘格式1.6 线性系统辨识的误差准则及其关于参数空间的线性问题(1)引言(2) 输出误差准则(3)广义误差准则(4)输入误差准则(1)引言l采用平方和准则函数除输出误差外，还可采用其它误差(2) 输出误差准则输出误差(2) 输出误差准则 误差准则的导数关于参数是非线性的(2) 输出误差准则 如果扰动是作用在过程输出端的白噪声，那么选用这种误差准则就是理所当然的了。但是，输出误差的导数通常是模型参数的非线性函数，因此在这种误差准则意义下，辨识问题将归结成复杂的非线性最优化问题，需要用梯度法、牛顿法或共轭梯度法等迭代的最优化算法，这就使得辨识算法变得比较复杂。在实际应用中是否采用这种误差准则要视具体情况而定。(3) 广义误差准则广义误差(3) 广义误差准则误差准则的导数关于参数是线性的(3) 广义误差准则l广义误差准则的另一种解释（方程式误差）另一种输出重构方法,最优预测(4) 输入误差准则 输入误差(4) 输入误差准则 误差准则的导数关于参数是非线性的(4) 输入误差准则 如果扰动是作用在过程输入端的白噪声，那么选用这种误差准则也是自然的。但是，输入误差也是模型参数的非线性函数，辨识算法也是比较复杂的。这种误差准则现在几乎不用了，然后它的基本概念还是很重要的。系统辨识基础 第4讲第2章 随机信号的描述与分析2.1 随机过程的基本概念及其数学描述（第4讲）2.2 谱密度函数（第4讲）2.3 线性过程在随机输入下的响应（第5讲）2.4 白噪声及其产生方法（书2.5）（第5讲）2.5 M序列的产生及其性质（书2.6）(第6讲)2.1 随机过程的基本概念及其数学描述2.1.1 基本概念2.1.2 随机过程的概率密度函数2.1.3 随机过程的数字特征2.1.4 平稳性、各态遍历性2.1.5 相关函数和协方差函数2.1.1 基本概念一个例子：质量一定、高度一定、初速度为0的自由落体运动的运动轨迹（高度-时间）x(t) ,可重复，确定性信号当下落物体很轻时，考虑到空气阻力、风的影响，上述自由落体的运动轨迹x(t)没有确定性的规律，不可重复，每次试验结果不同。一个试验结果样本函数2.1.1 基本概念2.1.1 基本概念随机过程x(t)不可重复，每次试验取得一个具体的试验结果xi(t)（确定性信号），又称为一个实现，或一个样本函数, i=1,2,3。随机过程：所有可能的样本函数的集合，x(t) = x1(t), x2(t),xi(t)2.1.1 基本概念随机过程的另一种定义t=tk，x(tk)=x1(tk), x2(tk),xi(tk)，随机过程退化为随机变量随机过程：不同时刻的随机变量的集合， x(t)=x (tk)，或者随机变量随时间的变化过程2.1.1 基本概念如图，时间方向（时间t）和集合方向（样本函数的序号i）先向下，再向右： x(t) 是不同时刻的随机变量的集合先向右，再向下：x(t)是所有样本函数的集合，x(t)= x1(t), x2(t),xi(t)2.1.1 基本概念X(t)t连续 t离散X连续连续随机过程连续随机序列X离散离散随机过程离散随机序列2.1.2 随机过程的概率密度函数一维概率密度函数：对于特定时刻t1，x(t1)退化为随机变量，其概率密度函数为p (x, t1)p (x, t1)dx描述了随机变量x(t1)（即随机过程x(t)在t1时刻）在x附近取值的概率2.1.2 随机过程的概率密度函数二维概率密度函数：同时考虑两个特定的时刻t1和t2， x(t1)，x(t2) 成为二维随机变量，其概率密度函数为p2(x1,x2; t1,t2) p2(x1,x2; t1,t2)dx1dx2描述了随机变量x(t1)（即随机过程x(t)在t1时刻）在x1附近取值、并且随机变量x(t2)（即随机过程x(t)在t2时刻）在x2附近取值的概率2.1.2 随机过程的概率密度函数随机过程的多维概率密度函数同时考虑多个特定的时刻t1，t2， t3, (x(t1)，x(t2), x(t3),)成为多维随机变量多维概率密度函数p2(x1,x2,x3,; t1,t2, t3) 不实用2.1.3 随机过程的数字特征(a)集合方向的数字特征（统计特征）(b)时间方向的统计特征(a)集合方向的数字特征对于特定的t，从集合方向看，可以定义一维随机 变量x(t)的数字特征均值或数学期望方差 均方上述数字特征是时间t的函数(a)集合方向的数字特征从集合方向看，对于两个特定时刻t1和t2，可以 定义二维随机变量(x(t1)，x(t2)的二维数字特征自相关函数协方差函数二维数字特征是t1和t2的函数(a)集合方向的数字特征各数字特征之间的关系基本的数字特征：自相关函数，均值(b)时间方向的统计特征对于特定的样本i，xi(t)成为一个确定性的样本函数。把样本函数xi(t)看成各个时刻的样本取值xi(tk)的集合，则可以在时间方向上定义其统计特征(b)时间方向的统计特征时间均值时间方差时间自相关函数2.1.4 平稳性、各态遍历性(1)平稳性(2)各态遍历性(1)平稳性平稳性：随机过程的统计性质不随时间改变，则称它为平稳随机过程注意：指所有统计特性，最根本的是概率密度函数，如 p1(x,t) =p1(x)，高维复杂(1)平稳性宽平稳性平稳性要求太高，可以降低为只考虑均值和自相关函数（两个基本统计特征）宽平稳随机过程：即均值不随时间改变、并且自相关函数只和t2和t1的时间差有关、而与起始时间t1无关的随机过程，即(1)平稳性宽平稳（平稳）随机过程的数字特征之间的关系（利用基本数字特征表达其它特征）(2)各态遍历性出发点：希望用一个样本的时间方向的统计特征来估计随机过程的集合方向的数字特征各态遍历随机过程：对于一个宽平稳随机过程，如果它集合方向的统计特征（集合平均）与时间方向的统计特征（时间平均）相等（即 ) 则称其为宽平稳各态遍历的随机过程。(2)各态遍历性对于各态遍历随机过程：是平稳的所有样本的时间平均都相等（与i无关）所有样本的时间平均都等于随机过程的集合平均（严格的定义是当时间趋于无穷时，各种时间平均依概率1收敛于相应的集合平均）(2)各态遍历性平稳各态遍历随机过程的统计特征的计算2.1.5 相关函数和协方差函数(1)自相关函数与协方差函数(2)互相关函数与互协方差函数(3)独立与互不相关(4)自相关函数的性质(5)互相关函数的性质(6)自协方差函数与互协方差函数的性质(7)相关函数与协方差函数的计算(1)自相关函数与协方差函数对于平稳随机过程x(t)，可以定义如下的自相关函数和协方差函数自相关函数协方差函数(2)互相关函数与互协方差函数对于两个平稳随机过程x(t)和y(t)，可以定义如下的互相关函数和互协方差函数互相关函数互协方差函数互相关函数与互协方差函数的关系(3)独立与互不相关两个随机过程互相独立：联合概率密度=边缘概率密度的乘积（边缘概率密度函数可以是高阶的）两个随机过程互不相关的充要条件： 不是互不相关的充要条件， 但 是互不相关的充要条件独立 互不相关(4)自相关函数的性质自相关函数是偶函数 证明：(4)自相关函数的性质自相关函数在=0时具有最大值 证明： (4)自相关函数的性质周期平稳过程的自相关函数也是具有相同周期的周期函数 (4)自相关函数的性质 x(t)中的直流成分使其相关函数向上平移 证明：(4)自相关函数的性质 对于不含周期性成分的平稳随机过程，当|时， x(t)和x(t+)是互不相关的，即 (书上有误) 证明： (4)自相关函数的性质 x(t)= x1(t)+ x2(t), x1(t)和x2(t)互不相关，并且至少有一个均值为0（书上缺此条件），则 证明：(4)自相关函数的性质总结：自相关函数的形状：对称于纵轴，在=0时达到最大，可以根据 判断x(t)的均值，根据其周期性判断x(t)是否为周期函数(5)互相关函数的性质 Rxy(0)不一定是|Rxy()|的最大值，也不一定非负 Rxy()不一定是偶函数，也不一定是奇函数：Rxy() Rxy(-)， Rxy() -Rxy(-) Rxy()= Ryx(-) 证明：(5)互相关函数的性质 证明：(5)互相关函数的性质 若 ，则 证明：(6)自协方差函数与互协方差函数的性质 自协方差函数与自相关函数的形状相 同，只是向下平移了 （见平稳性）互协方差函数与互相关函数的形状相 同，只是向下平移了若x(t)、 y(t)中至少有一个均值为0，则(7)相关函数与协方差函数的计算相关函数的估计（时间方向求平均，见各态遍历性，在不混淆的情况下，不加下标i）互相关函数的估计协方差函数与互协方差函数的估计：利用其与相关函数的关系2.2 谱密度函数2.2.1 Parseval定理与谱密度概念2.2.2 Wiener-Khintchine定理2.2.3 互谱密度谱密度函数的定义令2.2.1 Parseval定理与谱密度概念(1) Parseval定理(2) 确定性信号的平均功率和平均功率谱密度(3)随机过程的平均功率和平均功率谱密度(4) 随机过程功率谱密度的性质(1) Parseval定理对于确定性信号x(t),当信号总能量有限（平方可积时），信号x(t)的时域总能量等于频域总能量|X(j)|2的物理意义：能量在不同频率下的分布密度，能量谱密度(2) 确定性信号的平均功率和平均功率谱密度当x(t)的付立叶变换不存在时，或总能量无限时，可以研究信号的平均功率，即(2) 确定性信号的平均功率和平均功率谱密度根据Parseval定理Sx()的物理意义：平均功率在不同频率下的分布密度(3) 随机过程的平均功率和平均功率谱密度对于随机过程x(t)Sx() 平均功率谱密度，功率谱密度，谱密度，确定性，功率谱密度是随机过程在频域上的统计特征 平均功率(4) 随机过程功率谱密度的性质功率谱密度是非负函数（根据定义）功率谱密度是实偶函数（根据定义或Wiener-Khintchine定理）功率谱密度的积分=随机过程的均方值2.2.2 Wiener-Khintchine定理x(t)的自相关函数Rx()和功率谱密度函数Sx()之构成一组付立叶变换对，即功率谱密度是随机过程在频域上的集合方向上的统计特征。2.2.2 Wiener-Khintchine定理Wiener-Khintchine定理的余弦形式Sx()是实偶函数2.2.2 Wiener-Khintchine定理证明2.2.3 互谱密度可以将谱密度的概念推广到互谱密度，定义：互谱密度不一定具有功率谱的含义（杨福生，生物医学信号处理）互谱密度不一定是实函数，可能是复函数（因此用j）系统辨识基础 第5讲第2章 随机信号的描述与分析2.1 随机过程的基本概念及其数学描述（第4讲）2.2 谱密度函数（第4讲）2.3 线性过程在随机输入下的响应（第5讲）2.4 白噪声及其产生方法（书2.5）（第5讲）2.5 M序列的产生及其性质（书2.6）(第6讲)2.3 2.3 线性过程在随机输入下的响线性过程在随机输入下的响应应2.3.1 线性过程在随机输入下的输出谱密度2.3.2 线性过程在随机输入下的互谱密度2.3.1 线性过程在随机输入下的输出谱密度对于如图所示线性系统2.3.1 线性过程在随机输入下的输出谱密度如果u和y是确定性过程2.3.1 线性过程在随机输入下的输出谱密度如果u和y是随机过程，证明：proof_for_第四讲_p66_线性过程在随机输入下的输出谱密度.doc注意：u和y是平稳随机过程（系统到达随机意义下的平稳，不是过渡过程）2.3.2 线性过程在随机输入下的互谱密度对于上述线性系统，当u和y是平稳随机过程时，有2.3.2 线性过程在随机输入下的互谱密度证明：2.4 白噪声及其产生方法2.4.1 白噪声的概念2.4.2 表示定理与成形滤波器2.4.3 (0,1)均匀分布随机数的产生 2.4.4 正态分布随机数的产生 2.4.1 白噪声的概念(1) 白噪声过程的两种等价定义(2) 白噪声过程的性质(3) 多维白噪声过程(4) 近似的白噪声过程(5) 白噪声序列(6) 多维白噪声序列(7) 白噪声序列的用途(1) 白噪声过程的两种等价定义定义1：如果一个平稳随机过程w(t)具有恒定的功率谱密度函数，即在全频段内，有 则称w(t)为白噪声过程。覆盖全频带，白光光谱包含了所有可见光的频率(1) 白噪声过程的两种等价定义(1) 白噪声过程的两种等价定义定义2：如果一个平稳随机过程w(t)具有如下的自相关函数，即 则称w(t)为白噪声过程。(1) 白噪声过程的两种等价定义(1) 白噪声过程的两种等价定义两种定义的等价性根据Wiener-Khintchine定理，可以证明如果w(t)的自相关函数满足定义2，则其功率谱密度满足定义1(2) 白噪声过程的性质白噪声的均值默认为零E(w)=0 ，否则，自相关函数不可能为冲激函数（函数）白噪声无记忆性，任两个不同时刻的随机变量之间不相关，即白噪声平均功率是 平均功率=(2) 白噪声过程的性质白噪声的频带无限宽，功率在频域上均匀分布（功率谱密度是直线）白噪声在现实中不存在（时域、频域）是否为白噪声与随机过程的分布无关（如正态分布白噪声，均匀分布白噪声，正态分布非白噪声过程，均匀分布非白噪声过程）研究白噪声的目的，数学处理简单、方便，最优输入，易于辨识算法中噪声和干扰的分析与处理有色噪声：不是白噪声的随机过程(3) 多维白噪声过程多维白噪声的定义 其中，Q为正定的常数矩阵(4) 近似的白噪声过程低通白噪声：如果零均值平稳随机过程的功率谱密度在一定的频带内均匀分布，即 则称其为低通白噪声过程（限带白噪声）低通白噪声过程的自相关函数为 （0越大，越近似于函数，图2.19）(4) 近似的白噪声过程限带白噪声在 处等于0，因此，如果以 为采样时间采样限带白噪声过程，采样得到的样本两两互不相关(图2.19)(4) 近似的白噪声过程另一种近似白噪声：如果零均值平稳随机过程w(t)的自相关函数Rw() 近似为函数，即 则视其为近似的白噪声时间差超过一定的长度后不相关。 （P28，例2.2）(5) 白噪声序列对于零均值平稳随机序列w(k)（只在离散时间点上定义），如果其不同时刻的随机变量两两不相关，则称其为白噪声序列，即(5) 白噪声序列白噪声序列的谱密度函数白噪声序列是实际存在的，因为只要求离散时刻的两两不相关*(5) 白噪声序列白噪声序列的例子(6)多维白噪声序列多维白噪声序列(7)白噪声序列的用途作为最优输入信号，仿真产生白噪声序列的实现；假定干扰为白噪声序列，简化问题的研究假定干扰为有色噪声序列，则可以将其表示成白噪声通过成形滤波器的输出利用白噪声序列的性质，简便辨识算法的求解或推导2.4.2 表示定理与成形滤波器设平稳噪声序列e(k)的谱密度Se()是的实函数，或是cos()的有理函数，那么必定存在一个渐近稳定的线性环节，使得如果环节的输入是白噪声序列时，则环节的输出是谱密度为Se()的平稳噪声序列。满足上述条件的平稳随机序列e(k)，成形滤波器H(z1)= D(z1)/C(z1)，使得2.4.2 表示定理与成形滤波器表示定理的含义：任何平稳有色噪声序列e(k)都可以表示成白噪声序列w(k)驱动的某个渐近稳定的线性系统H(z1)的输出任何平稳随机序列都包含确定性和随机性两部分的作用。确定性：参数化的成形滤波器，w(k)的统计特性随机性：w(k)的取值2.4.2 表示定理与成形滤波器表示定理的作用：可以用白噪声+线性系统（成形滤波器）来表示有色噪声在辨识中，经常假设随机干扰是白噪声通过线性系统的输出，如注意：表示定理是存在性定理，并没有告诉我们如何找到适当的成形滤波器和白噪声。可以通过辨识的方法确定成形滤波器的参数和白噪声的方差2.4.3 (0,1)均匀分布随机数的产生 (0,1)均匀分布随机数i （随机序列）：在每个特定时刻i， i是(0,1)均匀分布的随机变量，即不是白噪声序列是产生其它随机序列（包括白噪声序列）的基础2.4.3 (0,1)均匀分布随机数的产生乘同余法：初始化：M=2k，k为充分大的正整数，A3 (mod 8) or A 5 (mod 8), x0为正奇数。xi Axi-1 (mod M) i xi/M 或将 合并为 i 取小数部分Ai-1, 0 = x0/M2.4.3 (0,1)均匀分布随机数的产生i是伪随机序列，最大循环周期为2k-2，是(0,1)均匀分布随机序列的一个实现的近似（不同初值导致不同的实现）均值方差理论值0.50.08333=1/12实现的统计结果0.49953 0.08318 2.4.4 正态分布随机数的产生统计近似抽样法（ i是(0,1)均匀分布随机序列，根据中心极限定理）用多组长度为N的i来 产生序列k2.4.4 正态分布随机数的产生k是伪随机序列，近似为白噪声序列的一个实现( )均值方差 (2=1)理论值01实现的统计结果0.004341090.9822462.4.4 正态分布随机数的产生变换抽样法：设 1,k和2,k是 互相独立的(0,1)均匀分布随机序列，令 则1,k和2,k是互相独立的服从N(0,1)分布的白噪声序列。系统辨识基础 第6讲第2章 随机信号的描述与分析2.1 随机过程的基本概念及其数学描述（第4讲）2.2 谱密度函数（第4讲）2.3 线性过程在随机输入下的响应（第4讲）2.4 白噪声及其产生方法（书2.5）（第5讲）2.5 M序列的产生及其性质（书2.6）(第6讲)2.5 M序列的产生及其性质2.5.1 研究M序列的必要性2.5.2 生成M序列的结构2.5.3 生成M序列的条件 2.5.4 生成M序列的步骤2.5.5 M序列的性质(*)2.5.6 M序列的自相关函数 2.5.7 M序列的谱密度2.5.8 选择M序列的参数2.5.1 2.5.1 研究M序列的必要性辨识实验对输入信号的要求可辨识性（持续激励）最优性（对于有效估计， 达到M-1，其它考虑（幅度，工作点，均值等）2.5.1 2.5.1 研究M序列的必要性白噪声过程（实际不存在）白噪声序列：持续激励 D最优信号工程考虑（变化太频繁，幅度变化剧烈，不易控制）2.5.1 2.5.1 研究M序列的必要性M序列具有近似于白噪声的性质（自相关函数和谱密度）工程上易于实现和被接受净扰动小幅度（变化大小）、时拍（变化频繁度）、周期易控制实现简单 2.5.1 2.5.1 研究M序列的必要性M序列举例2.5.2生成M序列的结构异或（模和）2.5.2生成M序列的结构M序列的定义（时间离散，二元取值0,1）无限长的二元序列x0x1x2xpxp+1 满足迭代关系aP1, ai=0或1，i=1P-1，使得序列以(2P_1) bit 的最长周期循环（注意，不是2P-1）初始状态x1x2xp0002.5.2生成M序列的结构时间连续、幅度为实数的M序列：在t的整数倍上(kt)才可能发生变化，在（ kt,(k+1) t ）上保持不变，幅值由xk决定2.5.2生成M序列的结构例：P=4, a3= a4=1，2.5.2生成M序列的结构CP移位脉冲（移位周期t）Ci双稳态触发器，在两个定时移位脉冲之间保持不变，脉冲到来时，等于输入符合上页的规律2.5.2生成M序列的结构M序列的生成结构（M(t)为M序列的输出*，任何一级输出都可以作为M序列）2.5.3生成M序列的条件问题：并非所有的反馈通道组合aP1, ai=0或1，i=1P-1，都可以使序列xi构成M序列，即以2P_1 bit 的最长周期循环 2.5.3生成M序列的条件a4=a3=1 （循环周期=15=24-1,是M序列）2.5.3生成M序列的条件a4= a2=1 （循环周期=6，不是M序列）2.5.3生成M序列的条件M序列的特征多项式（用M序列的生成结构中的反馈系数定义的多项式）注意：多了一个常数项，a的下标号与s的次数相同2.5.3生成M序列的条件特征多项式可以唯一地表征一个序列 令 代表上述结构生成的M序列，在一定初值条件下可以用F(s)来描述生成M序列的ai所必需满足的条件（不是所有的F(s)都可以生成M序列）2.5.3生成M序列的条件F(s)成为M序列的特征多项式的条件必要条件：F(s)是既约多项式，即 F(s)不能再分解充要条件： F(s)是本原多项式，即2.5.3生成M序列的条件表D.1已知的可以生成M序列的特征多项式F(s)(P, n, k), (n1, n2, n3,)P阶次 n反馈通道个数, 等于1的系数ai的个数k编号：P阶（周期为2P-1）序列的第几个特征多项式(n1, n2, n3,)：具体给出特征多项式中不为0的项（特点：一定有p和0）(n1, n2, n3,)最终确定了等于1的系数ai2.5.3生成M序列的条件 (P,n,k)(n1, n2, n3,) F(s)(5,2,1)(5,2,0)s5s2 1(5,2,2)(5,3,0)s5s3 1(5,4,3)(5,3,2,1,0)s5s3 s2 s 1(5,4,4)(5,4,3,2,0)s5s4 s3 s2 1(5,4,5)(5,4,2,1,0)s5s4 s2 s 1(5,4,6)(5,4,3,1,0)s5s4 s3 s 12.5.4 生成M序列的步骤选择M序列的参数：阶次P(周期NP), 幅度a，时钟节拍t按表D.1选择合适的特征多项式给定序列的初值x0x1xP-1 (CPCP-1C1 )按照M序列的生成结构（寄存器）生成M序列，得到xk将“0”a、“” a，得到M(t)2.5.5 M序列的性质周期：一个P阶M序列的循环周期为 NP=2P-1 (对xk而言 )；“0”和“1”的个数（单bit）：一个周期内“0”的个数为(NP-1)/2，“1”的个数为(NP+1)/2 ，“0”的个数总比“1”少一个；2.5.5 M序列的性质游程：某种状态连续出现的段称为“游程”一个P阶M序列的总游程数为2P 1；“0”和“1”地游程各占一半；长度为1的游程数为2P2 ；长度为2的游程数为2P3 ；长度为i的游程数为2P ；长度为(P 1)的游程有一个，为“0”游程；长度为P的游程也只有一个，为“1”游程。 2.5.5 M序列的性质移位可加性：两个彼此移位等价的M序列按位模2和（异或）相加，结果仍然是M序列，并与原序列移位等价 2.5.5 M序列的性质同构性“0”a、“” -a2.5.6 M序列的自相关函数xkM(t)：“0”a、“” -a,在两个脉冲之间保持不变，移位脉冲周期（时钟节拍t）， M(t)周期: NPt定义（实际是时间自相关函数，也是以NPt为周期的周期函数）：2.5.6 M序列的自相关函数利用M序列的性质，可以求得,在一个周期内,注意：(NP-1) t? :-t, t,2 t (NP-1) t2.5.6 M序列的自相关函数 M序列的自相关函数2.5.6 M序列的自相关函数近似于白噪声， Np 越大，t越小，越逼近白噪声的一个实现周期直流脉冲宽度2.5.7 M序列的谱密度定义2.5.7 M序列的谱密度M序列的谱密度，令只在离散频率上取一定幅度的冲激函数，冲激函数的幅度由包络线决定，离散点间隔由0决定（NPt）对应于2.5.7 M序列的谱密度 2.5.7 M序列的谱密度=0=对应于自相关函数的直流分量2.5.7 M序列的谱密度k=NP, 2NP,. 带宽2.5.7 M序列的谱密度Np越大， t越小，越趋于白噪声谱线密度带宽直流 2.5.8 选择M序列的参数M序列的参数：阶次P(周期NP), 幅度a，时钟节拍tNp 越大，t越小，越逼近白噪声（的一个实现），自相关，功率谱a,不能太大，也不能太小t的大小在工程上要能接受(NP-1)t的长度在工程上要能接受系统辨识基础 第7讲第3章 过程的数学描述3.1 线性时不变模型3.2 数学模型之间的等价转换 (书3.3)3.3 随机系统和模型 （书3.4）3.1线性时不变模型 3.1 线性时不变模型3.1 线性时不变模型3.2 数学模型之间的等价转换连续模型之间的等价转换传递函数微分方程传递函数脉冲响应，脉冲响应传递函数(P95)状态方程传递函数（微分方程），传递函数(微分方程)状态方程(P76)传递函数频率响应，频率响应传递函数（P107，Levy，第8讲）离散模型之间的等价转换传递函数差分方程传递函数脉冲响应，脉冲响应传递函数(P95)状态方程传递函数(差分方程)(P80变换3.2)，传递函数(差分方程)状态方程连续模型的离散化(在离散时间点上，连续与离散模型等价)连续状态方程离散状态方程(P76)微分方程差分方程(P78变换3.1, P479双线性变换)THANK YOUSUCCESS2024/9/6229可编辑传递函数(微分方程)状态方程连续状态方程离散状态方程微分方程差分方程P75-78 基本思路：微分方程(ai,bi)连续状态方程( ) 离散状态方程(A,b,c) 离散传递函数 离散传递函数G(z-1) (以 表示 ) 差分方程（以(ai,bi) 表示）微分方程差分方程结果：变换3.1(P78)离散状态方程传递函数(差分方程)P78-80 基本思路 离散状态方程传递函数(差分方程)P80 变换3.2离散状态方程传递函数(差分方程)变换3.2（续） 3.3 随机系统和模型3.3.1 随机系统（模型）的概念3.3.2 噪声模型的分类3.3.1 随机系统（模型）的概念第1讲、第3讲：线性系统本节：从确定性系统出发，考虑各种随机噪声，推出上图，其中d(k)为随机干扰3.3.1 随机系统（模型）的概念确定性系统 （输入输出均不含测量噪声，不是真实测量值，未知）3.3.1 随机系统（模型）的概念引入过程噪声(k)：作用于系统本身的噪声3.3.1 随机系统（模型）的概念引入输出测量噪声w(k) （z(k)实测）3.3.1 随机系统（模型）的概念引入输入测量噪声s(k) （u(k)实测）3.3.1 随机系统（模型）的概念随机系统 （ e0(k)和 z(k)都是随机信号） e0(k)：综合噪声（包含输入测量噪声、输出测量噪声和过程噪声）（用下标0，区分方程误差和真实系统的真实噪声）3.3.1 随机系统（模型）的概念表示定理（噪声的参数化表示）：3.3.1 随机系统（模型）的概念考虑了噪声参数化表示的随机系统（ v0(k)和 z(k)都是随机信号）3.3.1 随机系统（模型）的概念随机系统与随机模型随机系统随机模型区别 ： e0(k), v0(k) 真实的有色噪声干扰和白噪声干扰，e(k),v(k)方程误差3.3.2 噪声系统(模型)的分类噪声系统（模型）的分类3.3.3 随机系统(模型)的分类随机系统（模型）的分类（Ljung）系统辨识基础 第8讲第4章 经典辨识方法4.1 引言（第8讲）4.2 频率响应的辨识（第8讲）4.3 脉冲响应的辨识（第9讲、第10讲）4.1 引言经典辨识方法(非参数模型的辨识)阶跃响应的辨识（书4.2.1实验测取阶跃响应）脉冲响应的辨识（书4.3.1实验测取脉冲响应，书4.3.1学习法辨识脉冲响应，书4.5.2相关分析法辨识脉冲响应 *）频率响应的辨识（书4.4.1频率响应法，书4.5.1相关分析法辨识频率响应，书4.6.2谱分析法）模型转换（书4.2.2阶跃响应传递函数，书4.3.3脉冲响应传递函数，书4.4.2频率响应传递函数）4.1 引言现代辨识方法（参数模型的辨识）最小二乘类辨识方法 典型算法：最小二乘法、增广最小二乘法、辅助变量法、广义最小二乘法 梯度校正辨识方法 ：沿着准则函数负梯度方向逐步修正模型参数，典型算法：随机逼近法概率逼近辨识方法 典型算法：极大似然法 4.2 频率响应的辨识4.2.1 利用Y(j)=G(j)U(j)辨识G(j) (书4.2.1频 率响应法)4.2.2 利用Suy(j)= G(j)Su(j)辨识G(j)4.2.3 利用相关分析辨识频率响应4.2.4 由频率响应求传递函数4.2.1 利用Y(j)=G(j)U(j)辨识G(j)基本步骤依据：Y(j)=G(j)U(j)施加输入信号u(t)，记录输出y(t)任意给定，根据u(t)和y(t)计算U(j)和Y(j)G(j)= Y(j)/ U(j)4.2.1 利用Y(j)=G(j)U(j)辨识G(j)(1)数值积分法：利用数值积分计算U(j)和Y(j)(2) FFT法：利用FFT (DFT)计算U(jr)和Y(jr), r=1,2,L(1)数值积分法 (1)数值积分法(1)数值积分法(1)数值积分法(1)数值积分法(1)数值积分法计算频率响应G(j)= Y(j)/ U(j)(1)数值积分法特点： 可以求任意频率下的频率响应，但一次只能求一个普通输入信号没有考虑噪声(2) FFT法(2) FFT法特点只能求离散频率，但一次可以求得多个频率下的频率响应普通输入信号没有考虑噪声4.2.2 利用Suy(j)= G(j)Su(j)辨识G(j) 基本步骤Suy(j)= G(j)Su(j)施加输入信号u(t)，记录输出y(t)根据u(t)和y(t)估计Ru,L()和Ruz,L()估计Su,L()和Suz,L(j) (L为数据长度)计算G(j)= Suz,L(j) / Su,L()4.2.2 利用Suy(j)= G(j)Su(j)辨识G(j)相关函数的估计（时间自相关函数）4.2.2 利用Suy(j)= G(j)Su(j)辨识G(j)谱密度函数的估计（针对多个离散的频率）4.2.2 利用Suy(j)= G(j)Su(j)辨识G(j)谱密度函数的估计（续）4.2.2 利用Suy(j)= G(j)Su(j)辨识G(j)计算频率响应4.2.2 利用Suy(j)= G(j)Su(j)辨识G(j)特点只能求离散频率下的频率响应，但一次可以求得多个频率下的频率响应普通输入信号没有考虑噪声4.2.3 利用相关分析辨识频率响应(1)问题描述及基本原理(2) z(t)与sin(t)和cos(t)的互相关函数(3)辨识算法(4)辨识算法的特点(1)问题描述及基本原理辨识系统描述：前面两种算法没有考虑噪声，即针对如下系统的频率响应辨识，u(t)为测试频率信号，z(t)为实测的输出信号(1)问题描述及基本原理理想情况下的辨识基本原理：无噪声，系统无非线性畸变： (1)问题描述及基本原理实际情况下的问题（系统的非线性畸变z(t)中的高次谐波， z(t)中含噪声 ），如何确定B1和1解决思路：利用输入和输出的互相关函数去除噪声和高次谐波的影响(2) z(t)与sin(t)和cos(t)的互相关函数z(t)与sin(t)在=0时的互相关函数(2) z(t)与sin(t)和cos(t)的互相关函数(2) z(t)与sin(t)和cos(t)的互相关函数(2) z(t)与sin(t)和cos(t)的互相关函数讨论： Is3的性质？确定性的？随机性的？变量？信号？集合？样本？(2) z(t)与sin(t)和cos(t)的互相关函数(2) z(t)与sin(t)和cos(t)的互相关函数讨论：(2) z(t)与sin(t)和cos(t)的互相关函数当 并且T充分大时Is1：Is2： Is2=0Is3：EIs3=0, EIs32=0 讨论：说明什么？根据z(t)，可以计算(2) z(t)与sin(t)和cos(t)的互相关函数z(t)与cos(t)在=0时的互相关函数(2) z(t)与sin(t)和cos(t)的互相关函数当 并且T充分大时Ic1：Ic2： Ic2=0Ic3：EIc3=0, EIc320 根据z(t)，可以计算(3)辨识算法施加输入信号测量响应z(t)计算两个互相关函数由于 可以求得(3)辨识算法(4)辨识算法的特点需要施加特殊的输入信号每次只能估计一个频率下的系统频率特性对噪声和系统非线性畸变鲁棒4.2.4 由频率响应求传递函数Bode图法（略）Levy法（*）4.2.4 由频率响应求传递函数问题描述传递函数（系数未知，待求）频率响应（系数未知，待求，频率响应的取值知道）目标：根据 求系数ai, bi, 或 或4.2.4 由频率响应求传递函数目标的定量化描述，准则函数4.2.4 由频率响应求传递函数求解上述优化问题系统辨识基础 第9讲第4章 经典辨识方法4.1 引言（第8讲）4.2 频率响应的辨识（第8讲）4.3 脉冲响应的辨识（第9讲、第10讲）(相关分析)4.3 4.3 脉冲响应的辨识脉冲响应的辨识* 4.3.1 问题描述（辨识三要素） （第9讲）* 4.3.2 准则函数极小化（第9讲）* 4.3.3 当输入为白噪声时的辨识算法（第9讲）* 4.3.4 当输入为M序列时的辨识算法（第10讲）4.3.1 问题描述4.3.1 问题描述讨论：如何根据辨识的三要素理解上述脉冲响应的辨识问题？294一、相关分析原理相关分析法是根据输入和输出数据，辨识出系统的脉冲响应函数 g(t)。 噪声是可加性干扰 假设：输入u(t)是具有各态遍历性的平稳随机过程，测量噪声(t)与输入u(t)相互独立，且测量噪声(t)的均值为零。 295维纳-霍普（Wiener-Hopf）方程 296如果输入信号为白噪声，即 则297相关分析法具有以下优点： 可在被识系统正常运行过程中进行辨识，由于白噪声覆盖整个频谱，故对被识系统影响不大； 测试信号与干扰不相关、统计独立，容易处理，抗干扰能力强； 不需要验前知识。相关分析法有以下缺点： 测量互相关函数，必须在较长时间内积分（0，）；积分时间长，会引入干扰，如信号飘移、仪器零飘等非平稳因素； 真正的白噪声，物理上无法实现。4.3.1 问题描述辨识的三要素数据u(t)和z(t)，为了辨识问题容易求解，取得好的辨识效果，u(t)进一步取白噪声，为了工程需要，u(t)可取M序列模型类：基于脉冲响应的卷积模型等价准则（准则函数）：4.3.2 准则函数极小化用变分解决准则函数的极小化问题4.3.2 准则函数极小化4.3.2 准则函数极小化 Wiener-HopfWiener-Hopf方程方程 含义： 满足Wiener-HopfWiener-Hopf方程方程是使J 极小化的必要条件u(t)、z(t)可测，Ruz()和Rz()可测，求解Wiener-Hopf积分方程的方法就是 的辨识算法4.3.2 准则函数极小化 讨论：Wiener-Hopf方程克服克服噪声的原理 ？ 答案：4.3.3 4.3.3 当输入为白噪声时的辨识算法当输入为白噪声时的辨识算法当输入为u(t)为白噪声时（不要和w(t)混淆）可以解出Wiener-Hopf方程Ruz() 可计算，w2已知， 可以直接计算系统辨识基础 第10讲第4章 经典辨识方法4.1 引言（第8讲）4.2 频率响应的辨识（第8讲）4.3 脉冲响应的辨识（第9讲、第10讲）(相关分析)4.3 4.3 脉冲响应的辨识脉冲响应的辨识4.3.1 问题描述（辨识三要素） （第9讲）4.3.2 准则函数极小化（第9讲）4.3.3 当输入为白噪声时的辨识算法（第9讲）4.3.4 当输入为M序列时的辨识算法（第10讲）4.3.4 4.3.4 当输入为当输入为M M序列时的辨识算法序列时的辨识算法(*) (1)离散的Wiener-Hopf方程(*) (2)离散算法(*) (3)一次完成算法(*) (4)递推算法(*) (5)算法的统计特性(*) (6)辨识的步骤(1) 离散的Wiener-Hopf方程采用M序列为输入 (2) 离散算法 (2) 离散算法 (2) 离散算法RMz(k)可以计算，a、Np、t是M序列的已知参数， 可计算，只要C知道(2) 离散算法常数C的讨论C的定义C的物理意义：脉冲响应函数的平均，与其面积成比例C的计算思考：C不影响脉冲响应的形状，只影响其在纵坐标的位置 (2) 离散算法 (2) 离散算法估计互相关函数计算计算该算法满足Wiener-Hopf方程，因此使极小 (3) 一次完成算法根据 一次性直接算出所有的离散的Wiener-Hopf 方程方程组(3) 一次完成算法方程组矩阵(3) 一次完成算法 (3) 一次完成算法一次完成算法（等价于(2)中的离散算法）(4) 递推算法 (4) 递推算法递推算法讨论当i=NP-1时，特点：在线辨识，每次只用新来的数据进行更正初值：(5) 算法的统计特性 是随机向量（集合与样本）。讨论：为什么？(5) 算法的统计特性无偏性：当w(k)的均值为0时，输入为M序列时， 证明：(5) 算法的统计特性无偏性证明续： （讨论,?）(5) 算法的统计特性一致估计：当w(k)是白噪声，输入是M序列时，(6) 辨识的步骤(1) 预估过渡过程时间Ts和最高截止频率fs(2) 确定M序列参数(3) 采集数据（避开非平稳时段）(4) 数据预处理(5) 计算互相关函数(6) 计算补偿量(7) 计算脉冲响应估计值系统辨识基础 第11讲第5章 最小二乘参数辨识方法5.1 辨识方法分类5.2 最小二乘的基本概念5.3 最小二乘问题的提法5.4 最小二乘问题的解5.5 最小二乘估计的可辨识性5.6 最小二乘估计的几何解析5.1 5.1 辨识方法分类辨识方法分类根据不同的辨识原理，参数模型辨识方法可归纳成三类： 最小二乘类参数辨识方法，其基本思想是通过极小化如下准则函数来估计模型参数：其中 代表模型输出与系统输出的偏差。典型的方法有最小二乘法、增广最小二乘法、辅助变量法、广义最小二乘法等。5.1 5.1 辨识方法分类辨识方法分类 梯度校正参数辨识方法，其基本思想是沿着准则函数负梯度方向逐步修正模型参数，使准则函数达到最小，如随机逼近法。 概率密度逼近参数辨识方法，其基本思想是使输出z 的条件概率密度 最大限度地逼近 条件下的概率密度 ，即 。典型的方法是极大似然法。5.2 5.2 最小二乘法的基本概念最小二乘法的基本概念两种算法形式批处理算法：利用一批观测数据，一次计算或经反复迭代，以获得模型参数的估计值。 递推算法：在上次模型参数估计值 的基础上，根据当前获得的数据提出修正，进而获得本次模型参数估计值 ，广泛采用的递推算法形式为 其中 表示k 时刻的模型参数估计值，K(k)为算法的增益，h(k-d) 是由观测数据组成的输入数据向量，d 为整数， 表示新息。5.2 5.2 最小二乘法的基本概念最小二乘法的基本概念 最小二乘原理最小二乘原理定义：定义：设一个随机序列 的均值是参数 的线性函数其中h h(k)是可测的数据向量，那么利用随机序列的一个实现，使准则函数达到极小的参数估计值 称作 的最小二乘估计。5.2 5.2 最小二乘法的基本概念最小二乘法的基本概念 最小二乘原理最小二乘原理表明，未知参数估计问题，就是求参数估计值，使序列的估计值尽可能地接近实际序列，两者的接近程度用实际序列与序列估计值之差的平方和来度量。 如果系统的输入输出关系可以描述成如下的最小二乘格式式中z(k)为模型输出变量，h h(k)为输入数据向量， 为模型参数向量，n(k)为零均值随机噪声。5.2 5.2 最小二乘法的基本概念最小二乘法的基本概念为了求模型的参数估计值，可以利用上述最小二乘原理。根据观为了求模型的参数估计值，可以利用上述最小二乘原理。根据观测到的已知数据序列测到的已知数据序列 和和 ，极小化下列准，极小化下列准则函数则函数即可求得模型参数的最小二乘估计值即可求得模型参数的最小二乘估计值 。 最小二乘估计值应在观测值与估计值之累次误差的平方和达到最最小二乘估计值应在观测值与估计值之累次误差的平方和达到最小值处，所得到的模型输出能最好地逼近实际系统的输出。小值处，所得到的模型输出能最好地逼近实际系统的输出。5.3 5.3 最小二乘问题的提法最小二乘问题的提法(1) 考虑模型式中u(k)和z(k) 分别为模型输入和输出变量，n(k)是均值为零、方差为 的随机噪声， 和 为迟延算子多项式，写成 5.3 5.3 最小二乘问题的提法最小二乘问题的提法(2) 假定模型阶次 和 为已知，且有 ，也可设 ,并定义5.3 5.3 最小二乘问题的提法最小二乘问题的提法(3) 将模型写成最小二乘格式对于 (L为数据长度)，可以构成如下线性方程组式中5.3 5.3 最小二乘问题的提法最小二乘问题的提法(4) 噪声的统计性质(5) 噪声与输入不相关(6) 数据长度L充分大5.4 5.4 最小二乘问题的解最小二乘问题的解 考虑模型 准则函数取其中 为加权因子，对所有的k， 都必须大于零。 准则函数又可写成5.4 5.4 最小二乘问题的解最小二乘问题的解式中 为加权矩阵，它是正定的对角阵，由加权因子 构成 该准则函数 可用以衡量模型输出与实际系统输出的接近情况极小化这个准则函数，即可求得模型的参数估计值，使模型的输出能最好地预报系统的输出。 5.4 5.4 最小二乘问题的解最小二乘问题的解设 使得 ，则有展开，并运用如下两个向量微分公式：得上式称作正则方程。5.4 5.4 最小二乘问题的解最小二乘问题的解当 是正则矩阵时，有另外因为 是正定矩阵，所以 也是正定矩阵，即所以 使 ，并且 是唯一的。5.4 5.4 最小二乘问题的解最小二乘问题的解当 是正则矩阵时，模型的加权最小二乘解为 通过极小化准则函数 求得模型参数估计值 的方法称作加权最小二乘法，记作WLS(Weighted Least Squares algorithm)，对应的 称为加权最小二乘估计值。5.4 5.4 最小二乘问题的解最小二乘问题的解 如果加权矩阵取单位阵，即 ，则加权最小二乘解退化成普通最小二乘解这时的 称之为最小二乘估计值，对应的估计方法称作最小二乘法，记作LS(Least Squares algorithm)。最小二乘法是加权最小二乘法的一种特例。5.5 5.5 最小二乘估计的可辨识性最小二乘估计的可辨识性最小二乘估计的可辨识条件为： 矩阵必须是非奇异的。这一要求与数据集是“提供信息”的或辨识输入信号是“持续激励”的概念密切相关。5.5 5.5 最小二乘估计的可辨识性最小二乘估计的可辨识性定理：定理：设输入信号u(k)是拟平稳随机信号，如果相关函数矩阵 是非奇异的，则输入信号u(k)是n 阶持“持续激励”信号。5.5 5.5 最小二乘估计的可辨识性最小二乘估计的可辨识性定理：当过程模型定理：当过程模型 为有理函数时，即为有理函数时，即则输入则输入u(k)u(k)为为 阶阶“持续激励持续激励”信号的辨识信号的辨识实验是实验是“信息充足信息充足”的。的。5.5 5.5 最小二乘估计的可辨识性最小二乘估计的可辨识性推论：为保证矩阵推论：为保证矩阵 是非奇异的，或者是非奇异的，或者说使最小二乘估计是开环可辨识的，其充分必要条件是说使最小二乘估计是开环可辨识的，其充分必要条件是输入信号输入信号u u( (k k) )必须是必须是 阶阶“持续激励持续激励”信号。信号。5.5 5.5 最小二乘估计的可辨识性最小二乘估计的可辨识性则最小二乘估计的开环可辨识性条件，可写成则最小二乘估计的开环可辨识性条件，可写成式中相关函数矩阵式中相关函数矩阵 按如下构成，按如下构成，5.5 5.5 最小二乘估计的可辨识性最小二乘估计的可辨识性矩阵矩阵 按下式组成按下式组成5.5 5.5 最小二乘估计的可辨识性最小二乘估计的可辨识性上述条件称作开环可辨识性条件。辨识所用的输入信号上述条件称作开环可辨识性条件。辨识所用的输入信号不能随意选择，否则可能造成不可辨识。不能随意选择，否则可能造成不可辨识。常用输入信号包括：常用输入信号包括：随机序列（如白噪声）；随机序列（如白噪声）；伪随机序列（如伪随机序列（如M M序列或逆序列或逆M M序列）；序列）；离散序列，通常指对含有离散序列，通常指对含有n n种频率的正弦组合信号进行采样处种频率的正弦组合信号进行采样处理获得的离散序列。理获得的离散序列。5.5 5.5 最小二乘估计的可辨识性最小二乘估计的可辨识性例例1 1 过程脉冲响应的辨识过程脉冲响应的辨识设线性过程的输出设线性过程的输出 用输入序列用输入序列 与与脉冲响应序列脉冲响应序列 的卷积和的卷积和形式表示形式表示其中其中 ， 是过程输出测量噪声，假设是零均值白噪是过程输出测量噪声，假设是零均值白噪声。声。5.5 5.5 最小二乘估计的可辨识性最小二乘估计的可辨识性当取当取 时，上式可写成如下形式时，上式可写成如下形式其中其中 和和 都是可测数据。根据最小二乘解公式，都是可测数据。根据最小二乘解公式，过程脉冲响应的最小二乘估计值为过程脉冲响应的最小二乘估计值为5.5 5.5 最小二乘估计的可辨识性最小二乘估计的可辨识性例例2 2 考虑如下仿真对象考虑如下仿真对象其中，其中， 为服从为服从 分布的白噪声。输入分布的白噪声。输入信号采用信号采用4 4阶阶M M序列，幅度为序列，幅度为1 1。选择如下的辨识模型。选择如下的辨识模型。构造数据向量构造数据向量 和矩阵和矩阵 ；数据长度选择为；数据长度选择为L=400L=400；加权阵取单位阵，利用最小二乘参数估计，得到；加权阵取单位阵，利用最小二乘参数估计，得到结果。结果。5.5 5.5 最小二乘估计的可辨识性最小二乘估计的可辨识性参数a1a2b1b2真值-1.50.71.00.5估计值 -1.5200.7200.9460.5665.6 5.6 最小二乘估计的几何解析最小二乘估计的几何解析 定义：设定义：设y y是具有前二阶矩的是具有前二阶矩的N N维随机向量，维随机向量，X X是适当维的随机矩阵。如果存在一个与是适当维的随机矩阵。如果存在一个与y y同维的同维的随机向量随机向量 ，它具备以下三个性质：，它具备以下三个性质： 可以由可以由X X线性表示，即线性表示，即 是是y y无偏估计，即无偏估计，即 与与X X正交，即正交，即则称则称 是是y y在在X X空间上的正交投影。空间上的正交投影。5.6 5.6 最小二乘估计的几何解析最小二乘估计的几何解析最小二乘估计和加权最小二乘估计的几何解释：最小二乘估计和加权最小二乘估计的几何解释：如果模型噪声如果模型噪声n n( (k k) )是零均值不相关随机噪声或称白噪声，是零均值不相关随机噪声或称白噪声，记记 则模型输出估计向量则模型输出估计向量 就是系统输出向量就是系统输出向量 在在由线性不相关的数据向量由线性不相关的数据向量 所张成的所张成的空间上的正交投影，或者说输出残差向量空间上的正交投影，或者说输出残差向量 垂直于垂直于该空间。该空间。 系统辨识基础 第12讲第5章 最小二乘参数辨识方法5.7 最小二乘参数估计的统计性质5.7 5.7 最小二乘估计的统计性质最小二乘估计的统计性质 最小二乘估计和加权最小二乘估计，由于数据矩阵 和输出向量 均具有随机性，故参数估计值 或 亦为随机向量。当模型的噪声满足一定条件时，它们具有一些优良的统计性质。5.7 5.7 最小二乘估计的统计性质最小二乘估计的统计性质5.7.1 5.7.1 无偏性无偏性 无偏性是用来衡量参数估计值是否围绕真值波动的一个性质。 定理定理5.15.1：如果模型噪声向量 是零均值且与数据矩阵 统计独立，则最小二乘参数估计值 或加权最小二乘参数估计值 是无偏估计量，即 或 ，其中 为模型参数真值。 5.7 5.7 最小二乘估计的统计性质最小二乘估计的统计性质证明：证明： 所以 是无偏估计量。5.7 5.7 最小二乘估计的统计性质最小二乘估计的统计性质必须指出，无偏性并不要求 一定是白噪声，只要求它与 统计独立即可。如果 是白噪声，则 与 一定是统计独立的。即有当 是白噪声向量时，必有 ，故 与 一定是统计独立的。5.7 5.7 最小二乘估计的统计性质最小二乘估计的统计性质另外，定理5.1所给的条件是 为无偏估计量的充分条件，并不是必要条件。它的必要条件应该是即 与噪声向量 正交。显然该条件比定理5.1所给的条件要宽。当定理5.1所给的条件不能满足时，它提供了一种获取无偏估计量的方法，即可通过选择加权阵，使上式的正交条件满足。这种处理问题的思想实际上就是辅助变量法思想。定理5.1说明，在一定条件下利用最小二乘法可以获得无偏估计量。5.7 5.7 最小二乘估计的统计性质最小二乘估计的统计性质5.7.2 5.7.2 参数估计偏差的协方差性质参数估计偏差的协方差性质 参数估计偏差 的统计特性是评价参数估计精度的重要依据。 协方差阵主对角线上的元素就是 各分量的方差，它可以用来描述参数估计值的散度。5.7 5.7 最小二乘估计的统计性质最小二乘估计的统计性质定理定理5.25.2：如果模型噪声向量：如果模型噪声向量 是零均值且与数据矩是零均值且与数据矩阵阵 统计独立的随机向量，则加权最小二乘参数估统计独立的随机向量，则加权最小二乘参数估计偏差计偏差 的协方差阵可写成的协方差阵可写成其中其中 是噪声协方差阵是噪声协方差阵5.7 5.7 最小二乘估计的统计性质最小二乘估计的统计性质证明：证明：5.7 5.7 最小二乘估计的统计性质最小二乘估计的统计性质推论推论5.15.1：如果模型噪声向量：如果模型噪声向量 是零均值白噪声，且是零均值白噪声，且加权矩阵取加权矩阵取 ，则最小二乘参数估计偏差，则最小二乘参数估计偏差 的协方差阵为的协方差阵为其中其中 是噪声方差是噪声方差5.7 5.7 最小二乘估计的统计性质最小二乘估计的统计性质推论推论5.25.2：如果模型噪声向量：如果模型噪声向量 是零均值且与数据矩是零均值且与数据矩阵统计独立的随机向量，加权矩阵取阵统计独立的随机向量，加权矩阵取 ，则，则模型的参数估计值为模型的参数估计值为相应的参数估计偏差相应的参数估计偏差 的协方差阵的协方差阵为为如果噪声同时服从正态分布，则上式给出的参数估计值如果噪声同时服从正态分布，则上式给出的参数估计值其偏差的方差达到最小值，称为最小方差估计，也称其偏差的方差达到最小值，称为最小方差估计，也称MarkovMarkov估计。估计。5.7 5.7 最小二乘估计的统计性质最小二乘估计的统计性质5.7.3 5.7.3 一致性一致性 一致性描述参数估计值的收敛情况。 定理定理5.35.3：如果模型噪声向量是零均值白噪声 ，最小二乘参数估计是一致收敛的，即有：定理5.3表明：当噪声是白噪声时，最小二乘参数估计值是一致收敛的。并且，只有当噪声是白噪声时，定理才能成立。5.7 5.7 最小二乘估计的统计性质最小二乘估计的统计性质5.7.4 5.7.4 有效性有效性 有效性表明参数估计值偏差的协方差阵将达到下界。 定理5.4：如果模型噪声向量 是零均值白噪声，并设模型噪声服从正态分布，则最小二乘参数估计值 是有效估计值，即参数估计值偏差的协方差阵达到Cramr-Rao不等式的下界其中M为Fisher信息矩阵5.7 5.7 最小二乘估计的统计性质最小二乘估计的统计性质5.7.4 5.7.4 有效性有效性 推论5.3：如果模型噪声向量 是零均值且与数据矩阵统计独立的随机向量，加权矩阵取 ，并设模型噪声服从正态分布，则Markov参数估计 也是有效估计，即5.7 5.7 最小二乘估计的统计性质最小二乘估计的统计性质5.7.5 5.7.5 渐进分布性质渐进分布性质 定理定理5.55.5：如果模型噪声向量 是零均值白噪声，并设噪声服从正态分布，则最小二乘参数估计值 服从正态分布：5.7 5.7 最小二乘估计的统计性质最小二乘估计的统计性质5.7.5 5.7.5 渐进分布性质渐进分布性质 推论5.4：如果模型噪声向量 是零均值且与数据矩阵统计独立的随机向量，加权矩阵取 ，并设模型噪声服从正态分布，则Markov参数估计 服从正态分布，即：5.7 5.7 最小二乘估计的统计性质最小二乘估计的统计性质方法条件无偏性 一致性 有效性 渐进正态性加权最小二乘法 与 统计独立是是最小二乘法 是白噪声是是是，IF噪声服从正态分布是，IF噪声服从正态分布Markov参数估计 与 统计独立，且 服从正态分布 是是是是统计性质5.75.7最小二乘估计的统计性质最小二乘估计的统计性质5.7.6 5.7.6 噪声方差估计性质噪声方差估计性质 定理：定理：如果模型噪声向量 是零均值白噪声，模型噪声方差 的估计值是无偏一致估计，式中 ，定义为输出残差向量。 结论：结论：如果模型噪声n(k)是均值为零、服从正态分布的白噪声，则模型参数的最小二乘估计值是无偏、一致、有效估计。系统辨识基础 第13讲第5章 最小二乘参数辨识方法5.8 最小二乘参数估计的递推算法5.8 5.8 最小二乘参数估计的递推算最小二乘参数估计的递推算法法5.8.1 5.8.1 递推算法形式递推算法形式所谓递推算法就是根据新的观测数据实时修正参数估计值，随着时间的推移，逐步获得满意的辨识结果 递推算法推导在2n阶“持续激励”输入信号的作用下，加权最小二乘解为 5.8 5.8 最小二乘参数估计的递推算最小二乘参数估计的递推算法法5.8.1 5.8.1 递推算法形式递推算法形式定义：定义：5.8 5.8 最小二乘参数估计的递推算最小二乘参数估计的递推算法法5.8.1 5.8.1 递推算法形式递推算法形式其中：其中：5.8 5.8 最小二乘参数估计的递推算最小二乘参数估计的递推算法法5.8.1 5.8.1 递推算法形式递推算法形式由之前的定义可得：由之前的定义可得：另有：则5.8 5.8 最小二乘参数估计的递推算最小二乘参数估计的递推算法法5.8.1 5.8.1 递推算法形式递推算法形式于是有：于是有：令令5.8 5.8 最小二乘参数估计的递推算最小二乘参数估计的递推算法法5.8.1 5.8.1 递推算法形式递推算法形式利用等式（利用等式（5.8.45.8.4）和（）和（5.8.75.8.7），可得），可得5.8 5.8 最小二乘参数估计的递推算最小二乘参数估计的递推算法法5.8.1 5.8.1 递推算法形式递推算法形式引进增益矩阵引进增益矩阵 ，定义为，定义为则（则（5.8.95.8.9）式可写成：）式可写成：进一步，把（进一步，把（5.8.45.8.4）式写成：）式写成：5.8 5.8 最小二乘参数估计的递推算最小二乘参数估计的递推算法法5.8.1 5.8.1 递推算法形式递推算法形式为了避免矩阵求逆运算，利用矩阵反演公式：为了避免矩阵求逆运算，利用矩阵反演公式：可将（可将（5.8.125.8.12）式演变成：）式演变成：5.8 5.8 最小二乘参数估计的递推算最小二乘参数估计的递推算法法5.8.1 5.8.1 递推算法形式递推算法形式将（将（5.8.145.8.14）代入（）代入（5.8.105.8.10）式，整理后有：）式，整理后有：5.8 5.8 最小二乘参数估计的递推算最小二乘参数估计的递推算法法5.8.1 5.8.1 递推算法形式递推算法形式综合等式（综合等式（5.8.115.8.11）、（）、（5.8.145.8.14）和（）和（5.8.155.8.15）便得到）便得到加权最小二乘参数估计递推算法（加权最小二乘参数估计递推算法（RWLSRWLS）5.8 5.8 最小二乘参数估计的递推算最小二乘参数估计的递推算法法5.8.1 5.8.1 递推算法形式递推算法形式如果取加权因子 ，则加权最小二乘递推算法就变成普通的最小二乘递推算法，记作RLS(Recursive Least Squares algorithm)。5.8 5.8 最小二乘参数估计的递推算最小二乘参数估计的递推算法法5.8.2 5.8.2 递推计算流程递推计算流程5.8 5.8 最小二乘参数估计的递推算最小二乘参数估计的递推算法法5.8.2 5.8.2 矩阵矩阵 的递推关系的递推关系5.8 5.8 最小二乘参数估计的递推算最小二乘参数估计的递推算法法5.8.3 矩阵 的对称性矩阵 是一个对称、非增的矩阵。为了保证计算过程中P(k)矩阵始终是对称的，算法的第3式可采用下面的计算式，以保证不破坏P(k)矩阵的对称性。 5.8 5.8 最小二乘参数估计的递推算最小二乘参数估计的递推算法法5.8.4 5.8.4 矩阵矩阵 的误差传递的误差传递在计算过程中，增益矩阵K(k)可能产生误差，经过算法的迭代，造成误差传递和累积，最后将影响辨识算法的精度。为此，可采用下面的计算式，以截断误差的传递，保证辨识精度。5.8 5.8 最小二乘参数估计的递推算最小二乘参数估计的递推算法法5.8.5 5.8.5 初始值的选择初始值的选择递推算法的初始值一般可取：其中a 为充分大实数， 为充分小实向量，这是因为：选择初始值时，必须使 都很小，接近于0。 5.8 5.8 最小二乘参数估计的递推算最小二乘参数估计的递推算法法5.8.6 5.8.6 矩阵矩阵 的基本性质的基本性质矩阵P P(k)具有如下一些基本性质： P P(k)是对称、非奇异矩阵； ，其中 表示矩阵的最小特征值； ； ； 5.8 5.8 最小二乘参数估计的递推算最小二乘参数估计的递推算法法5.8.7 5.8.7 残差与新息的关系残差与新息的关系新息（新息（InnovationInnovation）是递推算法中一个重要的量，定义）是递推算法中一个重要的量，定义为：为：它用来描述它用来描述k k时刻的输出预报误差。时刻的输出预报误差。残差是用来描述残差是用来描述k k时刻的输出偏差，定义为：时刻的输出偏差，定义为：5.8 5.8 最小二乘参数估计的递推算最小二乘参数估计的递推算法法5.8.7 5.8.7 残差与新息的关系残差与新息的关系残差与新息存在如下关系：残差与新息存在如下关系：5.8 5.8 最小二乘参数估计的递推算最小二乘参数估计的递推算法法5.8.8 5.8.8 准则函数的递推计算准则函数的递推计算5.8 5.8 最小二乘参数估计的递推算最小二乘参数估计的递推算法法5.8.9 5.8.9 递推算法的收敛性质递推算法的收敛性质定理5.7：考虑最小二乘辨识问题，只有当噪声n(k)为零均值白噪声时，递推算法给出的参数估计值才是一致收敛的，即有系统辨识基础 第14讲第6章 最小二乘参数辨识方法（II）6.1 最小二乘递推算法的几种变形引言引言最小二乘法是一种最基本的辨识算法，但它具有两方面的缺陷：1 当模型噪声是有色噪声时，最小二乘参数估计不是无偏、一致估计。2 随着数据的增长，最小二乘法将出现所谓的“数据饱和”现象。这是由于增益矩阵K(k)随着k的增加将逐渐趋近于零，以致递推算法慢慢失去修正能力。6.1 6.1 最小二乘递推算法的几种变最小二乘递推算法的几种变形形最小二乘递推算法有多种不同的变形，常用的有六种： 基于数据所含的信息内容不同，对数据进行有选择性的加权； 在认为新近的数据更有价值的假设下，逐步丢弃过去的数据； 只用有限长度的数据； 加权方式既考虑平均特性又考虑跟踪能力； 在不同的时刻，重调协方差阵P P(k)； 设法防止协方差阵P P(k)趋于零；6.1.1 6.1.1 选择性加权最小二乘选择性加权最小二乘把加权最小二乘递推算法改写成算法中引进加权因子，其目的是便于考虑观测数据的可信度选择不同的加权方式对算法的性质会有影响，下面是几种特殊的选择。 6.1.1 6.1.1 选择性加权最小二乘选择性加权最小二乘 一种有趣的情况是 取得很大，在极限情况下，算法就退化成正交投影算法。也就是说，当选择 构成了正交投影算法算法初始值取 及 ，且当 时，令 。6.1.1 6.1.1 选择性加权最小二乘选择性加权最小二乘 第种加权因子的选择显然是一种极端情况，算法的鲁棒性比较差。为了使算法具有较好的鲁棒性，可把第种加权因子的选择修改为 其中 是指定的阀值。这时算法对数据作了不同的加权，但不排斥任何数据6.1.1 6.1.1 选择性加权最小二乘选择性加权最小二乘 按下式选择加权因子，意味着它是过去数据信息量的按下式选择加权因子，意味着它是过去数据信息量的一种度量一种度量 6.1.1 6.1.1 选择性加权最小二乘选择性加权最小二乘 如果由噪声、建模不准确等因素引起的误差上界已知，则可按下式选择加权因子 6.1.2 6.1.2 遗忘因子法遗忘因子法1 1 一次完成算法一次完成算法(1) 考虑模型式中u(k)和z(k) 分别为模型输入和输出变量，v(k)是零均值的白噪声， 和 为迟延算子多项式，写成 6.1.2 6.1.2 遗忘因子法遗忘因子法1 1 一次完成算法一次完成算法(2) 假定模型阶次 和 为已知，且有 ，也可设 ,并定义6.1.2 6.1.2 遗忘因子法遗忘因子法1 1 一次完成算法一次完成算法(3) 将模型写成最小二乘格式对于 (L为数据长度)，可以构成如下线性方程组式中数据与之前的不同，加上了衰减因子 ：6.1.2 6.1.2 遗忘因子法遗忘因子法1 1 一次完成算法一次完成算法(4) 则模型可以写成其中 仍为白噪声，故利用之前的公式可得遗忘因子法的一次完成算法：6.1.2 6.1.2 遗忘因子法遗忘因子法2 2 递推算法递推算法将一次完成算法写成：将一次完成算法写成：其中其中6.1.2 6.1.2 遗忘因子法遗忘因子法2 2 递推算法递推算法定义：定义：6.1.2 6.1.2 遗忘因子法遗忘因子法2 2 递推算法递推算法其中：其中：6.1.2 6.1.2 遗忘因子法遗忘因子法2 2 递推算法递推算法则则令：令：6.1.2 6.1.2 遗忘因子法遗忘因子法2 2 递推算法递推算法则则或写成或写成6.1.2 6.1.2 遗忘因子法遗忘因子法2 2 递推算法递推算法同时利用（同时利用（6.46.4）和（）和（6.76.7）式，可以得到：）式，可以得到：6.1.2 6.1.2 遗忘因子法遗忘因子法2 2 递推算法递推算法令增益矩阵：令增益矩阵：则（则（6.86.8）式可以写成：）式可以写成：进一步把（进一步把（6.46.4）式写成：）式写成：6.1.2 6.1.2 遗忘因子法遗忘因子法2 2 递推算法递推算法利用矩阵反演公式，可得：利用矩阵反演公式，可得：将上式代入（将上式代入（6.96.9）式中，整理后得到：）式中，整理后得到：6.1.2 6.1.2 遗忘因子法遗忘因子法2 2 递推算法递推算法综上，遗忘因子法的递推算法（简称综上，遗忘因子法的递推算法（简称RFFRFF）可归纳为：）可归纳为：6.1.2 6.1.2 遗忘因子法遗忘因子法综合起来看，遗忘因子算法是通过对数据加上遗忘因子的办法来降低老数据的信息量，为补充新数据的信息创造条件。RFF和RLS算法基本上一致的，初始状态的选择也可以采取相同的公式。如果遗忘因子如果遗忘因子 ，算法退化成普通最小二乘法。，算法退化成普通最小二乘法。6.1.2 6.1.2 遗忘因子法遗忘因子法遗忘因子 可按下面的原则取值： 若要求 步后数据衰减至36%,则 ； 取作时变因子 ，其中 。 遗忘因子 的取值大小对算法的性能会产生直接的影响。 值增加时，算法的跟踪能力下降，但算法的鲁棒性增强； 值减少时，算法的跟踪能力增强，但算法的鲁棒性下降，对噪声更显得敏感。6.1.2 6.1.2 遗忘因子法遗忘因子法遗忘因子法和加权最小二乘算法主要的差别： 加权方式不同加权最小二乘法各时刻权重是不相关的，也不随时间变化；遗忘因子法各时刻权重是有关联的，满足 关系，各时刻权重的大小随时间变化，当前时刻的权重总为1。6.1.2 6.1.2 遗忘因子法遗忘因子法遗忘因子法和加权最小二乘算法主要的差别： 加权的效果不一样加权最小二乘法获得的是系统的平均特性；遗忘因子法能实时跟踪系统明显的变化，具有跟踪能力。 算法的协方差矩阵P(k)的内容不一样，两者的关系为。 6.1.2 6.1.2 遗忘因子法遗忘因子法和加权最小二乘递推算法一样，遗忘因子算法下的残差和加权最小二乘递推算法一样，遗忘因子算法下的残差与新息与新息 关系：关系：或或6.1.2 6.1.2 遗忘因子法遗忘因子法准则函数为：可推出准则函数可推出准则函数J J( (k k) )的递推计算式：的递推计算式：式中，式中， 是是k k 时刻的新息，它与时刻的新息，它与k k-1 -1 时刻的参数估计值有关。时刻的参数估计值有关。6.1.3 6.1.3 限定记忆法限定记忆法最小二乘法或遗忘因子法在一次完成算法中所用的数据长度L是一定的。但在递推算法中，数据长度L就不是固定的了，它随着时间k的推移而逐渐增加。这意味着老数据所含的信息在不断积累，长期下去新数据锁包含的信息将被淹没，新数据的作用就会被消弱。这种数据长度随k不断增长的辨识算法被称作增长记忆法，其特点是老数据所含的信息始终在起作用，相对将影响新数据的作用。6.1.3 6.1.3 限定记忆法限定记忆法另一类算法叫做限定记忆法。这种方法的参数估计值始终依赖于有限个最新数据所提供的信息，每增加一个新数据的信息，就要去掉一个老数据的信息，数据长度始终保持不变。它的特点是离现时刻L以前的老数据所含的信息从算法中彻底被删除，影响参数估计值的数据始终是最新的L个数据，不像最小二乘法或遗忘因子法那样，不管多老的数据都在起作用。就这点而言，限定记忆法更适合于用来克服“数据饱和”现象。6.1.3 6.1.3 限定记忆法限定记忆法1 1 递推算法递推算法考虑模型考虑模型 的辨识问的辨识问题。题。假设假设 及其对应的及其对应的 阵和增益矩阵阵和增益矩阵 已含已含k k至（至（k+L-1k+L-1）时刻共）时刻共L L个数据所个数据所提供的信息，现再增加一组新的数据提供的信息，现再增加一组新的数据 、 ，其中，其中6.1.3 6.1.3 限定记忆法限定记忆法1 1 递推算法递推算法记记 、 和和 含含k k至（至（k+Lk+L）时刻共（）时刻共（L+1L+1）个数据所提供的信息，根据）个数据所提供的信息，根据最小二乘法（去加权因子为最小二乘法（去加权因子为1 1），有：），有：6.1.3 6.1.3 限定记忆法限定记忆法1 1 递推算法递推算法为了保持数据长度为了保持数据长度L L不变，增加了（不变，增加了（k+Lk+L）时刻的数据，）时刻的数据，就要去掉就要去掉k k时刻的数据。相应的递推结果记为时刻的数据。相应的递推结果记为 和和 、 ，它们包，它们包含（含（k+1k+1）至（）至（k+Lk+L）时刻）时刻L L个数据锁提供的信息。根据之个数据锁提供的信息。根据之前的如下定义：前的如下定义：6.1.3 6.1.3 限定记忆法限定记忆法1 1 递推算法递推算法可以得到：可以得到：利用矩阵反演公式得：利用矩阵反演公式得：6.1.3 6.1.3 限定记忆法限定记忆法1 1 递推算法递推算法定义定义6.1.3 6.1.3 限定记忆法限定记忆法1 1 递推算法递推算法根据最小二乘法的解，有根据最小二乘法的解，有6.1.3 6.1.3 限定记忆法限定记忆法1 1 递推算法递推算法利用以上各个等式，可以得到利用以上各个等式，可以得到令令将利用矩阵反演公式得到的等式代入上式，整理可得：将利用矩阵反演公式得到的等式代入上式，整理可得：6.1.3 6.1.3 限定记忆法限定记忆法1 1 递推算法递推算法于是可将限定记忆法的递推算法（简称RFM）归纳为6.1.3 6.1.3 限定记忆法限定记忆法2 2 辨识步骤辨识步骤算法前三个式子用于去掉老数据的信息，后三个式子用来增加新数据的信息，初始值取 其中a 为充分大实数， 为充分小实向量 6.1.3 6.1.3 限定记忆法限定记忆法3 3 准则函数准则函数相应的准则函数递推计算式为： 其中6.1.4 6.1.4 折息法折息法折息法把加权最小二乘法和遗忘因子法融合起来，形成如下算法： 6.1.4 6.1.4 折息法折息法折息因子与加权因子和遗忘因子之间的关系为，当遗忘因子取常数时，折息因子又可表示成。折息法同时具备加权最小二乘法和遗忘因子法的作用，既可获得系统的平均特性，又具有时变跟踪能力。 6.1.5 6.1.5 协方差重调最小二乘法协方差重调最小二乘法在辨识递推计算过程中，协方差矩阵P P(k)衰减很快，此时算法的增益矩阵K K(k)也急剧衰减。这种现象的出现，促使人们去考虑一种修正的方案，即在指定的时刻重新调整协方差矩阵P P(k)，使算法始终保持较快的收敛速度。6.1.5 6.1.5 协方差重调最小二乘法协方差重调最小二乘法这种协方差重调的最小二乘算法描述如下：当 时，P P(k)按上式算法计算；当 时，把P P(k)重调为： 6.1.6 6.1.6 协方差修正最小二乘法协方差修正最小二乘法对时变系统辨识来说，为了防止矩阵P P(k)趋于零，当参数估计值超过某阀值时，矩阵P P(k)自动加上附加项Q Q, 具体算法如下： 系统辨识基础 第15讲第6章 最小二乘参数辨识方法II6.1 引言6.2 增广最小二乘法6.3 广义最小二乘法6.1 6.1 引言引言最小二乘法是一种最基本的辨识方法，但如果模型的噪声不是白噪声，最小二乘法不一定能给出无偏、一致估计。以下着重讨论模型噪声是有色噪声时的各种最小二乘辨识方法。 6.2 6.2 增广最小二乘法增广最小二乘法6.2.1 6.2.1 增广最小二乘法原理增广最小二乘法原理设设SISOSISO过程采用如下模型过程采用如下模型 式中u(k)和z(k) 分别为模型输入和输出变量；v(k) 是均值为零、方差为 的不相关随机噪声或称白噪声；其中na、nd和nb 为模型阶次。 6.2 6.2 增广最小二乘法增广最小二乘法6.2.1 6.2.1 增广最小二乘法原理增广最小二乘法原理为了运用最小二乘原理来辨识这种模型的参数，需要把模型写成最小二乘格式 这样就必须把噪声模型的参数包含在参数向量 中，从而引出增广概念，用来构造模型的参数向量 和数据向量6.2 6.2 增广最小二乘法增广最小二乘法6.2.1 6.2.1 增广最小二乘法原理增广最小二乘法原理令：则可将模型化成 由于上式v(k)是白噪声，所以利用最小二乘法即可获得参数的无偏估计。但是，数据向量h(k)中包含着不可测的噪声量 ，可用相应的估计值代替，置6.2 6.2 增广最小二乘法增广最小二乘法6.2.1 6.2.1 增广最小二乘法原理增广最小二乘法原理其中其中 按下式计算。按下式计算。6.2 6.2 增广最小二乘法增广最小二乘法6.2.1 6.2.1 增广最小二乘法原理增广最小二乘法原理以上这种构成参数向量和数据向量的思想就是所谓的增广原理，它是增广最小二乘法的根本。6.2 6.2 增广最小二乘法增广最小二乘法6.2.2 6.2.2 增广最小二乘法增广最小二乘法运用最小二乘原理，可导出如下的增广最小二乘批处理算法 式中6.2 6.2 增广最小二乘法增广最小二乘法6.2.2 6.2.2 增广最小二乘法增广最小二乘法又有如下与之对应的参数估计递推算法，记作RELS(Recursive Extended Least Squares algorithm)：式中数据向量视不同的噪声模型可以具有不同的增广结构。 6.2 6.2 增广最小二乘法增广最小二乘法6.2.2 6.2.2 增广最小二乘法增广最小二乘法 这种参数估计算法的实质，在于把噪声模型参数混在参数向量中一起进行辨识就这种意义上说，称之为增广最小二乘法。它是普通最小二乘法的一种推广，其递推形式和性质与普通最小二乘法完全相同。优点是可用来解决有色噪声模型的辨识问题，但噪声模型部分本身的辨识并不一定是无偏、一致估计。 6.3 6.3 广义最小二乘法广义最小二乘法6.3.1 6.3.1 批处理算法批处理算法考虑如下模型 式中u(k)和z(k)分别为模型输入和输出变量；v(k)是均值为零、方差为的白噪声；迟延算子多项式 、 和 记作： 6.3 6.3 广义最小二乘法广义最小二乘法6.3.1 6.3.1 批处理算法批处理算法其中na、nb和 nc 为模型阶次则这类问题的辨识可用广义最小二乘法，以便获得无偏一致估计。令6.3 6.3 广义最小二乘法广义最小二乘法6.3.1 6.3.1 批处理算法批处理算法可将模型化成最小二乘格式：由于上式中噪声为白噪声，所以利用最小二乘法即可获得参数的无偏估计。但是数据向量中的变量计算方法须与之适应，但噪声模型 并不知道。为此需要用迭代的办法来估计 。令6.3 6.3 广义最小二乘法广义最小二乘法6.3.1 6.3.1 批处理算法批处理算法置就把噪声模型式也化成了最小二乘格式：由于上式的噪声已是白噪声，所以再次利用最小二乘法即可获得噪声模型 的无偏估计。6.3 6.3 广义最小二乘法广义最小二乘法6.3.1 6.3.1 批处理算法批处理算法但是，数据向量但是，数据向量 中依然包含不可测的噪声量中依然包含不可测的噪声量 ，可用相应的估计值代替，置，可用相应的估计值代替，置其中其中 ，按下式计算。，按下式计算。式中式中6.3 6.3 广义最小二乘法广义最小二乘法6.3.2 6.3.2 递推算法递推算法可以进一步推出广义最小二乘递推算法，记作RGLS (Recursive Generalized Least Squares algorithm)： 6.3 6.3 广义最小二乘法广义最小二乘法6.3.3 6.3.3 基本思想基本思想这种迭代估计模型参数的方法称作广义最小二乘法。这种方法的基本思想是基于对数据先进行一次滤波预处理，然后利用最小二乘算法来辨识模型的参数。广义最小二乘参数估计存在全局收敛问题，当噪声较大时，一般难以获得更高的辨识精度。 第16讲 自适应控制I贝尔曼，贝尔曼，R R美国数学家，美国全国科学院院士，动态规划的创始人。1920年8月26日生于美国纽约。1984年3月19日逝世。1941年在布鲁克林学院毕业，获理学士学位，1943年在威斯康星大学获理学硕士学位，1946年在普林斯顿大学获博士学位。19461948年在普林斯顿大学任助理教授,19481952年在斯坦福大学任副教授,19531956年在美国兰德公司任研究员，1956年后在南加利福尼亚大学任数学教授、电气工程教授和医学教授。 贝尔曼因提出动态规划而获美国数学会和美国工程数学与应用数学会联合颁发的第一届维纳奖金（1970），卡内基梅隆大学颁发的第一届迪克森奖金(1970)，美国管理科学研究会和美国运筹学会联合颁发的诺伊曼理论奖金(1976)。1977年贝尔曼当选为美国艺术与科学研究院院士和美国工程科学院院士。 贝尔曼因在研究多段决策过程中提出动态规划而闻名于世。1957年他的专著动态规划出版后，被迅速译成俄文、日文、德文和法文，对控制理论界和数学界有深远影响。THANK YOUSUCCESS2024/9/6457可编辑