时间序列分析方法讲义 第 3 章 平稳 ARMA 模型1第三章 平稳 ARMA 过程一元 ARMA 模型是描述时间序列动态性质的基本模型。通过介绍 ARMA 模型，可以了解一些重要的时间序列的基本概念。3.1 预期、平稳性和遍历性3.1.1 预期和随机过程假设可以观察到一个样本容量为 的随机变量 的样本：TtY,21Ty这意味着这些随机变量之间的是相互独立且同分布的。例 3.1 假设 个随机变量的集合为： ， 且相互独立，我,21T ),0(2Ni们称其为高斯白噪声过程产生的样本。对于一个随机变量 而言，它是 t 时刻的随机变量，因此即使在 t 时刻实验，它也可tY以具有不同的取值，假设进行多次试验，其方式可能是进行多次整个时间序列的试验，获得 I 个时间序列：， ，ty)1( ty)2( tIy)(将其中仅仅是 t 时刻的观测值抽取出来，得到序列： ，这个序列便,)()2(1Ittyy是对随机变量 在 t 时刻的 I 次观测值，也是一种简单随机子样。Y定义 3.1 假设随机变量 是定义在相同概率空间 上的随机变量，则称随机t ,P变量集合 为随机过程。,21,0t例 3.2 假设随机变量 的概率密度函数为：texp)(2ttYyyf此时称此时密度为该过程的无条件密度，此过程也称为高斯过程或者正态过程。定义 3.2 可以利用各阶矩描述随机过程的数值特征：(1) 随机变量 的数学期望定义为( 假设积分收敛)：ttYtt dyfEt)(此时它是随机样本的概率极限： IitItPY1)(lm)(2) 随机变量 的方差定义为( 假设积分收敛):t20)ttE例 3.3 (1) 假设 是一个高斯白噪声过程，随机过程 为常数加上高斯白噪,1 tY声过程： ，则它的均值和方差分别为：ttY)()(t220 ttt(2) 随机过程 为时间的线性趋势加上高斯白噪声过程： ，则它的均值和ttY方差分别为： tEtYttt )()(2203.1.2 随机过程的自协方差时间序列分析方法讲义 第 3 章 平稳 ARMA 模型2将 j 个时间间隔的随机变量构成一个随机向量 ，通过随机试验可以),(1jtttYX获得该随机向量的简单随机样本。假设函数 为随机向量 的),(1Yyfjtt tX联合概率分布密度，则可以类似地定义：定义 3.3 随机过程 的自协方差定义为：tY)(jtjtttjE上述协方差可以利用联合概率分布密度求解。3.1.3 平稳性定义：假设随机过程 的均值函数 和协方差函数 与时间 无关，则称此过程是tYt tjt协方差平稳过程，也称为弱平稳过程。此时对任意时间 有：tEYjjt)(例 3.4 (1) 假设随机过程 为常数加上高斯白噪声过程： ，则它的均值和tYttY方差与时间无关，因此该过程是协方差平稳过程。(2) 假设随机过程 为时间的线性趋势加上高斯白噪声过程： ，则它的均t tt值为： ，它依赖时间 ，因此它不是协方差平稳过程。tEYttt )()( t由于协方差平稳过程仅仅依赖时间间隔，因此有： jj定义：假设随机过程 满足条件：对于任意正整数值 ，随机向量t njj,21的联合概率分布只取决于时间间隔 ，而不依赖时间 ，则),(21njtjtjtY t称该过程是严格平稳过程，简称为严平稳过程。如果一个随机过程是严平稳过程，而且具有有限的二阶矩，则该过程一定是协方差平稳过程，即宽平稳过程。但是，一个宽平稳过程却不一定是严平稳过程。例 3.4 假设随机过程 是具有高斯分布的高斯过程，如果该过程是宽平稳过程，则此tY过程一定是严平稳过程。3.1.4 遍历性遍历性是时间序列中非常重要的。对于时间序列而言，我们可以得到一个随着时间顺序的样本观测值： ，对此可以得到一个时间平均值：),(1()(21TyyTty1)定义：假设时间序列 是一个平稳过程，如果时间平均值按照概率收敛到总体平均值，tY则称该随机过程是关于均值遍历的。遍历性是平稳时间序列非常重要的一个性质，如果一个平稳时间序列是遍历的，那么它在每个时点上的样本矩性质( 均值和协方差等) 就可以在不同时点上的样本中体现出来。这就是遍历性的含义。定理：如果一个协方差平稳过程，如果自协方差函数满足： 0|jj则随机过程是关于均值遍历的。定义：假设时间序列 是一个协方差平稳过程，如果样本协方差按照概率收敛到总体tY协方差，即时间序列分析方法讲义 第 3 章 平稳 ARMA 模型3jPTjt jttY 1)(则称该过程是关于二阶矩遍历的。高阶矩遍历意味着过程不同时间上的统计性质更接近同一时点上的随机抽样性质。例 3.4 如果随机过程 是高斯协方差平稳过程，则它是均值遍历过程，也是二阶矩遍t历过程。一般情况下，平稳性和遍历性之间没有必然联系，下面的例子可以说明这一点。例 3.5 假设随机过程 的均值过程满足：tYtiitY)()(其中均值满足： ， 是 独立的白噪声过程。),0(2)(Ni t)(i因为 )()( tiittE220t，)()( jtiitj 0j上式表明，该过程是协方差平稳过程，但是由于 tiPTttiTtiY )(1)(1)(因此，该过程不是均值遍历过程。3.2 移动平均过程3.2.1 一阶移动平均过程假设 是白噪声过程，考虑下述随机过程：t1ttY其中 和 是任意常数。由于这个随机过程依赖最近两个时间阶段的 的加权平均，t因此称此过程为一阶移动平均过程，表示为 。下面我们通过求解 过程的均值)1(MA)1(MA函数和协方差函数来说明它是一个宽平稳过程。求解均值函数为： )()1ttttEY一阶自协方差为： 21211)()(t ttttt对于更高阶的自协方差，则有： 0)(11jtjtttjtEY上述结果表明， 过程是一个平稳随机过程。MA注意到： |)1(| 220jj因此， 也是均值遍历过程。时间序列分析方法讲义 第 3 章 平稳 ARMA 模型4定义：将协方差平稳过程的第 j 个自相关系数表示为 ，则有：j0/jj根据相关系数的定义： 00)()(, jjjttj YVarCov根据 Cauchy-Schwarz 不等式，可知所有自相关系数绝对值不会超过 1。对于 MA(1)过程而言，它的自相关系数为： 1,;1,21 jjj自相关系数也被称为自相关函数，它度量随着时间间隔的变化，随机过程不同时点之间的相关性。即使具有相同的自相关函数，所对应的随机过程性质可能也是不同的。3.2.2 阶移动平均过程q推广 MA(1)过程中的滞后阶数，可以得到下面表示为 的 阶移动平均过程：)(qMAqtttttY21其中残差仍然是白噪声过程，系数可以是任意实数。(1) 过程的均值)(qMA直接计算均值函数为： )21qtttttEY(2) 过程的自协方差)(首先计算方差为： 221 20)( )qqtttt 其次计算自协方差，当时间间隔 时：j21 1)( )( jqjj qjtjtttttjE 当时间间隔 时，则有：0 )( 1 qjtjtjttttj 对于 过程而言，则有：)2(MA，21，1，22，0jj显然，对于任意阶数的移动平均过程，均是协方差平稳的。因此，移动平均过程的平稳性对于参数没有任何要求。(3) 过程的自相关函数)(qMA根据自相关函数(ACF 函数)的定义，可以得到 过程的自相关函数为：)(qMA21时间序列分析方法讲义 第 3 章 平稳 ARMA 模型5212，0jj上述 ACF 函数的典型性质是它仅有两个突出点，当时间间隔大于 2 个阶段以后，ACF函数便快速地收敛到零。如果一个随机过程的 ACF 函数体现出这样的性质，便可以推断它的数据生成过程(data generating process，简称为 DGP)可能是一个 MA(2)过程。3.2.3 无限阶移动平均过程无限阶移动平均过程是 过程的进一步推广，令 ，得到 过程的表)(qMAq)(MA达式为： jtjtY0为了与有限阶移动平均参数加以区别，上述移动平均系数利用符号 表示。如果假设j移动平均系数是平方可加的，即： 02j可以证明上述表示按照均方收敛到一个随机变量，因此确实定义了一个随机过程。可以对于系数加以更强的条件，即假设是绝对可加的，即满足： 0|jj可以证明绝对可加可以推导出平方可加，但是反之不然。系数绝对可加的无限阶移动平均过程是平稳过程，其均值和协方差函数可以表示为： )(lim)( 210 TttttTtEY20 221)(j tTttt 20)()( kkjjttj YE可以证明，当移动平均系数绝对可加时，自协方差也是绝对可加的： 0|jj因此 过程是关于均值遍历的。)(MA3.4 自回归过程上面我们介绍的移动平均过程是将一个随机过程表示为随机残差的移动平均，当期随机过程的实现没有受到过程前期取值的直接影响。如果随机过程取值对后继取值产生影响，则可以利用自回归过程表示这样随机过程的基本特征。3.4.1 一阶自回归过程 AR (1)假设随机过程当期取值依赖前一个阶段的取值，如此随机过程可以利用下面一阶自回归过程 AR (1)表示： tttYc1其中 仍然是白噪声过程。显然如此自回归过程可以表示为线性差分方程形式：t时间序列分析方法讲义 第 3 章 平稳 ARMA 模型6，tttwY1ttc根据线性差分方程的性质可知，如果自回归系数 ，外生扰动的作用将不断累积，1|导致该过程具有逐渐增加的均值和方差，因此该过程将不是平稳过程。为此，我们限制自回归系数满足： ，这是一阶自回归过程平稳的约束条件。|根据差分方程解的公式，可以得到： 0 321321 )()()()(jjt tttttc ccwwY根据上述过程表达式，可以知道：(1) 过程的均值函数为：)1(ARcEYt(2) 过程的方差为：)( 224220 1)1( t(3) 过程的协方差函数为：)(AR2242 211)( )() jjjj jtjtttttjjEY (4) 过程的自相关函数为：)AR，jj,10当平稳性条件满足时，上述自相关函数收敛到零，但是收敛的方式依赖 的符号，如何自回归系数是正的，则呈现单调收敛模式；当自回归系数是负的时候，呈现震荡收敛模式。由于 的绝对