第四章均值和自协方差函数的估计均值和自协方差函数的估计本章结构n均值的估计均值的估计n自协方差函数的估计自协方差函数的估计n白噪声检验白噪声检验4.1 均值的估计n相合性相合性n中心极限定理中心极限定理n收敛速度收敛速度n 的模拟计算的模拟计算均值、自协方差函数的作用nAR,MA,ARMA模型的参数可以由自协方差函数唯一确定。n有了样本之后，可以先估计均值和自协方差函数。n然后由均值和自协方差函数解出模型参数。n均值和自协方差可以用矩估计法求。n还要考虑相合性，渐进分布，收敛速度等问题。均值估计公式n设 是平稳列 的观测。n 的点估计为n把观测样本看成随机样本时记作大写的相合性n设统计量 是 的估计，在统计学中有如下的定义n1 如果 ，则称 是 的无偏估计。n2 如果当 则称 是 的渐 进无偏估计。n3 如果 依概率收敛到 ，则称 是 的相合估计。n4如果 收敛到 ，则称 是 的强相合估计。n一般情况下，无偏估计比有偏估计来得好，对于由(1.1)定义的 。有所以 是均值 的无偏估计。均值估计的相合性n好的估计量起码应是相合的。否则，估计量不收敛到要估计的参数，它无助于实际问题的解决。n对于平稳序列 ，如果它的自协方差函数 收敛到零，则：n利用切比雪夫不等式n得到 依概率收敛到 。于是 是 的相合估计。均值估计的性质n定理1.1 设平稳序列 有均值 和自协方差函数 。则 1 是 的无偏估计。 2 如果 则 是 的相合估计。 3 如果 还是严平稳遍历序列，则 是 的强相合估计。 n第三条结论利用1.5的遍历定理5.1可得。 一般地，任何强相合估计一定是相合估计。 线性平稳列的均值估计是相合估计。 ARMA模型的均值估计是相合估计。独立同分布样本的中心极限定理n若 。则n可以据此计算 的 置信区间。 (1.3)其中的1.96也经常用2近似代替。平稳列的均值估计的中心极限定理n定理1.2 设 是独立同分布的 ，线性平稳序列 由 (1.5)定义。其中 平方可和。如果 的谱密度 (1.6) 在 连续，并且 则当 时， 推论n当 绝对可和时， 连续。n推论1.3 如果 和 成立，则当 时 并且 (1.7)收敛速度n相合的估计量渐进性质除了是否服从中心极限定理外，还包括这个估计量的收敛速度。n收敛速度的描述方法之一是所谓的重对数律。n重对数律成立时，得到的收敛速度的阶数一般是n除了个别情况，这个阶数一般不能再被改进。收敛速度(2)n定理1.4 设 是独立同分布的 。线性平稳序列 由(1.5)定义。谱密度 。当以下的条件之一成立时： 1 当 以负指数阶收敛于0. 2 谱密度 在 连续。并且 对某个 成立。n则有重对数律 (1.8) (1.9)易见重对数律满足时 不收敛。AR(2)的均值计算n令 考虑AR(2)模型为模拟方便设 。AR(2)的均值计算(2)估计收敛性的模拟n为了观察 时 的收敛可以模拟L个值然后观察 的变化。n为了研究固定N情况下 的精度以至于抽样分布。可以进行M次独立的随机模拟，得到M个 的观察值。这种方法对于难以得到估计量的理论分布的情况是很有用的。4.2 自协方差函数的估计n自协方差估计公式及正定性n 的相合性n 的渐进分布n模拟计算自协方差函数估计公式n (2.2) 样本自相关系数(ACF)估计为 (2.3)自协方差函数估计公式n估计 一般不使用除了 的估计形式： (2.4)因为： 我们不对大的k值计算 更重要的是只有除以N的估计式才是正定的。样本自协方差的正定性n只要观测 不全相同则 正定。n令 记 (2.5) 只要 不全是零则A满秩。样本自协方差的正定性n事实上，设 则A矩阵左面会出现一个以 值开始非零的斜面。显然是满秩的。n故 不全相同时 正定。n 作为 的主子式也是正定的。 的相合性n定理2.1 设平稳序列的样本自协方差函数 由式(2.2)或(2.4)定义。 1 如果当 时， 则对每个确定的k， 是 的渐进无偏估计：n2如果 是严平稳遍历序列。则对每个确定的k, 和 分别是 和 的强相合估计：定理2.1的证明n下面只对由(2.2)定义的样本自协方差函数证明定理2.1。对由(2.4)定义的 的证明是一样的。 设 则 是零均值的平稳序列。利用 (2.7)定理2.1的证明定理2.1的证明n只考虑线性序列。 设 是4阶矩有限的独立同分布的 实数列 平方可和。线性平稳序列 (2.8) n 有自协方差函数 (2.9) 有谱密度 (2.10)n设自协方差函数列 平方可和。n设 为独立同分布的 。n令n定义正态时间序列 (2.11) (2.12)样本自协方差和自相关的中心极限定理n定理2.2 设 是独立同分布的 。满足 。如果线性平稳序列(2.8)的谱密度(2.10)平方可积：n则对任何正整数h，当 时，有以下结果 1 依分布收敛到 2 依分布收敛到 自相关检验的例子n例2.1(接第三章例1.1)对MA(q)序列 。利用定理2.2得到，只要当 依分布收敛到 的分布。 注意 时， 中的 应属于 ，所以令 有 n 为期望为0，方差为 的正态分布。n在假设 是MA(q)下，对mq有自相关检验的例子n现在用 表示第三章例1.1中差分后的化学浓度数据。在 是MA(q)下。用 代替真值 后分别对 计算出 在q=0的假设下， 所以应当否定q=0.自相关检验的例子n实际工作中人们还计算概率 并且把p称为检验的p值。明显p值越小，数据提供的否定原假设的依据越充分。现在在 下 ， 近似服从标准正态分布。所以p值几乎是零，因而必须拒绝 是MA(0)的假设。 取q=1时， 所以不能拒绝 是MA(1)的假设。 谱密度平方可积的充要条件n对于实际工作者来讲谱密度平方可积的条件通常很难验证。于是希望能把定理2.2中谱密度平方可积的条件改加在自协方差函数 的收敛速度上。n定理2.3 对于一平稳序列 它的自协方差函数平方可积的充分必要条件是它的谱密度平方可积。n这个结论主要是利用实变函数论中Fourier级数的理论。只有证明 时用了周期图(如P.67定理3.1的证明，那里 绝对可和)。证明略。n推论2.4 设 是独立同分布的白噪声 满足 如果线性平稳序列(2.8)的自协方差函数平方可和： 则定理2.2中的结论成立。 快速收敛条件下的中心极限定理n定理2.2 要求白噪声的方差有4阶矩。下面关于线性平稳序列的样本自相关系数的中心极限定理不要求噪声项的4阶矩有限。n定理2.5 设 是独立同分布的 线性平稳序列 由(2.8)定义。如果自协方差函数 平方可和，并且对某个常数 (2.13) n则对任何正数h.当 时， 依分布收敛到 ARMA序列的 满足(2.13).ARMA序列的白噪声列是独立同分布序列时定理2.5结论成立。独立同分布列的中心极限定理n推论2.6 如果 是独立同分布的白噪声， 是样本自相关系数，则对任何正整数h: 1: 依分布收敛到多元标准正态分布 这里 是 的单位矩阵。n2：如果 则 依分布收敛到推论2.6的证明n对白噪声， 定理2.5的条件满足。第二条满足推论2.4的条件。AR(2)模型实例n首先用图形表示N不同时 的误差。n然后重复M=1000次计算1000个 的标准差(称为标准误差)。发现N增大时标准误差减小。n误差随N减小的速度为 。n根离单位圆近的模型其估计标准误差大。4.3 白噪声检验n白噪声的白噪声的 检验检验n样本自相关置信区间样本自相关置信区间检验法检验法白噪声的 检验n若 是独立同分布的白噪声，根据推论2.6，N足够大时 服从iid标准正态分布。于是近似服从 分布。AR(2)模拟数据的检验n对于AR(2)模型取不同根离单位圆距离实验。根离单位圆越近与白噪声差别越大。n对AR(1)模型用不同的b模拟。B接近于1时与白噪声差别明显。n关于 中项数m的选取：m=5比m=20有效。注意以ARMA模型为例，当k较大时 已经很小，所以 贡献不大，取太大的m容易使检验不敏感。n白噪声的 检验法： 是独立白噪声； 是相关序列。 下，拒绝域为 其中 样本自相关置信区间检验法n当 为独立同分布白噪声时 近似m维标准正态分布。n如果超过5%的 可否定 为独立同分布白噪声。n与 检验理由类似，m不应取太大。n正态分布检验法：例子n对 的检验可以比较成功。n对MA(1)的检验如果取m=20则很可能不成功。因为一般只有 超过界限。n对AR的检验一般成功。因为其相关系数不截尾。n演示