第八讲第八讲 非线性和非参数计量经济学模型非线性和非参数计量经济学模型1 1 简单的非线性单方程计量经济模型简单的非线性单方程计量经济模型2 2 非线性模型的几个专门问题非线性模型的几个专门问题3 3 非参数计量经济学模型非参数计量经济学模型11 1 简单的非线性单方程计量经济模型简单的非线性单方程计量经济模型 一、非线性单方程计量经济学模型概述一、非线性单方程计量经济学模型概述 二、非线性普通最小二乘估计二、非线性普通最小二乘估计 三、例题及讨论三、例题及讨论四、非线性单方程模型的最大似然估计四、非线性单方程模型的最大似然估计2说明说明非线性计量经济学模型在计量经济学模型中占据非线性计量经济学模型在计量经济学模型中占据重要的位置重要的位置 ；已经形成内容广泛的体系，包括变；已经形成内容广泛的体系，包括变量非线性模型、参数非线性模型、随机误差项违量非线性模型、参数非线性模型、随机误差项违背基本假设的非线性问题等；背基本假设的非线性问题等；非线性模型理论与方法已经形成了一个与线性模非线性模型理论与方法已经形成了一个与线性模型相对应的体系，包括从最小二乘原理出发的一型相对应的体系，包括从最小二乘原理出发的一整套方法和从最大或然原理出发的一整套方法。整套方法和从最大或然原理出发的一整套方法。本节主要涉及最基础的、具有广泛应用价值的非本节主要涉及最基础的、具有广泛应用价值的非线性单方程模型的最小二乘估计。线性单方程模型的最小二乘估计。3一、非线性单方程计量经济学模型概述一、非线性单方程计量经济学模型概述4 解释变量非线性问题解释变量非线性问题 现实经济现象中变量之间往往呈现非线性关系现实经济现象中变量之间往往呈现非线性关系 需求量与价格之间的关系需求量与价格之间的关系 成本与产量的关系成本与产量的关系 税收与税率的关系税收与税率的关系 基尼系数与经济发展水平的关系基尼系数与经济发展水平的关系通过变量置换就可以化为线性模型通过变量置换就可以化为线性模型 5 可以化为线性的包含参数非线性的问题可以化为线性的包含参数非线性的问题 函数变换函数变换 级数展开级数展开 6不可以化为线性的包含参数非线性的问题不可以化为线性的包含参数非线性的问题 与上页的方程比较，哪种形式更合理？与上页的方程比较，哪种形式更合理？直接作为非线性模型更合理。直接作为非线性模型更合理。7二、非线性普通最小二乘法二、非线性普通最小二乘法8 普通最小二乘原理普通最小二乘原理 残差平方和残差平方和 取极小值的取极小值的一阶条件一阶条件 如何求解非如何求解非线性方程？线性方程？ 9 高斯牛顿高斯牛顿(Gauss-Newton)(Gauss-Newton)迭代法迭代法 高斯牛顿迭代法的原理高斯牛顿迭代法的原理 对原始模型展开台劳级数，取一阶近似值对原始模型展开台劳级数，取一阶近似值10 构造并估计线性伪模型构造并估计线性伪模型构造线性模型构造线性模型估计得到参数的第估计得到参数的第1次迭代值次迭代值迭代迭代11高斯牛顿迭代法的步骤高斯牛顿迭代法的步骤12 牛顿拉夫森牛顿拉夫森(Newton-Raphson)(Newton-Raphson)迭代法迭代法 牛顿拉夫森迭代法的原理牛顿拉夫森迭代法的原理 对残差平方和展开台劳级数，取二阶近似值；对残差平方和展开台劳级数，取二阶近似值； 对残差平方和的近似值求极值；对残差平方和的近似值求极值； 迭代。迭代。与高斯牛顿迭代法的区别与高斯牛顿迭代法的区别直接对残差平方和展开台劳级数，而不是对其中的原直接对残差平方和展开台劳级数，而不是对其中的原模型展开；模型展开； 取二阶近似值，而不是取一阶近似值取二阶近似值，而不是取一阶近似值。13应用中的一个困难应用中的一个困难如何保证迭代所逼近的是总体极小值（即最小值）如何保证迭代所逼近的是总体极小值（即最小值）而不是局部极小值？而不是局部极小值？一是模拟试验：随机产生初始值一是模拟试验：随机产生初始值估计估计改变初始改变初始值值再估计再估计反复试验，设定收敛标准（例如反复试验，设定收敛标准（例如100次连续估计结果相同）次连续估计结果相同）直到收敛。直到收敛。一是利用检验统计量进行检验。一是利用检验统计量进行检验。14非线性普通最小二乘法在软件中的实现非线性普通最小二乘法在软件中的实现给定初值给定初值写出模型写出模型估计模型估计模型改变初值改变初值反复估计反复估计15三、例题与讨论三、例题与讨论16例例: :农民收入影响因素分析模型农民收入影响因素分析模型分析与建模：分析与建模：经过反复模拟，剔除从直观上看可能对农民收入产生影响但实际上并不显著的变量后，得到如下结论：改革开放以来，影响我国农民收入总量水平的主要因素是从事非农产业的农村劳动者人数、农副产品收购价格和农业生产的发展规模。用I表示农民纯收入总量水平、Q表示农业生产的发展规模、P表示农副产品收购价格、L表示从事非农产业的农村劳动者人数。收入采用当年价格；农业生产的发展规模以按可比价格计算的、包括种植业、林业、牧业、副业和渔业的农业总产值指数为样本数据；农副产品收购价格以价格指数为样本数据。 17 农民收入及相关民收入及相关变量数据量数据年份I（10亿元）Q (1978=100)P (1978=100)L（100万人）197862.45100.0100.031.52197979.30107.5122.131.90198096.50109.0130.835.021981107.65115.3138.536.921982120.80128.4141.538.051983142.40138.4147.843.401984185.85155.4153.758.881985238.70160.7166.967.131986285.52166.1177.675.221987343.80175.8198.981.301988442.60182.6244.686.111989495.30188.3281.384.981990524.66202.6274.086.741991559.30210.1268.489.061992613.66223.5277.597.651993743.49241.0314.7109.981994979.39261.7440.3119.6419951271.16290.2527.9127.0719961567.33317.5550.1130.2819971721.71333.7525.3135.2718讨论：讨论：NLSNLS的初值及影响的初值及影响由于农副产品收购价格和非农产业劳动者人数与由于农副产品收购价格和非农产业劳动者人数与农业生产规模指数严重共线性，以农民收入为被农业生产规模指数严重共线性，以农民收入为被解释变量，农业生产规模指数为解释变量，解释变量，农业生产规模指数为解释变量，19781997年数据为样本。年数据为样本。19线性化估计线性化估计收入年均增长19.1%，产值年均增长6.5%,该参数估计结果基本合理。为什么如为什么如此之高？此之高？能否将它能否将它解释为解释为“产值的收产值的收入弹性？入弹性？”CPI人口20非线性估计（初值：非线性估计（初值：1 、5）迭代收敛很快拟合效果较差与线性估计结果偏离大，经济意义不合理21非线性估计（初值：非线性估计（初值：0.001 、2）22非线性估计（初值：非线性估计（初值：0.1 、1）23拟合结果拟合结果实际观实际观测值测值线性拟线性拟合值合值非线性非线性拟合值拟合值局部极小局部极小拟合值拟合值24讨论讨论一般情况下，线性化估计和非线性估计结果差异一般情况下，线性化估计和非线性估计结果差异不大。如果差异较大，在确认非线性估计结果为不大。如果差异较大，在确认非线性估计结果为总体最小时，应该怀疑和检验线性模型。总体最小时，应该怀疑和检验线性模型。非线性估计确实存在局部极小问题。非线性估计确实存在局部极小问题。根据参数的经济意义和数值范围选取迭代初值。根据参数的经济意义和数值范围选取迭代初值。NLS估计的异方差和序列相关问题。估计的异方差和序列相关问题。NLS不能直接处理。不能直接处理。应用最大似然估计。应用最大似然估计。25四、非线性单方程模型的最大似然估计四、非线性单方程模型的最大似然估计26经典线性单方程模型的经典线性单方程模型的最大似然估计最大似然估计i=1,2,n 27参数估计结果与参数的参数估计结果与参数的OLSOLS估计相同估计相同28简单非线性单方程模型的简单非线性单方程模型的最大似然估计最大似然估计i=1,2,n29面临面临NLSNLS同样的过程，得到相同的估计结果同样的过程，得到相同的估计结果。302 2 非线性模型的几个专门问题非线性模型的几个专门问题一、一般非线性模型的最大似然估计一、一般非线性模型的最大似然估计二、二、因变量的参数变换因变量的参数变换三、异方差性的非线性方法三、异方差性的非线性方法四、序列相关性的非线性方法四、序列相关性的非线性方法五、条件异方差性的非线性方法五、条件异方差性的非线性方法31一、一般非线性模型的最大似然估计一、一般非线性模型的最大似然估计321. 1. 一般非线性模型的描述一般非线性模型的描述 以上是一般非线性模型的完整描述。以上是一般非线性模型的完整描述。随机项满足随机项满足经典假设经典假设33模型参数的一种估计方法是最小二乘法模型参数的一种估计方法是最小二乘法，即最小，即最小化化 模型参数的另一种估计方法是最大似然法。得模型参数的另一种估计方法是最大似然法。得到广泛应用。到广泛应用。34 最大似然估计最大似然估计yi的密度函数的密度函数雅可比行列式雅可比行列式雅可比行列式雅可比行列式正态分布密度函数正态分布密度函数35因变量样本的对数似然函数为：因变量样本的对数似然函数为： 很明显很明显若没有雅可比行列式项，参数的非线性最若没有雅可比行列式项，参数的非线性最小二乘估计将是最大似然估计小二乘估计将是最大似然估计；然而，如果雅可比；然而，如果雅可比行列式包括行列式包括，最小二乘法不是最大似然法。最小二乘法不是最大似然法。36最大化对数似然函数的一阶条件为：最大化对数似然函数的一阶条件为： 37一般是得到中心化对数似然函数，然后最大化一般是得到中心化对数似然函数，然后最大化 如果变换的雅可比行列式是如果变换的雅可比行列式是1，则不存在因变量，则不存在因变量的参数变换；如果变换的雅可比行列式包含的参数变换；如果变换的雅可比行列式包含，则则称为因变量的参数变换模型。称为因变量的参数变换模型。 38二、二、因变量的参数变换因变量的参数变换39 Box-Cox Box-Cox变换变换 一种将变量之间的非线性关系变换为线性关系的一种将变量之间的非线性关系变换为线性关系的方法。方法。Box和和Cox（1964）提出的变换关系：）提出的变换关系：要求变量要求变量x为正值。为正值。取值可以是整个实数域但多数应用有取值可以是整个实数域但多数应用有意义的取值范围为意义的取值范围为-2，2。当当=2，是二次变换；当，是二次变换；当=0.5，是平方根变换；当，是平方根变换；当=1，是线性变换；当是线性变换；当=-1，是倒数变换；当，是倒数变换；当=0，是对数变换。，是对数变换。 40例如：例如：41如果已知被解释变量和解释变量各自进行何种如果已知被解释变量和解释变量各自进行何种的的B-C变换，可以先变换，然后估计线性模型。变换，可以先变换，然后估计线性模型。一般情况下，何种一般情况下，何种未知，作为一组参数引入模型，未知，作为一组参数引入模型，对变换后的模型进行非线性模型估计，同时得到对变换后的模型进行非线性模型估计，同时得到和和的估计量。的估计量。许多应用软件，例如许多应用软件，例如GAUSS、SAS可以实现。可以实现。这就引出了这就引出了B-C变换的更重要的价值：变换的更重要的价值：如果不知如果不知道被解释变量和解释变量之间存在何种形式的函道被解释变量和解释变量之间存在何种形式的函数关系，可以通过数关系，可以通过“B-C变换非线性模型估计变换非线性模型估计”确定函数关系。确定函数关系。42 Box-Cox Box-Cox非线性回归模型的参数估计非线性回归模型的参数估计 模型中被解释变量样本的对数似然函数为：模型中被解释变量样本的对数似然函数为： 43中心化对数似然函数：中心化对数似然函数： 44响应系数和弹性系数为： 45示例：示例： 假定被解释变量假定被解释变量y与解释变量与解释变量x和和z之间的关系为：之间的关系为：4647 施加施加相同约束的估计结果相同约束的估计结果真值：1=2，2=1，3=1，=148 未施加未施加相同约束的估计结果相同约束的估计结果为什么结果很差？49三、异方差性的非线性方法三、异方差性的非线性方法50思路思路将异方差问题看成一类非线性问题，采用将异方差问题看成一类非线性问题，采用NML估估计，比较简单，可以同时得到参数估计量和反映计，比较简单，可以同时得到参数估计量和反映异方差特征的量。异方差特征的量。 51被解释变量样本的对数似然函数为：被解释变量样本的对数似然函数为： 52对异方差的结构给出假定，可以对模型的参数和对异方差的结构给出假定，可以对模型的参数和异方差的结构参数进行最大似然估计。异方差的结构参数进行最大似然估计。针对不同的问题假定不同的异方差结构；针对同针对不同的问题假定不同的异方差结构；针对同一个问题假定不同的异方差结构，进行估计和比一个问题假定不同的异方差结构，进行估计和比较。较。典型的异方差结构及其对应的对数似然函数。典型的异方差结构及其对应的对数似然函数。 53例题例题5455OLS未考虑异方差ML未考虑异方差560.183320.00001588757线性模型，截面样本，一般存在异方差。线性模型，截面样本，一般存在异方差。采用非线性最大似然法估计，可以得到关于异方差采用非线性最大似然法估计，可以得到关于异方差结构的估计结果。结构的估计结果。在某些情况下，得到异方差结构的估计结果比模型在某些情况下，得到异方差结构的估计结果比模型参数估计量更重要。参数估计量更重要。这就是异方差性的非线性方法的意义所在。这就是异方差性的非线性方法的意义所在。58四、序列相关性的非线性方法四、序列相关性的非线性方法59首先假定模型随机误差项的序列相关结构。一般首先假定模型随机误差项的序列相关结构。一般以以AR(1)、MA(1)、ARMA(1,1)为常见。为常见。求出随机误差项对被解释变量的偏导数表达式。求出随机误差项对被解释变量的偏导数表达式。构造最大似然函数。构造最大似然函数。同时得到模型参数和随机误差项的序列相关结构同时得到模型参数和随机误差项的序列相关结构的估计结果。的估计结果。60五、条件异方差性的非线性方法五、条件异方差性的非线性方法ARCHAuto Regressive Conditional Hoteroskedasticity 61条件异方差现象条件异方差现象通常横截面数据问题会产生异方差，而一般时间通常横截面数据问题会产生异方差，而一般时间序列问题没有异方差现象。序列问题没有异方差现象。如果时间序列数据问题出现异方差，经常以条件如果时间序列数据问题出现异方差，经常以条件异方差形式。异方差形式。所谓条件异方差，实际上是指所谓条件异方差，实际上是指“异方差异方差”的的“异异”具有序列相关性。具有序列相关性。Engle于于1982年分析英国通货膨胀率时首先发现年分析英国通货膨胀率时首先发现条件异方差现象。条件异方差现象。被广泛应用于金融市场时间序列分析。被广泛应用于金融市场时间序列分析。62Engle, R.F.:1982, Autoregressive Conditional Heteroskedasticity With Estimates of the Variance of U.K. Inflation, Econometrica 50: 987-1008.The application in Engle(1982) involved macroeconomic series such as the inflation rate, but Engle quickly realized that the ARCH model was useful in financial economics, as well.63Risk evaluation is at the core of activities on financial markets. Investors assess expected returns of an asset against its risk. Banks and other financial institutions would like to ensure that the value of their assets does not fall below some minimum level that would expose the bank to insolvency. Such evaluations cannot be made without measuring the volatility of asset returns. Robert Engle developed improved methods for carrying out these kinds of evaluations.64Percentage daily returns on an investment in the Standard & Poor 500 stock index May 16, 1995April 29, 2003.65The returns averaged 5.3 percent per year. At the same time there were days, when the fluctuations in prices were greater (plus or minus) than 5 percent. The standard deviation in daily returns measured over the entire period was 1.2 percent.Closer inspection reveals, however, that the volatility varies over time: large changes (upwards or downwards) are often followed by further large fluctuations, and small changes tend to be followed by small fluctuations. 66Standard deviation for percentage daily returns on an investment in the Standard & Poor 500 stock index, May 16, 1995April 29, 2003, computed from data for the four preceding weeks.67Many financial time series are characterized by similar time variation in volatility. Many financial economists are concerned with modeling volatility in asset returns.68 ARCH ARCH（q q）模型）模型 具有异方差性异方差是有规律的：自回归69 设样本有设样本有n个观察个数，则对数似然函数为：个观察个数，则对数似然函数为： 模型估计的困难：长记忆下的高阶滞后。模型估计的困难：长记忆下的高阶滞后。70GARCHGARCH（p,qp,q）模型）模型 71Bollerslev, T.:1986, Generalized autoregressive conditional heteroskedasticity, Journal of Econometrics 31, 307-327The best-known extension is the generalized ARCH model (GARCH) developed by Tim Bollerslev in 1986. Here, the variance of the random error in a certain period depends not only on previous errors, but also on the variance itself in earlier periods. 72This development has turned out to be very useful; GARCH is the model most often applied today.Taylor(1986) suggested p=q=1, the most popular ARCH model in practice.73 ARCH-M(qARCH-M(q）模型）模型 为什么比ARCH少1项？74 GARCH-M(p,qGARCH-M(p,q）模型）模型 75 检验检验H0：不存在：不存在ARCH或或GARCH统计量统计量LM=nR2用某种方法估计原模型，得到残差估计值用某种方法估计原模型，得到残差估计值计算计算LM，进行，进行LM 检验。检验。763 3 非参数计量经济学模型非参数计量经济学模型 Nonparametric model 一、非参数计量经济学模型概述一、非参数计量经济学模型概述二、非参数单方程模型的核估计二、非参数单方程模型的核估计三、非参数单方程模型的局部线性估计三、非参数单方程模型的局部线性估计四、非参数单方程模型的最小二乘估计四、非参数单方程模型的最小二乘估计77一、非参数计量经济学模型概述一、非参数计量经济学模型概述78概念概念参数模型和非参数模型参数模型和非参数模型经典的线性或非线性计量经济模型，首先根据对经典的线性或非线性计量经济模型，首先根据对研究对象行为的分析，建立包含变量、参数和描研究对象行为的分析，建立包含变量、参数和描述它们之间关系的理论模型，然后利用变量的样述它们之间关系的理论模型，然后利用变量的样本观测值，采用适当的方法，估计参数，故称为本观测值，采用适当的方法，估计参数，故称为参数模型。参数模型。 在现实中在现实中,经济变量之间的关系并不是在所有样本经济变量之间的关系并不是在所有样本点上都是不变的，或者说不能事先确定某种线性点上都是不变的，或者说不能事先确定某种线性关系或非线性关系关系或非线性关系,而是要通过估计才能得到某种而是要通过估计才能得到某种关系，而且随着样本点的不同而不同。这就引出关系，而且随着样本点的不同而不同。这就引出了非参数模型。了非参数模型。 79非参数模型、无参数模型、半参数模型非参数模型、无参数模型、半参数模型如果所有变量之间的关系都是不明确的，称之为完如果所有变量之间的关系都是不明确的，称之为完全非参数模型，简称非参数模型或者无参数模型全非参数模型，简称非参数模型或者无参数模型（Nonparametric model）；）；如果一部分变量之间的关系是明确的，而另一部分如果一部分变量之间的关系是明确的，而另一部分变量之间的关系是不明确的，称之为半参数模型变量之间的关系是不明确的，称之为半参数模型（Semiparametric Model）。）。一般所说的一般所说的“非参数计量经济学非参数计量经济学”，既包括非参数，既包括非参数单方程模型，也包括非参数联立方程模型；既包括单方程模型，也包括非参数联立方程模型；既包括完全非参数模型，也包括半参数模型。完全非参数模型，也包括半参数模型。80完全非参数模型（无参数模型）完全非参数模型（无参数模型） 随机设定模型（随机设定模型（X是随机变量）是随机变量） 固定设定模型（固定设定模型（X是确定性变量）是确定性变量） 半参数模型半参数模型81既然非参数模型不能将经济活动中变量之间的结既然非参数模型不能将经济活动中变量之间的结构关系明确地加以描述，那么它是否属于经济数构关系明确地加以描述，那么它是否属于经济数学模型？学模型？非参数模型并不事先假定经济活动中变量之间的非参数模型并不事先假定经济活动中变量之间的结构关系，而是通过估计获得这种结构关系，而结构关系，而是通过估计获得这种结构关系，而且具有明确的数学描述。且具有明确的数学描述。所以它毫无疑问属于经济数学模型，应该将它纳所以它毫无疑问属于经济数学模型，应该将它纳入计量经济学模型的范围。入计量经济学模型的范围。 82既然非参数模型不能将经济活动中变量之间的结既然非参数模型不能将经济活动中变量之间的结构关系明确地加以描述，那么它能否用于经济预构关系明确地加以描述，那么它能否用于经济预测？它的应用价值是什么？测？它的应用价值是什么？它的应用价值在于有更好的拟合效果，可以说是它的应用价值在于有更好的拟合效果，可以说是所有类型经济数学模型中拟合效果最好的。所有类型经济数学模型中拟合效果最好的。由此而引出的对已经发生的经济活动的推断具有由此而引出的对已经发生的经济活动的推断具有更高的精度，所得到的反映经济变量之间关系的更高的精度，所得到的反映经济变量之间关系的结构参数，例如乘数、弹性等，更加反映经济活结构参数，例如乘数、弹性等，更加反映经济活动的实际。动的实际。从这些结构参数出发进行的预测可以得到更加可从这些结构参数出发进行的预测可以得到更加可靠的结果。靠的结果。83 模型估计方法模型估计方法局部逼近估计方法局部逼近估计方法 权函数方法权函数方法核权估计核权估计局部线性估计局部线性估计K近邻估计近邻估计整体逼近估计方法整体逼近估计方法 级数估计（最小二乘估计）级数估计（最小二乘估计）正交序列估计正交序列估计多项式样条估计多项式样条估计84 模型估计理论的早期重要发展模型估计理论的早期重要发展局部逼近（权函数）估计发展于局部逼近（权函数）估计发展于19801980年前后年前后：Watson和和Nadaraja(1964)提出回归模型的核估计。提出回归模型的核估计。Stone(1977)讨论了权函数估计的矩相合性。讨论了权函数估计的矩相合性。Stone(1977,1980,1982)系系统统研研究究了了非非参参数数回回归归模模型型的的局局部多项式拟合。部多项式拟合。Cleveland(1979)提出局部线性拟合的稳健估计。提出局部线性拟合的稳健估计。Devroye 和和Wagner(1980)证明了核估计的相合性。证明了核估计的相合性。Stone(1980,1982)得得到到非非参参数数估估计计收收敛敛于于实实际际回回归归函函数数的的最优速度。最优速度。85整体逼近（级数）估计主要发展于整体逼近（级数）估计主要发展于19801980年后：年后：Grace Wahba(1970s)提出了级数估计。提出了级数估计。Stone(1982)讨讨论论了了级级数数估估计计量量在在I.I.d.样样本本下下的的一一致致收收敛敛速度。速度。Stone(1985),Cox(1988),Andrews(1991)讨讨论论了了级级数数估估计计量在量在I.I.d.样本下的渐近性质。样本下的渐近性质。Ullah(1985)讨讨论论了了I.I.d.样样本本下下基基于于级级数数估估计计方方法法的的模模型型设设定检验。定检验。White and Wooldridge(1991)级数估计在时间序列的应用。级数估计在时间序列的应用。86后期研究热点后期研究热点局部逼近估计方法：局部逼近估计方法：权函数估计权函数估计最佳核函数选择最佳核函数选择变窗宽和最佳窗宽选择变窗宽和最佳窗宽选择收敛性收敛性稳健性稳健性渐近偏和方差渐近偏和方差边界点边界点多元模型多元模型联立方程模型联立方程模型87整体逼近估计方法：整体逼近估计方法：级数估计级数估计I.I.d样样本本下下级级数数估估计计量量的的收收敛敛速速度度、渐渐近近正正态态性性、一一致致收敛速度、模型设定检验的深入研究。收敛速度、模型设定检验的深入研究。弱弱相相依依样样本本(weekly dependent Data)下下级级数数估估计计量量的的研研究究：White and Wooldridge(1991), Chen and Shen(1998)研究渐近性质。研究渐近性质。88二、非参数单方程模型的核估计二、非参数单方程模型的核估计89核估计是一种权函数估计方法核估计是一种权函数估计方法 权函数估计权函数估计90条件回归函数的估计是条件回归函数的估计是yi的线性组合，对应所得的线性组合，对应所得到的被解释变量的估计是到的被解释变量的估计是yi的加权平均，权数利的加权平均，权数利用了解释变量的信息，且由解释变量的数值来确用了解释变量的信息，且由解释变量的数值来确定每个定每个yi的权数的大小。的权数的大小。不同的选择权函数的方法构成了不同的权估计方不同的选择权函数的方法构成了不同的权估计方法。法。核权估计、局部线性估计、核权估计、局部线性估计、k-近邻估计等是其中近邻估计等是其中常用的方法。常用的方法。 91 Nadaraya-WatsonNadaraya-Watson核估计核估计 Nadaraya(1964)及及Watson (1964)提出提出 。选定原点对称的概率密度函数为核函数选定原点对称的概率密度函数为核函数 92核估计等价于局部加权最小二乘估计均匀核。因为核估计等价于局部加权最小二乘估计均匀核。因为 93最常用的核函数有：最常用的核函数有： 均匀核均匀核：k（）是（）是-1，1上的上的均匀概率密度函数均匀概率密度函数 I()为显示性函数，当括示性函数，当括号内的不等式成立号内的不等式成立时，取，取值为1，否，否则取取值为0。 94m(x)的的Nadaraya-Watson 核估计就是落在核估计就是落在x-h,x+h的的xi对应的对应的yi的简单算术平均值。的简单算术平均值。 95Epanechnikov核核： k（）是（）是-1，1上的概率密上的概率密度函数度函数 m(x)的的Nadaraya-Watson 核核估计就是落在估计就是落在x-h,x+h的的xi对应的对应的yi的加权算术平均值。的加权算术平均值。96 高斯核高斯核：k()是是(-，+)上原点对称的标准正态上原点对称的标准正态密度函数密度函数 m(x)的的Nadaraya-Watson 核估计就是核估计就是yi的加权算术的加权算术平均值。平均值。97密度核估计密度核估计用核估计方法估计密度函数。用核估计方法估计密度函数。98其它形式的核函数估计其它形式的核函数估计K 近邻估计近邻估计99窗宽的选择窗宽的选择 核估计是集中核估计是集中x附近一个邻域的样本观测值的加权附近一个邻域的样本观测值的加权平均，该邻域的宽度平均，该邻域的宽度h称为窗宽。称为窗宽。是控制核估计精度的最主要的参数。是控制核估计精度的最主要的参数。渐近偏随着窗宽减少而减少：渐近偏随着窗宽减少而减少：100渐近方差随着窗宽减少而增大渐近方差随着窗宽减少而增大 ：f(x)是解释变量的密度函数。是解释变量的密度函数。101在估计的偏和方差中寻求平衡，使得均方误差达在估计的偏和方差中寻求平衡，使得均方误差达最小。最小。 渐近均方误差渐近偏渐近均方误差渐近偏2渐近方差渐近方差使得渐近均方误差使得渐近均方误差 达最小的最佳窗宽具有如下形达最小的最佳窗宽具有如下形式：式：c为某个常数。为某个常数。102如何选择常数如何选择常数c：一种经验选择方法：一种经验选择方法 当当K()为为-1,1上对称、单峰的概率密度时，上对称、单峰的概率密度时，mn(x)的估计量是集中在的估计量是集中在x附近一个邻域的附近一个邻域的xi对应对应的的yi的加权平均，而的加权平均，而hn正好是这个邻域的长度的正好是这个邻域的长度的一半。一半。不变窗宽和变窗宽不变窗宽和变窗宽 窗宽随窗宽随xi改变。改变。 核估计效果更好。核估计效果更好。103核权函数的选择核权函数的选择将最佳窗宽代入渐近均分误差公式，可推得最佳将最佳窗宽代入渐近均分误差公式，可推得最佳核函数为核函数为 ：104边界点的处理边界点的处理由于较少的观测值被利用，估计的偏和方差将增由于较少的观测值被利用，估计的偏和方差将增大。大。利用特殊的技术，例如广义刀技术，可以得到用利用特殊的技术，例如广义刀技术，可以得到用于边界点估计的边界核。于边界点估计的边界核。105例题例题11模拟例题模拟例题解释变量序列解释变量序列xi独立均匀同分布，随机误差项序独立均匀同分布，随机误差项序列列ui独立同分布。让独立同分布。让xi (i=1,2,300)是在是在0,1上均匀取值相互独立的变量，上均匀取值相互独立的变量， uiN(0,0.25) (i=1,2,300)独立，模型为：独立，模型为： 选择选择106数据及其核估计拟合图数据及其核估计拟合图107例题例题22我国对外经济联系与国内通货膨胀关我国对外经济联系与国内通货膨胀关系的非参数估计系的非参数估计 选定商品进出口总额选定商品进出口总额X和外汇储备和外汇储备FC表示我国对表示我国对外经济联系，代表通货膨胀的变量外经济联系，代表通货膨胀的变量Y则采用居民消则采用居民消费价格指数。从中国物价得到费价格指数。从中国物价得到1993年年4月到月到1998年年11月每月与上年同月相比的居民消费价格月每月与上年同月相比的居民消费价格指数，再换算成每月与指数，再换算成每月与1992年年4月相比的居民消月相比的居民消费价格指数，用它作为被解释变量变量费价格指数，用它作为被解释变量变量y。商品进。商品进出口总额资料来自海关统计外汇储备资料来出口总额资料来自海关统计外汇储备资料来自中国金融。自中国金融。 108经典线性回归模型的估计结果如下：经典线性回归模型的估计结果如下： R2=0.84582, F=178.29，拟合的均方误差为拟合的均方误差为11.035。 109非参数模型采取高斯核估计方法，采用交错鉴定法非参数模型采取高斯核估计方法，采用交错鉴定法选择最佳窗宽为选择最佳窗宽为0.25。拟合的均方误差为拟合的均方误差为3.809。 110三、非参数单方程模型的局部线性估计三、非参数单方程模型的局部线性估计111局部多项式回归局部多项式回归对于非参数回归模型对于非参数回归模型 将将m(x)在在x0处进行台行台劳展开展开 112该多项式可用加权最小二乘法进行局部拟合。即该多项式可用加权最小二乘法进行局部拟合。即最小化最小化 如果有局部线性模型如果有局部线性模型 113若若K()是是-1,1上的上的均匀概率密度函数均匀概率密度函数,则则m(x)的局的局部线性估计就是落在部线性估计就是落在x-hn,x+hn的的xi与其对应的与其对应的yi关于该局部模型的最小二乘估计关于该局部模型的最小二乘估计 。若若K()是是-1,1上的上的Epanechnikov概率密度函数概率密度函数,则则m(x)的局部线性估计就是落在的局部线性估计就是落在x-hn,x+hn的的xi与其对应的与其对应的yi关于该局部模型的加权最小二乘估计关于该局部模型的加权最小二乘估计 。当。当xi越接近越接近x时，对应时，对应yi的权数就越大，反之，则的权数就越大，反之，则越小。越小。 若若K()是是-,上原点对称的上原点对称的标准正态密度函数标准正态密度函数,则则m(x)的局部线性估计就是该局部模型的加权最小的局部线性估计就是该局部模型的加权最小二乘估计二乘估计 。当。当xi越接近越接近x时，对应时，对应yi的权数就越大，的权数就越大，反之，则越小。当反之，则越小。当xi落在落在x-3hn,x+3hn之外时，之外时，权数基本上为零。权数基本上为零。 114局部线性估计原理的示意图局部线性估计原理的示意图 115局部线性估计的逐点渐近偏和方差局部线性估计的逐点渐近偏和方差 由比较可见，由比较可见，Nadaraya-Watson核估计的方差与核估计的方差与局部线性估计的相同，但偏却多了一项；局部线局部线性估计的相同，但偏却多了一项；局部线性估计的渐近偏与解释变量的密度函数无关，因性估计的渐近偏与解释变量的密度函数无关，因而具有数据类型的适应性，即既适合均匀分布的而具有数据类型的适应性，即既适合均匀分布的解释变量，又适合非均匀分布的解释变量。解释变量，又适合非均匀分布的解释变量。由于局部线性估计是模型局部台劳线性展开的局由于局部线性估计是模型局部台劳线性展开的局部加权最小二乘估计，比局部台劳零阶展开的核部加权最小二乘估计，比局部台劳零阶展开的核估计的局部展开项多了线性项，所以，局部线性估计的局部展开项多了线性项，所以，局部线性估计的性质好于核估计。估计的性质好于核估计。使得局部线性估计的渐近均方误差达最小的最佳使得局部线性估计的渐近均方误差达最小的最佳窗宽和最佳核函数仍为相同的形式。窗宽和最佳核函数仍为相同的形式。 116局部线性估计的优点局部线性估计的优点局局部部线线性性估估计计的的局局部部斜斜率率能能够够动动态态地地反反映映经经济济现现象的结构变化。象的结构变化。局局部部线线性性估估计计假假定定变变量量之之间间的的关关系系未未知知，因因而而没没有隐含任何假设条件，所以更加符合实际。有隐含任何假设条件，所以更加符合实际。没没有有其其它它普普遍遍使使用用的的核核估估计计可可能能导导致致不不必必要要的的偏偏差。差。局局部部线线性性估估计计方方法法既既适适合合于于解解释释变变量量为为确确定定性性变变量量的的固固定定设设定定模模型型，也也适适合合于于解解释释变变量量为为随随机机性性变量的随机设定模型。变量的随机设定模型。117局部线性估计方法适合于随机设定模型解释变量局部线性估计方法适合于随机设定模型解释变量分布均匀情形，也适合于分布不均匀的情形分布均匀情形，也适合于分布不均匀的情形局部线性估计不必进行边界修正，它在边界的偏局部线性估计不必进行边界修正，它在边界的偏差自动与内部的偏差有相同的阶差自动与内部的偏差有相同的阶局部线性估计在所有线性估计中，在极小极大效局部线性估计在所有线性估计中，在极小极大效率意义上接近于最优，它的有效性为率意义上接近于最优，它的有效性为100%118变窗宽局部线性估计变窗宽局部线性估计看下面的例题看下面的例题119例题例题建立如下消费函数的非参数回归模型：建立如下消费函数的非参数回归模型： Y为国内生产总值为国内生产总值,C为居民消居民消费总额。由于各。由于各经济指指标随着年份的增加随着年份的增加,变化量逐化量逐渐增大增大,为此在第此在第i年年份取窗宽为份取窗宽为:120数据表数据表121Gauss计算程序计算程序 122123变窗宽局部线性估计的结果（平均拟合误差为变窗宽局部线性估计的结果（平均拟合误差为121.58）124125XF：观测值，：观测值，XFF：非参数拟合值：非参数拟合值126XF：观测值，：观测值，XFF：非参数拟合值，：非参数拟合值，XFFL：参数拟合值：参数拟合值127四、非参数单方程模型的最小二乘估计四、非参数单方程模型的最小二乘估计1281 1、原理、原理非参数模型的整体逼近估计非参数模型的整体逼近估计用级数近似被解释变量的条件期望用级数近似被解释变量的条件期望根据残差平方和最小确定级数的系数。根据残差平方和最小确定级数的系数。129一列数目随样本数一列数目随样本数增加而增加的近似增加而增加的近似函数函数 逼近由最小二乘得到由最小二乘得到1302 2、正交序列估计、正交序列估计如果近似函数为一组正交基，称为正交序列估计。如果近似函数为一组正交基，称为正交序列估计。正交基正交序列展开131常用的正交基有标准的常用的正交基有标准的Legendre多项式和多项式和Fourier基。基。1323 3、样条估计、样条估计多项式样条多项式样条固定节点序列立方样条函数133平滑样条平滑样条多项式样条估计取决于节点个数和节点位置的选多项式样条估计取决于节点个数和节点位置的选择，节点位置应选择曲线的曲率明显有较大变换择，节点位置应选择曲线的曲率明显有较大变换的位置。的位置。平滑样条是一种自动选择节点的方法。平滑样条是一种自动选择节点的方法。1344 4、有关文献检索、有关文献检索级数估计量在独立同分布样本下的收敛速度和渐级数估计量在独立同分布样本下的收敛速度和渐近正态性研究。近正态性研究。 Stone (1985, Annals of Statistics) Cox (1988，Annals of Statistics) Andrews (1991, Econometrica) Andrews and Whang (1990, Econometric Theory) Eastwood and Gallant (1991, Econometric Theory) Gallant and Souza (1991, Journal of Econometrics) Newey (1994, Econometrica; 1995, Statitical Methods of Economics and Quantitative Economics; 1997, Journal of Econometrics)。 135级数估计量在独立同分布样本下的一致收敛速度级数估计量在独立同分布样本下的一致收敛速度研究。研究。Stone（1982，Annals of Statistics） Newey (1997, Journal of Econometrics) De Jong（2002，Journal of Econometrics） 136独立同分布样本下基于级数估计方法的模型设定独立同分布样本下基于级数估计方法的模型设定检验检验 。Ullah (1985, Journal of Quantitative Economics)Bierens (1990, Econometrica)Eubank and Spiegelman (1990, Journal of the American Statistical Association)Gozalo (1993, Econometric Theory)Lee (1988, Dissertation)Wooldridge (1992, Econometric Theory)Yatchew (1992, Econometric Theory)Hong and White (1995, Econometrica) Horowitz and Spokoiny (2001, Econometrica)。 137