第二章简单回归模型 简单回归模型的定义普通最小二乘法的推导OLS的操作技巧度量单位的函数形式OLS估计量的期望值和方差过原点回归 计量 1 2 1简单回归模型的定义 回归模型的基本形式 简单回归模型的基本形式 称为一元线性总体回归模型 简单回归模型的定义 简单回归模型定义的几个讨论公式变量与参数的解释用x解释y时面临的三个问题该公式的不足该公式的假设 计量 3 简单回归模型的定义 公式变量与参数的解释 Y 被称为因变量 dependentvariable 被解释变量 被预测变量 回归子X 被称为自变量 independentvariable 解释变量 预测变量 回归元 协变量u 为随机扰动项或随机误差项 表示除x以外其他因素对y的影响 0和 1为两个待定参数 从几何意义上讲 为直线的截距 为直线的斜率 又称斜率系数 计量 4 简单回归模型的定义 用x解释y时面临的三个问题 计量 5 x能否来解释y的变化 x和y存在着怎样的相关关系 既然两个变量间没有一个确切的依存关系 应该如何考虑x以外的其他因素对y的影响 如何确定是在其他条件不变的情况下描述x和y的关系形式 简单回归模型的定义 该公式的不足 计量 6 简单回归模型的定义 该公式的假设 spring2012 计量 7 要使得 固定 需要施加一个约束 表明 u中不包含系统性的影响因素 既没有变量遗漏问题 解释变量也不存在系统的测量误差 模型函数形式设定正确 u均值独立于解释变量 随机变量x和u不相关的三个层次 独立 意味着对于x y和的任意可测函数和 有 均值独立 意味着 线性无关 意味着 spring2012 计量 9 简单回归模型的定义 该公式的假设 计量 10 x1 x2 E y x b0 b1x y f y 计量 11 11 假如已知由100个家庭构成的总体的数据 单位 元 12 消费支出的条件期望与收入关系的图形 2 2普通最小二乘法的推导 计量 13 最小二乘法是法国数学家勒让德 A M Legendre 1752 1833 于1805正式提出的 但他的研究没有涉及到误差分析问题 这一缺陷由德国数学家高斯 C F Gauss1777 1855 于1809年发布的正态误差理论补足 加上高斯宣称自1799年以来他一直使用在这种方法 许多人将最小二乘法的发明权归之于高斯 总体回归线和总体回归函数 计量 14 E y x b0 b1x 对于实际的经济问题 通常无法掌握所有总体单位的数值 总体回归函数实际上是理论上存在 又称理论回归方程 样本回归方程 通过对样本观测获得的信息去估计总体回归函数如果变量x和y之间存在线性相关关系 对于任意抽取的若干个观测 样本 点 有称为样本回归模型由两部分组成 系统分量和随机分量系统分量 样本回归函数与总体回归函数的区别 总体回归函数虽然未知 但它是确定的 PRF唯一 样本回归线随抽样波动而变化 每次抽样都能获得一个样本 就可以拟合一条样本回归线 SRF不唯一 样本回归线只是样本条件均值的轨迹 还不是总体回归线 它至多只是未知的总体回归线的近似表现 样本回归函数与总体回归函数的关系 SRF1 SRF2 y x PRF 样本回归函数的函数形式应与设定的总体回归函数的函数形式一致 如果能够通过某种方式获得和的数值 显然 和是对总体回归函数参数和的估计 是对总体条件期望的估计 在概念上类似总体回归模型中的 可视为对的估计 18 对比 总体回归函数样本回归函数 对样本回归的理解 普通最小二乘法 OLS rdinaryLeastSquares 经典计量经济学最常采用的参数估计方法它是建立在一个简单的估计准则 最小二乘准则之上的可以看出最小二乘准则是使全部观测值的残差平方和为最小 即 由微积分求极值的原理知 要使达到最小 必要条件是对和的一阶偏导数等于零 即 应满足下列方程组 这两个方程分别相当于 经整理后得正规方程组解得 由此估计出的和称为参数的最小二乘估计量 OLSE 除了OLS以外 参数估计的方法还有最大似然估计 ML 方法 矩估计方法 MM 等 基于条件期望为0的普通最小二乘法的推导 由E u 0得E y b0 b1x 0对于给定的数据样本 有可得 由cov x u E xu 0得E x y b0 b1x 0对于给定的数据样本 有 计量 23 计量 24 易得 2 3OLS的操作技巧 计量 25 拟合值与残差OLSE的代数性质拟合优度 拟合值和残差 拟合值 定义y在x 的拟合值为残差 观察值与其拟合值的差 为正 则回归线低估了 为负则回归线高估了 无数据点是必须在回归线上 OLS统计量的代数性质 OLS残差和及其样本均值均为零代数表示由OLS的一阶条件得出 计量 27 OLSE的代数性质 回归元和OLS残差的样本协方差为零代数表示由OLS的一阶条件得出 计量 28 OLSE的代数性质 OLS回归线过样本几何中心代数表示拟合值的样本均值与的均值相等拟合值与残差之间的样本协方差为0 计量 29 拟合优度 定义总平方和SST解释平方和SSE残差平方和SSR 计量 30 拟合优度 SST SSE SSR的证明 计量 31 拟合优度 拟合优度 又称判定系数 我们定义R2 SSE SST 1 SSR SST为拟合优度 又称判定系数 总是介于0到1之间一个接近于1的判定系数表明OLS给出了一个良好的拟合 一个于0的判定系数表明OLS给出了一个糟糕的拟合 计量 32 2 4度量单位和函数形式 改变度量单位对OLS统计量的影响在简单回归中加入非线性因素 线性 回归的含义 计量 33 改变度量单位对OLS统计量的影响 的计量单位 的经济含义是什么 X单位改变 y不变 影响 不影响y单位改变 不管X是否变化 影响 如果定义roedec roe 100 那么样本回归线将会从 estimatedsalary 963 191 18 501roe改变到 estimatedsalary 963 191 1850 1roedec 计量 34 在简单回归中加入非线性因素 非线性因素的必要性 线性关系并不适合所有的经济学运用通过对因变量和自变量进行恰当的定义 我们可以在简单回归分析中非常容易地处理许多y和x之间的非线性关系例子 工资 教育模型 计量 35 自然对数形式 计量 36 计量 37 变量非线性模型中的斜率 线性模型边际贡献线性 对数模型半弹性对数 线性模型半弹性对数 对数模型弹性经济学中的例子 x代表投资 y代表GDP OLS估计量的期望值和方差 OLS的无偏性OLS估计量的方差 计量 38 OLS的无偏性 我们首先在一组简单假定的基础上构建OLS的无偏性 假定SLR 1线性于参数在总体模型中 因变量y与自变量x的误差项u的关系如下 其中 和分别表示总体的截距和斜率参数 计量 39 OLS的无偏性 假定SLR 2随机抽样我们具有一个服从从整体模型方程的随机样本 i 1 2 n 其样本容量为n 更强假定 x非随机或固定 y独立同分布 计量 40 OLS的无偏性 假定SLR 3解释变量的样本有变异x的样本结果即 i 1 n 不是完全相同的数值 计量 41 OLS的无偏性 假定SLR 4零条件均值 或称严格外生假定 均值独立假定 给定解释变量的任何值 误差的期望值都是零 换言之 E u x 0恒成立 暗含以下两个假定 1 随机项的条件均值等于无条件均值 随机项u均值独立于所有解释变量 2 表明模型函数形式设定正确 即不存在函数形式设定偏误 内有变量遗漏问题 解释变量也不存在系统的测量误差 计量 42 OLS的无偏性 定理2 1在SLR 1 SLR 4下 对的任何值 我们都有 换言之公式的推导 引理 计量 43 OLS的无偏性 计量 44 OLS的无偏性 于是有 计量 45 OLS的无偏性 计量 46 OLS估计量的方差 除了知道的抽样分布是以为中心的以外 知道我们预期的究竟离多远也非常重要 在其他条件不变的情况下 这就容许我们从所有的无偏估计量中选择一个最佳估计量 度量估计量分布的分散程度 最容易操作的一个指标就是其方差或者标准差 为了便于表示出估计量的方差 这里我们加入条假设SLR 5 计量 47 OLS估计量的方差 假定SLR 5 同方差性 给定解释变量的任何值 误差都具有相同的方差 换言之 Var u x 同方差的假定简化了方差的计算 而且还意味着OLS具有某种有效性 然而当Var u x 是x的函数事 往往就会出现异方差的情形 计量 48 一个工资方程中的异方差性 其他条件不变情况下 educ对wage的影响时无偏估计量 我们假定E u educ 0 若同时假定Var u x 即工资相对于其均值的波动不依赖于受教育水平 在现实中这或许不太可能 这是因为接受了更多教育的人可能有更广泛的兴趣和更多的就业机会 从而导致收教育程度越高 工资变异越大 受教育水平越低 工资变异越小 图形见下张PPT 计量 49 spring2012 计量 50 OLS估计量的方差 计量 51 OLS估计量的方差 定理2 2在在SLR 1 SLR 4下 OLSE的方差 误差方差的估计 53 基本思想 是的方差 而不能直接观测 只能从由样本得到的去获得有关的某些信息 去对作出估计 可以证明其无偏估计为 这里的n 2为自由度 即可自由变化的样本观测值个数 由前面我们知道OLS的残差满足两个约束 如果我们知道了残差中的n 2个 就能够通过以上约束求出剩余两个残差 因此OLS的残差只有n 2个自由度 注意区别 是未知的确定的常数 是由样本信息估计的 是个随机变量称回归标准误差 是有偏但一致的估计 计量 54 过原点的回归 某些情形下 我们希望如下约束 x 0时 y的期望值也是0 此时原本有非零截距的回归模型就变换成无截距的模型 规范回归模型 此时估计值注意 SST SSE SSR为什么 例如 若收入 x 为零时 那么所得税 y 也必须是零 此时适用于无截距线性回归 计量 55 计量 56 谢谢