面板数据、工具变量选择和面板数据、工具变量选择和 HAUSMAN 检验的若干问题检验的若干问题*第一节 关于面板数据 PANEL DATA 1、面板数据回归为什么好 一般而言，面板数据模型的误差项由两部分组成，一部分是与个体观察单位有关的， 它概括了所有影响被解释变量，但不随时间变化的因素，因此，面板数据模型也常常被成 为非观测效应模型；另外一部分概括了因截面因时间而变化的不可观测因素，通常被成为 特异性误差或特异扰动项（事实上这第二部分误差还可分成两部分，一部分是不因截面变 化但随时间变化的非观测因素对应的误差项 Vt，这一部分一般大家的处理办法是通过在模 型中引入时间虚拟变量来加以剥离和控制，另一部分才是因截面因时间而变化的不可观测 因素。不过一般计量经济学的面板数据分析中都主要讨论两部分，在更高级一点的统计学 或计量经济学中会讨论误差分量模型，它一般讨论三部分误差） 。 非观测效应模型一般根据对时不变非观测效应的不同假设可分为固定效应模型和随 机效应模型。传统上，大家都习惯这样分类：如果把非观测效应看做是各个截面或个体特 有的可估计参数，并且不随时间而变化，则模型为固定效应模型；如果把非观测效应看作 随机变量，并且符合一个特定的分布，则模型为随机效应模型。 不过，上述定义不是十分严谨，而且一个非常容易让人产生误解的地方是似乎固定 效应模型中的非观测效应是随时间不变的，是固定的，而随机效应模型中的非观测效应则 不是固定的，而是随时间变化的。 一个逻辑上比较一致和严谨，并且越来越为大家所接受的假设是（参见 Wooldridge 的教材和 Mundlak1978 年的论文） ，不论固定效应还是随机效应都是随机的，都是概括了 那些没有观测到的，不随时间而变化的，但影响被解释变量的因素（尤其当截面个体比较 大的时候，这种假设是比较合理的） 。非观测效应究竟应假设为固定效应还是随机效应，关 键看这部分不随时间变化的非观测效应对应的因素是否与模型中控制的观测到的解释变量 相关，如果这个效应与可观测的解释变量不相关，则这个效应成为随机效应。这也正是 HAUSMAN 设定检验所需要检验的假说。 非观测效应模型因为对非观测效应假设的不同，因为使用面板数据信息的不同，可 以用不同方法来估计并且得到不同的估计量，一般有四个： （1）组内估计量（WITHIN ESTIMATOR） （FE 或 FD: First Difference） （2）组间估计量（BETWEEN ESTIMATOR） （3）混合 OLS 估计量（POOLED OLS ESTIMATOR） （4）随机效应估计量（RE，GLS 或 FGLS 估计量） 这四个估计量因为假设和使用信息的不同而不同，各有优劣势，相互之间也有密切 关系。3 和 4 分别是 1 和 2 的加权平均；4 在特定的假设分别可以转化成 1 和 3；如果 HAUSMAN 检验表明 4 和 1 没有区别的时候意味着 1 和 2 没有区别。* 此短文适用于对于面板数据和工具变量已经有初步了解的人士，阅读过中级教材的相关 内容。本文仅供参考，如果存在错误，请与 minglu73263.net 联系，以便及时纠正。请原 谅中英文混用。中国科学院的徐志刚博士一一指明了此文存在的错误，并且对原文中存在 的不足作了大量的补充，特表示感谢。RE 假设未观察因素与解释变量是正交的，只不过在未观察因素里有两个部分，一是 与个体单位有关的，二是完全随机的，RE 在做估计的时候，是用这两个部分的方差计算出 一个指数 ，来做 quasi-demean，也就是说在去平均的时候是用原值的 y 或 x 减去 乘以 y 或 x 的均值，然后用 GLS 估计。极端地，当 为 0 时，非观测效应是一个常数，并且所有 个体都一样，就等价于 Pooled OLS，当 为 1 时，说明完全随机的部分可以忽略，所有未 观察因素都是与单位有关的，于是就等价于 FE。但 FE 不需要假定未观察因素与解释变量 是正交的，在做 FE 时，固定效应都被差分掉了，所以也可得到 consistent 的结果。 PANEL 数据的好处之一是，如果未观察到的是固定效应，那么在做 DEMEAN 时， 未观察因素就被差分掉了。这样就可以减少由于未观察的因素可能与解释变量相关而导致 的内生性问题。2、那么 PANEL 的 FE 或 RE 分析就避免了内生性问题吗？ 只能说好一些，如果内生的问题只是由于与单位有关的并不随时间变化的遗漏变量与 解释变量有关造成的，这时，数据的差分就解决了问题，但是，别忘记还有一部分误差， 如果这部分误差里包含的因素也可能影响解释变量，那么，差分只能解决前面讲的问题， 由随机项里包括的因素与解释变量之间的关系导致的内生性问题还可能存在。3、怎么办？找 IV 解决。类似于在 OLS 基础上找 IV，但对 PANEL 的工具应该具有 PANEL 结构， 除非你基础的估计没有使用 PANEL 的方法，比如说对数据用了 pooled OLS 方法，但能够 用 pooled OLS 方法分析 PANEL DATA 的条件是很严格的。第二节 关于工具变量选择 1， IV 应该尽量是外生的（如历史/自然/气候/地理之类） ，它应该在理论上对被解释变量 （以下称 Y）没有直接影响，但应该通过影响被工具的变量（以下称 X）而间接影响 被解释变量 Y。 2， 如果上述理论逻辑通的话，将内生变量 X 作为解释变量，IV 和其他变量（X2）作为解 释变量，看 IV 是否显著，它应该显著。如果选了多个 IV，就用 F TEST 看其是否都不 显著。同时，如果在多个 IV 中，有一个是确定为外生的，那么，可以用 Sargan test of overidentifying restrictions 来检验其他的 IV 是不是确实是外生的。 3， 如果上述都没有问题，做一下 IV 回归。完成后，用 HAUSMAN 检验，这个检验的原 假说是 IV 回归与原回归（不用 IV 的回归）的变量的系数并没有显著的不同。看一下 P 值，如果 P 小于比如说 0.1，或者 0.05，那么，说明 IV 回归与原来的回归显著不同， 原来的方程的确有内生性问题导致的估计偏误。反之，如果 P 很高，超过 0.1，或 0.05，那说明 IV 回归与原来的回归没有显著不同，无法拒绝原来的回归没有显著的内 生问题导致的估计偏误的原假设。 4， 如果选择的 IV 本身就影响 Y，那它就不能被作为 IV。例如，Y 在左边，右边是 X（被 工具的） ，X2，IV。当 IV 被放在方程右边时，它最好是不显著影响 Y 的。在 Acemoglu（2001）里，他就检验了他们的 IV 是否直接影响被解释变量，结果说明不直 接影响，于是这个 IV 是好的。当然，一个好的 IV 在前面的回归中也可能是显著的 （不过一般如果理论和逻辑上 IV 是通过被工具的内生解释变量间接影响被解释变量的 话，一般来说应该是被工具的内生解释变量使得 IV 不显著，或者由于两者相关性很高， 两者都不显著） ，但判断的标准还只是 t 值。这个变量显著完全有可能是因为它影响了 其他显著的变量（比如被工具的变量） ，如果是这样，当包括了 IV 在原方程中以后，其他变量（特别需要注意的是被工具的变量 X）的系数可能发生明显变化。 第三节 关于 HAUSMAN TSET（以下简称 HT）的若干细节问题 具体参见 Stata corporation, 2001, STATA 7 Reference H-P, Stata Press 1，含义：“The null hypothesis is that the efficient estimator is a consistent and efficient estimator of the true parameters. If it is, there should be no systematic difference between the coefficients of the efficient estimator and a comparison estimator that is known to be consistent for the true parameters. If the two models display a systematic difference in the estimated coefficients, then we have reason to doubt the assumptions on which the efficient estimator is based.”参见手册 Stata corporation, 2001, STATA 7 Reference H-P, Stata Press。该方法是 Hausman (1978)的程序化。所以，Hausman Test 的命令(hausman)假设使用者知道需要比较 的两个方程中哪一个是“无论原假说成立与否都是 consistent” ，哪一个“在原假说下不仅 efficient 而且 consistent，但若原假说不成立，则 inconsistent” ，1然后，在 STATA 8 下，步 骤是：(1) obtain an estimator that is consistent whether or not the hypothesis is true;(2) store the estimation results under a name-consistent using estimates store;(3) obtain an estimator that is efficient (and consistent) under the hypothesis thatyou are testing, but inconsistent otherwise;(4) store the estimation results under a name-efficient using estimates store;(5) use hausman to perform the testhausman name-consistent name-efficient , options举例： （1）在关于是 FE 还是 RE 的检验中，原假说是非观测效应与解释变量不相关，备择假说 是两者相关。FE 是无论原假说成立与否都是 consistent，而 RE 在原假说下是 consistent， 并且 Asymptotically efficient（样本越大越有效） ，但如果原假说被拒绝，则 RE 不是 consistent 的 (Hausman, 1978)。所以做法应该是（STATA 8 的命令）： sort code year （排序） tis year (时间变量是 year) iis code (表示单位的是 code) xtreg y x x2, fe（假设其中 x 是需要被工具的变量） est store fixed （在 STATA8 里命令有变化，不再是 HAUSMAN，SAVE 了，这里的 fixed 实际上就是个变量名，用什么都行） xtreg y x x2, re hausman fixed （2）比较 OLS（或 FE）和 IV（或 IVFE） 先做 IV，因为，它无论如何都是 consistent 的，但 OLS 只有在原假设成立，即 OLS 结果 与 IV 结果相同，内生性问题没有时，才是 consistent 的。所以，应该先做 IV。1 Refer to the appendix for the definition of unbiased, consistent and efficient.在老版本的 STATA 里，如