On Generalized Least Squares Estimation

On Generalized Least Squares Estimation

广义最小二乘估计（GLSE）是针对误差项存在异方差和自相关（即协方差矩阵非对角）的线性模型提出的改进估计方法，其核心是通过加权变换将模型转化为满足经典假设的形式，进而得到无偏且有效的参数估计。

考虑纵向数据的线性模型：$$ Y sim MVN(Xbeta, sigma^2 V) quad text{或} quad Y = Xbeta + epsilon $$其中：

由于 $ V $ 是正定矩阵，可分解为：$$ V = KK' quad text{（Cholesky分解）} $$其中 $ K $ 为非奇异对称矩阵。定义变换后的变量：$$ K^{-1}Y = K^{-1}Xbeta + K^{-1}epsilon quad Rightarrow quad Y^* = X^*beta + eta $$此时，新误差项 $ eta = K^{-1}epsilon $ 的协方差矩阵为：$$ text{Var}(eta) = K^{-1} text{Var}(epsilon) (K^{-1})' = sigma^2 I $$即通过线性变换消除了误差相关性。

最小化变换后的误差平方和：$$ eta^T eta = epsilon^T (KK')^{-1} epsilon = (y - Xbeta)^T (KK')^{-1} (y - Xbeta) $$令 $ W = (KK')^{-1} = V^{-1} $，目标函数简化为：$$ (y - Xbeta)^T W (y - Xbeta) $$

对目标函数关于 $ beta $ 求梯度并令其为零：$$ frac{partial}{partial beta} left[ (y - Xbeta)^T W (y - Xbeta) right] = -2X^T W (y - Xbeta) = 0 $$解得GLSE估计量：$$ tilde{beta}_W = (X^T W X)^{-1} X^T W y $$

在模型假设下，GLSE是无偏的：$$ E[tilde{beta}_W] = (X^T W X)^{-1} X^T W E[y] = beta $$

GLSE的方差为：$$ text{Var}(tilde{beta}_W) = (X^T W X)^{-1} X^T W cdot text{Var}(y) cdot W^T X (X^T W X)^{-1} $$代入 $ text{Var}(y) = sigma^2 V $ 且 $ W = V^{-1} $，得：$$ text{Var}(tilde{beta}_W) = (X^T V^{-1} X)^{-1} sigma^2 $$最优性：当 $ W = V^{-1} $ 时，GLSE的方差达到Cramér-Rao下界，是最佳线性无偏估计（BLUE）。

若 $ V $ 非对角但强行使用OLS：

GLSE通过加权变换解决了误差项非独立同分布的问题，其核心在于正确设定权重矩阵 $ W $。理论上，$ W = V^{-1} $ 时效率最优；实践中，需权衡估计精度与计算成本。对于仅存在异方差的数据，WLS是GLSE的简化特例；而OLS在 $ V $ 非对角时的应用会导致严重偏差，需避免。