標本数が$n$であり、被説明変数を$y_i$、説明変数を$x_i$、誤差項を$e_i$としたとき、次のようなモデルを考えるとします。
$y_i = \alpha + \beta x_i + u_i (i = 1, \quad \cdots , \quad n)$
このモデルについて、OLSで推計すると、次のような推定回帰式を得ることができます。
$\hat{y_i} = \hat{\alpha} + \hat{\beta} x_i$
そして、この2つの式について、差をとると残差$e_i$が得られます。
$e_i = y_i \; – \; \hat{y_i}$
この残差について、次のような特徴があります。
特徴1
残差$e_i$の総和は0になります。
$\displaystyle \sum_{i=1}^n e_i = 0$
（証明）
最小二乗法では、残差二乗和を最小化することになので、次の式を計算することになります。
$\displaystyle \dfrac{\partial (\sum_{i=1}^n e_i^2)}{\partial \hat{\alpha}} = 0$
ここで、$e_i = y_i \; – \; \hat{\alpha} \; – \; \hat{\beta}x_i$であること注意すると、
$\displaystyle \dfrac{\partial (\sum_{i=1}^n (y_i \; – \; \hat{\alpha} \; – \; \hat{\beta}x_i)^2}{\partial \hat{\alpha}} = 0$
なので、
$\displaystyle \dfrac{\partial (\sum_{i=1}^n e_i^2)}{\partial \hat{\alpha}} = – 2 \sum_{i=1}^n (y_i \; – \; \hat{\alpha} \; – \; \hat{\beta}x_i) = – 2 \sum_{i=1}^n e_i = 0$
であり、
$\displaystyle \sum_{i=1}^n e_i = 0$
を得ることができます。
特徴2
説明変数$x_i$と残差$e_i$の積和は0となります。
$\displaystyle \sum_{i=1}^n x_i e_i = 0$
（証明）
最小二乗法では、残差二乗和を最小化することになので、次の式を計算することになります。
$\displaystyle \dfrac{\partial (\sum_{i=1}^n e_i^2)}{\partial \hat{\beta}} = 0$
ここで、$e_i = y_i \; – \; \hat{\alpha} \; – \; \hat{\beta}x_i$であること注意すると、
$\displaystyle \dfrac{\partial (\sum_{i=1}^n (y_i \; – \; \hat{\alpha} \; – \; \hat{\beta}x_i)^2}{\partial \hat{\beta}} = 0$
なので、
$\displaystyle \dfrac{\partial (\sum_{i=1}^n e_i^2)}{\partial \hat{\beta}} = – 2 \sum_{i=1}^n (y_i \; – \; \hat{\alpha} \; – \; \hat{\beta}x_i) \cdot x_i = – 2 \sum_{i=1}^n e_i x_i = 0$
であり、
$\displaystyle \sum_{i=1}^n x_i e_i = 0$
を得ることができます。
特徴3
回帰式の予測値$\hat{y_i}と残差$e_i$の積和は0となります。
$\displaystyle \sum_{i=1}^n \hat{y_i} e_i = 0$
（証明）
$\hat{y_i} = \hat{\alpha} + \hat{\beta} x_i$であるので、
$\displaystyle \sum_{i=1}^n \hat{y_i} e_i = \sum_{i=1}^n (\hat{\alpha} + \hat{\beta} x_i) \cdot e_i = \hat{\alpha} \sum_{i=1}^n e_i + \hat{\beta} \sum_{i=1}^n x_i e_i$
を得ることができます。
そして、上記の2つの特徴から、右辺第1項・第2項共に0になり、
$\displaystyle \sum_{i=1}^n \hat{y_i} e_i = 0$
を得ることができます。
参考
羽森茂之『ベーシック計量経済学』