仮説検定においては、仮説値がパラメーターと一致するかどうかを検定することになります。
そうしたときに、色々な検定があるわけですが、基本的な考え方として、3つのものがあります。
・ワルド原理
・尤度比原理
・スコア原理（ラグランジュ乗数原理）
これらについて、説明したいと思います。
ワルド原理
パラメーターを$a^*$、仮説値を$\hat{a}$とすると、まず思いつくのが、この2つの値が似ているかどうかだと思います。
そうしたときに、差をとって、その差が$0$に近いほど、この2つの値は一致していると考えられるでしょう。
$a^* - \hat{a}$
このようなもとに考えられている検定原理を、ワルド原理と言います。
計量経済学で最初のほうに出てくるt検定などは、この原理に基づいています。
尤度比原理
パラメーター$a^*$の残差二乗和を$RSS(a^*)$、仮説値の残差二乗和を$RSS(\hat{a})$としましょう。
パラメーターと仮説値が異なるほど、この残差二乗和も一致しなくなります。
このようなときに、ワルド原理ではパラメーターと仮説値自体が一致しているかを考えましたが、この残差二乗和が一致しているかどうかを考えることができます。
$RSS(a^*) - RSS(\hat{a})$
このような考えの検定原理を、尤度比原理と言います。
$\chi^2$検定やF検定などで、用いられているものです。
スコア原理（ラグランジュ乗数原理）
尤度比原理では、残差二乗和の差をとって、パラメーターと仮説値が一致しているかどうかを考えました。
残差二乗和は、パラメーターから離れた仮説値ほど、大きくなると言えます。
ということは、パラメーター$a^*$の残差二乗和$RSS(a^*)$は、残差二乗和の中でも最小値をとると言えるので、残差二乗和を微分した
$RSS'(a^*) = 0$
となり、仮説値の残差二乗和$RSS(\hat{a})$は、
$RSS'(\hat{a}) \neq 0$
と考えられるので、この差を見ることで検定を行うことができます。
そしてこの検定原理を「スコア原理」（ラグランジュ乗数原理）と言います。
参考
鹿野繁樹『新しい計量経済学』