変数選択

さて前回は

y=β₀+β₁x₁+β₂x₂+β₃x₃+誤差

というモデルを考えたのですが(これをモデル0と呼ぶことにします)、これが最適とは限りません。今回は他のモデルも考えてみて、比較しましょう。他のモデルとして、非線形項を入れることにすると考えるモデルが多くなりすぎて収集がつかなくなるので、今回は比較対象の一例として変量を減らしたモデルを考えます。経度は気温への影響が少ないかも知れないので

y=β₀+β₁x₁+β₃x₃+誤差

というモデルを考えて(これをモデル1と呼ぶことにします)、これとモデル0のどちらが良いか比較します。

比較の方法として

∑_i=1²⁰　{y_i-(β₀+β₁x_i1+β₂x_i2+β₃x_i3)}²

と

∑_i=1²⁰　{y_i-(β₀+β₁x_i1+β₃x_i3)}²

の最小値が小さい方、という比較は意味がありません。必ず前者の方が等しいか、小さくなります。何故なら前者で β₂=0と置けば後者になるので、後者の最小値と同じ値を前者はとることが出来るからです。 注意すべきは、もし仮にx₂がyと関係なくても、前者の方が小さくなってしまうので、これらの 小ささを比較していては不要な変数もどんどん採用してしまいます。

ではどのように比較すればよいでしょうか？大事なのは

y=β₀+β₁x₁+β₂x₂+β₃x₃+誤差

や

y=β₀+β₁x₁+β₃x₃+誤差

が、yの値を知らないときにその予測として役に立つか、ということです。なので例えば β₀+β₁x₁₁+β₂x₁₂+β₃x₁₃がy₁の推定として役に立っているか確認するなら、β₀, β₁, β₂, β₃を推定するためにy₁の値を使っては確認になりません。

従って、次の手順でモデル0の推定のよさを調べることになります。

1.

都市番号2,3,...,20のデータを用いてβ₀, β₁, β₂, β₃の値を推定し、そのβ₀, β₁, β₂, β₃を用いて推定誤差
y₁-(β₀+β₁x₁₁+β₂x₁₂+β₃x₁₃) を求めます。

2.

都市番号1,3,...,20のデータを用いてβ₀, β₁, β₂, β₃の値を推定し、そのβ₀, β₁, β₂, β₃を用いて推定誤差
y₂-(β₀+β₁x₂₁+β₂x₂₂+β₃x₂₃) を求めます。
……

20.

都市番号1,2,...,19のデータを用いてβ₀, β₁, β₂, β₃の値を推定し、そのβ₀, β₁, β₂, β₃を用いて推定誤差
y₂₀-(β₀+β₁x_20,1+β₂x_20,2+β₃x_20,3) を求めます。

これらの推定誤差を2乗して足したものを、モデル0の推定誤差として用います。モデル1についても同様の手順で推定誤差を求め、これらが小さいほうのモデルを採用します。