逆行列について
■ 逆行列定義 参照元：https://manabitimes.jp/math/1153 ■ 何に使われる？ 線形回帰 線形回帰では、予測モデルを求めるために最小二乗法を使用することが一般的です。この方法では、正規方程式と呼ばれる方程式を解く必要があり、その解の計算に逆行列が必要になります。 最適化問題 機械学習の多くのアルゴリズムは、ある種の最適化問題を解くことに帰着されます。例えば、勾配降下法などの最適化アルゴリズムでは、逆行列を使用して更新ステップを計算することがあります。 特徴変換 次元削減や特徴抽出のために使用される手法（例えば、主成分分析（PCA））では、共分散行列の逆行列や固有ベクトルを計算する必要があります。 正則化 リッジ回帰やラッソ回帰のような正則化手法では、逆行列が正則化項の計算に使用されます。 ■線形回帰ではどのように逆行列を使用するのか？ 線形回帰において逆行列が具体的に使われるケースは、最小二乗法を用いて回帰係数を求める際です。線形回帰モデルは通常、次のような形で表されます。 ここで、yは目的変数のベクトル、Xは説明変数の行列、βは回帰係数のベクトル、εは誤差項です。 最小二乗法では、誤差の二乗和を最小化することで回帰係数βを求めます。具体的には、以下の式を最小化します この式をβに関して微分し、0に等しいと置くことで、以下の正規方程式を得ます この方程式をβについて解くために、X⊤Xの逆行列を両辺に左から掛けます 以下が逆行列です。 この逆行列を計算することで、最小二乗法による線形回帰の回帰係数βを求めることができます。 ■ 誤差項εを最小化するとは？ 誤差項εを最小化するというのは、単純に足した値を少なくするということではありません。通常、誤差項の二乗和（SSE: Sum of Squared Errors）を最小化することを目指します。これは、各データポイントにおける予測値と実際の値との差（誤差）の二乗をすべて足し合わせたものです。 誤差項εiに対して、SSEは次のように表されます ここで、yiは実際の値、y^iは予測値、nはデータポイントの総数です。 SSEを最小化することで、モデルの予測値が実際の値にできるだけ近くなるように回帰係数を求めることができます。この方法は最小二乗法と呼ばれ、線形回帰モデルで広く使用されています。 誤
