선형대수학 :: Linear Least Squares

Normal Equation

• Ax = b 가 solution 이 없을 때는?
  ⇒ b를 C(A)에 정사영한 근사 해 찾기. 아래의 해를 찾는다.

$\begin{gather*}Ax = p\end{gather*}$

 

$\begin{gather*}Ax = A(A^TA)^{-1}A^Tb\end{gather*}$

 

$\begin{gather*}x = (A^TA)^{-1}A^Tb\end{gather*}$

 

• 이때 A가 full rank 가 아니라면 A^TA의 역행렬을 구할 수 없으므로
  A를 free column을 버린 B로 바꿔서 계산한다. (C(A)는 변하지 않으므로)

 

$\begin{gather*}x = (B^TB)^{-1}B^Tb\end{gather*}$

 

• Least Squares Fitting
  Error 가 최소가 되도록 하기
  C 와 D에 관한 식들을 최소 제곱하고 더한 것을 각각의 C와 D에 대해서 편미분 → Ax=b 꼴로 만들기
  ⇒ Normal Equation과 같다.
  
  
• Normal Equation 은 항상 solution을 갖는다.