비지도학습 – 4.2 고유값 분해 계산



고유값 분해
PCA와 SVD에 이용되는 개념

안녕하세요 ! 오늘 포스팅에서는 앞선 비지도 학습의 종류 중에서 주성분 분석(PCA)와 특이값 분해(SVD) 계산에서 이용되었던 고유값 분해에 대해서 포스팅 해보려고 합니다. 주성분 분석과 특이값 분해 뿐만 아니라 다양한 분야에서 활용되는 개념이라 포스팅을 따로 해서 조금 더 자세히 다뤄보려고 합니다.

목차

고유값 분해란?

고유값 분해(Eigenvalue Decomposition)는 선형 대수학에서 중요한 개념으로, 행렬을 고유값과 고유벡터로 분해하는 과정을 말합니다. 고유값은 행렬이 벡터를 변환할 때 그 벡터의 방향을 변화시키지 않고 크기만 변화시키는 값이며, 고유벡터는 해당 고유값에 대응되는 벡터이며, 대각화(diagonalization) 과정을 통해 행렬을 대각행렬로 변환하는 것과 관련이 있습니다.

 

계산 과정

계산을 위해 임의의 정방행렬 A를 가정하겠습니다. 정방행렬 A의 고유값 분해는 다음과 같이 표현됩니다:

A = VΛV^(-1)

여기서, A는 정방행렬, V는 A의 고유벡터로 이루어진 정방행렬, Λ는 A의 고유값들로 이루어진 대각행렬입니다.

고유벡터는 A를 곱했을 때 방향만 변하고 크기는 변하지 않는 벡터이며, 고유값은 해당 고유벡터에 대응하는 스칼라 값입니다. 행렬 A에 대한 정의가 끝났다면 아래의 과정을 통해 계산해주시면 됩니다.

1. 고유방정식 해결: A – λI = 0 형태의 고유방정식을 푸는 과정에서 λ를 구합니다. (여기서, I는 단위행렬입니다.)

2. 고유값 계산: 고유방정식에서 구한 λ 값들이 A의 고유값이 됩니다.

3. 고유벡터 계산: 각 고유값에 대응하는 고유벡터를 구합니다. 이를 위해 (A – λI)x = 0 형태의 연립방정식을 푸는 것으로, 여기서 x는 고유벡터입니다.

4. 정규화: 구한 고유벡터들을 정규화합니다. 각 벡터의 크기를 1로 조정하여 단위 벡터로 만듭니다.

 

 

 

보다 자세한 내용을 영상으로 보고 싶으신 분들은 아래의 유튜브 영상을 참고해주시면 감사하겠습니다.

출처: 공돌이의 수학정리노트 유튜브

 

 

 

고유값 분해의 이용

고유값 분해를 통해 행렬을 고유값과 고유벡터의 조합으로 분해할 수 있습니다. 이는 행렬의 대각화와 관련이 있으며, 행렬의 성질과 구조를 이해하고 다양한 선형 대수적 문제를 해결하는 데에 활용됩니다. 활용되는 분야로는 아래와 같습니다.

  • 컴퓨터 그래픽스: 이미지나 도형의 형태를 분석하고 변형하는데 사용됩니다.
  • 통신 시스템: 다중 경로 간섭을 해결하거나 신호를 복원하는 등의 작업에 활용됩니다.
  • 양자역학: 양자 시스템의 에너지 상태를 분석하는데 사용됩니다.

고유값 분해는 주성분 분석, 특이값 분해와 같은 비지도 학습에서 뿐만 아니라 계층적 군집화 등 다양한 분야에서 중요한 개념으로 활용됩니다.

 

함께 보면 좋은 글들

Leave a Comment