The Geometry of Linear Equations

선형 대수학(Linear Algebra)는 선형 방정식(Linear Equations)로 표현되는 시스템을 풀기 위한 방법론이다.

이는 n개의 방정식(equations)과 m개의 미지수(unknowns)가 있는 일반적인 시스템이다.

다음 n=m=2인 간단한 예제를 통해 선형 시스템의 3개의 기본 요소를 알아보자.

\[\begin{bmatrix} 2 & -1 \\ 1 & 2 \\ \end{bmatrix} \begin{bmatrix} x \\ y \\ \end{bmatrix} = \begin{bmatrix} 0 \\ 3 \\ \end{bmatrix} \cdots (1)\] \[A\mathbf{x}=b\]

계수 행렬(coefficient matrix): \(A\)
unknown vector: \(\mathbf{x}\)
right-hand side vector: \(b\)

Row picture

각 Row의 방정식에 관하여 보는것. 이것은 2차원에선 직선의 방정식이고, 3차원에선 평면의 방정식을 의미한다. 이 공간이 만나는 부분이 이 시스템의 해(Solutions)이다.

Row picture는 공간상에서 선 혹은 평면, n차원 평면으로 표현딘다.

Column picture

행렬의 각 Column vector를 보는것. 그리고 이 Column vectors의 Linear Combination을 보는 것. 이 Linear Combination이 우변의 벡터를 만들 수 있는가에 대한 것이며, 우변의 벡터를 만드는 Linear Combination의 계수가 되는 x가 존재하면, 그것이 이 시스템의 Solutions이다.

Column의 Linear Combination으로 만들어지는 공간을 Column Space라고 하고, 이 Column Space의 차원은 이 시스템의 Rank와 같다.
또한 우변의 모든 b 벡터에 대해 이를 만족하는 Solution이 존재하면, A matrix는 non-singular matrix이며, invertible matrix이다. 이는 column picture의 벡터들이 서로 다른 평면에 존재하기 때문이다.

Column picture는 공간상에서 벡터들의 조합으로 표현된다.

Matrix form

\[\begin{bmatrix} 2 & -1 \\ 1 & 2 \\ \end{bmatrix} \begin{bmatrix} x \\ y \\ \end{bmatrix} = \begin{bmatrix} 0 \\ 3 \\ \end{bmatrix} \cdots (1)\]

An Overview of Key Ideas

Solving Equations

Solution이 존재하느냐 마느냐에 관한 Constraints가 있을 수 있다.
기본적으로 선형 시스템은 방정식으로 이루어진 것이고, 그렇기 때문에 늘 해가 존재할 수는 없다.

Subspace

Subspace는 그 부분 집합들이 선형성을 만족하는 공간이다. 이는 Linear Function의 정의와 같다.

Linear Function은 다음과 같이 정의된다.
\(f(x+y)=f(x)+f(y)\) \(f(ax)=af(x)\)

Subspace도 마찬가지다.
주의해야 할 점은 원점(Origin)이자 영벡터(Zero vector)는 늘 Subspace에 포함된다는 것이다.

Subspace는 다음과 같은 것들이다.

원점
원점을 지나는 직선
원점을 지나는 평면
\(R^n\) 공간 전체