선형대수학 ~Linear System (중간고사 필기정리)

이 필기는 학교에서 듣는 선형대수학 수업 시험대비를 위한 필기입니다.

기본적인 행렬의 행 연산들과 벡터연산은 이미 알고 있어서 제외했습니다.

 

System of Linear equation (Linear System)

$$a_1x_1+a_2x_2+...a_nx_n=k$$

위와 같은 형태로 변수들의 1차원 조합(\(x^2\)은 안됩니다.)으로 이루어진 방정식을 Linear equation이라 합니다.

이런 Linear equation을 여러개 묶어서 변수를 공유하면 System of linear equation(연립방정식)이 됩니다.

 

Linear System의 해답은 1개, 0개, 또는 무수히 많을 수 있습니다.

해답이 없는 경우는 System is inconsistent라고 표현하며 해답이 있는 경우는 System is consistent라고 표현합니다.

$$\begin{align*}
2x_1+4x_2-2x_3&=-6 \\
x_2+3x_3&=6 \\
3x_1+4x_2-x_3&=-5
\end{align*}$$

위 Linear system을 아래의 matrix 형태로 표현한 것을 augmented matrix라고 합니다.

$$ \left[
\begin{matrix}
2 & 4 & -2 & -6 \\
0 & 1 & 3 & 6 \\
3 & 4 & -1 & -5\\
\end{matrix}
\right] $$

 

위 행렬의 해를 구하기 쉽게 행렬을 다른 형태의 동일한 Linear system으로 바꾸는 방식을 사용합니다.

여기에 사용되는 연산은 3가지로, 한 행에 Linear한 연산을 해서 행을 바꾸는 Replacement(\(R_1=2R_1-R_2\)), 두 행을 바꾸는 Interchange, 한 행을 상수배 하는 Scale이 있습니다. 이를 Elementary row operations(기본 행 연산)라 합니다.

 

Reduced Row Echelon Form

Leading entry : 한 행에서 nonzero인 가장 첫 항

Echelon Form이 되기위한 조건 (계단 형식)

1. 모든 행이 0인 행은 가장 아래로 밉니다.

2. n-1번째 항의 Leading entry는 n번째 항의 Leading entry보다 왼쪽에 있습니다.

3. Leading Entry 아래의 모든 항은 모두 0입니다.

$$ \left[
\begin{matrix}
1 & -2 & 5 & -1 \\
0 & 0 & 2 & 3 \\
0 & 0 & 0 & 4\\
0 & 0 & 0 & 0\\
\end{matrix}
\right] $$

Reduced Row Echelon Form이 되기위한 조건

1. Echelon Form이어야 합니다.

2. 모든 Leading entry가 1입니다.

3. Leading Entry 위 아래의 모든 항이 0입니다.

$$ \left[
\begin{matrix}
1 & -2 & 0 &0 & 5 \\
0 & 0 & 1 & 0 & 3 \\
0 & 0 & 0 & 1 & 8\\
0 & 0 & 0 & 0 & 0\\
\end{matrix}
\right] $$

Pivot : Echelon Form인 matrix의 Leading entry

Pivot position : Echelon Form인 matrix의 Leading entry들이 오는 위치

Gauss-Jordan elimination

Gauss-Jordan elimination은 Linear System을 푸는 한 방법으로, Linear system을 Echelon Form으로 만들고, 그것을 Reduced Row Echelon Form으로 만들어서 해를 구하는 방법입니다. 순서는 아래와 같습니다.

1. 가장 위의 Pivot position을 선택해 행 연산을 통해 그 곳이 Leadying entry가 되게한다.

2. 행 연산을 통해 그 항 아래의 항을 0으로 만든다.

3. 이를 내려오며 반복하면 Echelon Form이 완성된다.

4. 가장 아래의 Pivot을 선택해 그 행을 이용해 Pivot 위쪽의 항들을 0으로 만든다.

5. 이를 올라가며 반복하면 Row Reduction Echelon Form이 완성된다.

계산해 해를 구했을 때, \(x_1=2x_3+3,\; x_2=x_3-1,\; x_4=3\)의 형태로 표현된다면,

해가 정해진 \(x_1, x_2, x_4\)는 basic variables, 해가 어떤 수든 될 수 있는 \(x_3\)는 free variable 이라 부릅니다.

 

Vectors

Vector : 하나의 열을 가진 행렬

\(R^n\) : \(n\)개의 항을 가진 모든 벡터들의 집합

벡터를 점으로 생각한다면 \(R^2\)는 2차원 평면, \(R^3\)은 3차원 공간으로 볼 수 있습니다.

Vector의 Linear combination : \(c_1\vec{v_1}+c_2\vec{v_2}+...c_k\vec{v_k}\) 의 형태로 표현되는 벡터

Span :  특정 벡터의 Linear combination으로 만들 수 있는 모든 벡터의 집합

\(\vec{u}=c\vec{v}\)라면 Span{\(\vec{u},\vec{v}\)}는 하나의 선을 나타내고(=Span{\(\vec{u}\)}), 아니라면 평면을 나타냅니다.

 

$$x_1\vec{a_1}+x_2\vec{a_2}+...x_k\vec{a_k} = \vec{b}$$

위 처럼 벡터들의 Linear combination이 b벡터를 이루는지, 이룬다면 각 계수는 몇인지는

$$[\vec{a_1} \quad \vec{a_2} \quad ... \quad \vec{a_k} \quad \vec{b}]$$

위 행렬의 해를 구하면 알 수 있습니다.

그러므로 \(\vec{b}\)가 Span{\(\vec(a_1),\vec(a_2),...\)} 인지 묻는 질문은 위 행렬이 해를 가지는지를 확인하면 됩니다.

또 아래와 같이 행렬의 곱으로 표현할 수도 있습니다.

$$[\vec{a_1}\quad\vec{a_2}\quad...\quad\vec{a_k}] \; \left[ \begin{matrix}
    x_1 \\
    x_2 \\
    \vdots\\    x_k\\
\end{matrix} \right]=\vec{b}
$$

 

Homogeneous Linear System

$$A\vec{x}=\vec{0}$$

위 형태의 Linear system을 Homogeneous Linear System이라고 합니다.

위 같은 경우 \(\vec{x}\)는 항상 해를 하나 가지는데, 이를 trivial solution이라 하며 값은 \(\vec{0}\)입니다.

만약 위 식을 풀었을 때 free variable이 한 개 이상 나올 경우, \(\vec{0}\)외에 무수히 많은 해가 생기는데, 이는 nontrivial solution이라 합니다.

$$\vec{x} = \left[ \begin{matrix}
    2x_3 \\
    0 \\ x_3\\ \end{matrix} \right]=x_3 \; \left[ \begin{matrix}
    2 \\
    0 \\
    1\\
\end{matrix} \right]=x_3\vec{v}
$$

위 처럼 해를 표현할 수 있는데, \(x_3\)가 free variable이므로 위 식의 해는 \(vec{v}\)의 span 이라고 표현할 수 있으며, 좌표계에선 직선으로 표현됩니다. 만약 free variable이 2개였다면 면으로 표현됩니다.

 

Nonhomogeneous System

$$A\vec{x}=\vec{b}$$

지금까지 배운 Linear System에서 위 처럼 표현되는 식은 Nonhomogeneous System이라고 합니다.

위 식의 해는 Homegenious Linear System과 같은 형식으로 구하면, 

$$\vec{x} = \left[ \begin{matrix}
    2x_3+1 \\
    3 \\ x_3\\ \end{matrix} \right]=x_3 \; \left[ \begin{matrix}
    2 \\
    0 \\
    1\\ \end{matrix} \right]+\left[ \begin{matrix}
    1 \\
    3 \\
    0\\
\end{matrix} \right]=\vec{p}+x_3\vec{v}
$$

해를 위 처럼 표현할 수 있는데, 이는 homeneneous system의 해를 \(\vec{p}\)만큼 평행이동 시킨 것입니다.

여기서 \(\vec{p}\)는 particular solution이라고 부릅니다.

 

Linearly Dependent

여러 벡터가 Linearly  dependent하다는 말은 한 벡터가 다른 벡터의 스칼라 곱으로 표현된다는 뜻이며, independent는 반대입니다.

\(\vec{v_1},\;\vec{v_2},\; \vec{v_3}\)의 Linear dependence relation : \(c_1\vec{v_1}+c_2\vec{v_2}...=\vec{0}\)

Linear dependence relation의 해가 trivial solution 뿐이라면 벡터들은 linearly independent하고, nontrivial solution이 있다면 linearly dependent합니다.

 

어떤 행렬 \(A=[\vec{a_1}\;\vec{a_2}...]\) 의 벡터들이 linearly dependent한지 알기 위해선 \([A|\vec{0}\)이 nontrivial solution을 갖는지 찾으면 됩니다. Free variable이 생기면 nontrivial solution이 있으므로 dependent합니다.

No free variables == Only has trivial solution == Vectors are independent

 

만약 n개의 항을 가지는 벡터 p개가 있고 p>n이라면, 벡터들은 linearly dependent합니다.

왜냐하면 \(A\vec{x}=\vec{0}\)에서 \(\vec{x}\)의 항 수가 p개이고 이는 주어진 식의 수 n보다 많기 때문에 반드시 free variable이 생기기 때문입니다.

또 벡터들 중에 \(\vec{0}\)가 포함된다면 그 벡터들은 linearly dependent합니다. 그 항이 free variable이 되기 때문입니다.