Transcript 1-4. Matrix의 몇 가지 특징

Chapter 2. Matrices

Let K be a field

A matrix in K with dimension m by n
Sometimes it can be written as

The ij-entry

is called ij-component

Row Vector
◦ The i-th row of the previous matrix

Coulmn Vector
◦ The j-th column

Matrix & Vector Notation
◦
◦
◦
◦
Component of Matrix : Subscript
(Column) Vector in a Matrix : Superscript :
Row Vector in a Matrix : Subscript :
Originally, a Matrix is a set of “ROW” Vector
 Therefore, a basis vector has subscript :
 Inner Product is also represented by


However, since the matrix theory is
developed to solve a linear equation, the
column vector of a matrix means “the Vector”.
Therefore, when we call a vector with respect
to a matrix, it always means a column vector
of the matrix
◦ 그럼에도, 흔적은 남아 있음.
◦ Partial Differential Operator
은 Vector, 하지만, 이
의 Dual 인 Differential
는 “Row Vector”로 간주된
다. 이 때문에 다변수 함수
의
Differential
는 Partial Differential Operator와
Differential의 Inner Product로 표시된다.

Example (In Strang’s book)


한국 고등학교 방식 …. Very Slow..
Matrix 연산은 좌측 Matrix와 우측 Matrix의 Row
및 Column 벡터간의 Inner Product 라는 것이 너
무 강조됨

일반적인 Matrix 연산을 하게 되면?
◦ Nxmxl개의 곱셈과 (N-1)x(m-1) x(l-1)개의 덧셈을 하
게 된다.
◦ 하다 보면 Component의 위치가 헷갈린다.

1 Step
◦ 결과 Matrix의 Dimension을 결정한다.
 좌측 Matrix
 우측 Matrix
의 Dimension은 (출력측 m x 입력측 n)
의 Dimension은 (출력측 n x 입력측 l)
결과 Matrix의 Dimension 은 따라서 m x l

2 Step
◦ 좌측 Matrix의 I 번째 Column Vector
◦ 우측 Matrix의 I 번째 Column Vector의 컴포넌트 곱의 합
◦ 결과 Matrix의 I 번째 Column Vector
Tensor 연산과 유사
하게 나타난다.

Matrix 연산
◦ Linear Combination :
 G1, G2, G3, G4 (Abelian Group)
 Distribution G5, G6
◦ Ring Axiom
 Identity
 Identity Matrix
 Association for Field

Matrix는 결국 n차원 Vector의 m개 모임이므로 해당
Matrix의 Component
가 Field K에 속한 경우 Matrix는
Vector space over K 를 이룬다 ->

Transpose
◦ Let
◦ Transpose of A is the

Symmetric Matrix

Diagonal
◦
◦
◦
◦
Let
(Square Matrix)
Diagonal Component
Diagonal Matrix if
Identity Matrix if

Non-Homogeneous Linear Equation
◦ Let K be a field. Let
matrix in K
◦ Let
be elements of K, then

Homogeneous Linear Equation
◦ Trivial (자명한) Solution
be a

Theorem 2.1
Let
Be a homogeneous system of m linear equations in n unknowns, with
coefficients in a field K. Assume that
. Then the system has a nontrivial solutions in K
◦ 미지수의 개수 n 보다 방정식의 개수가 많거나 같으면 해
가 존재한다.
◦ 미지수의 개수 n 보다 방정식의 개수가 많으면 1차 독립
이 아니다.
◦ 따라서 많은 해가 존재하며 이를 부정(non-unique
solution) 이라 한다.

Theorem 2.2
Assume that m=n in the linear equation
And the vectors
“unique“ solution in K
이것이 1차 독
립과 Basis의 첫
번째 실용적 중
요성이다.
are linear independent. Then the equation has a
◦ 미지수와 방정식의 개수가 같으면 (즉 Square Matrix) 이
고 계수 Matrix의 성분 벡터가 1차 독립이면 오직 선형
연립 방정식은 오직 하나의 해를 가진다.
◦ Proof)
The vectors
being linearly independent, they form a basis of
Hence any vector B has a unique expression as a linear combination

Inner product 의 3가지 특징
◦ 1.
◦ 2.
◦ 3.

The Product of Matrixes AB
◦ Let
◦ Let
such that
◦ The dot product AB to be the mxs matrix whose ikcomponent is

Representation of Matrix Multiplication
◦ Let
◦ Let

are the row vector of matrix A
are the column vector if matrix B
Matrix Multiplication의 3가지 특징
◦ A, B, C are matrices, (A,B). (A,C) can be multiplied
◦ (B,C) can be added.
 1.
 2.
◦ (A,B), (A,C), and (B,C) can be multiplied
 3.

Invertible or Non-singular
◦ If

such that
Inverse Matrix (only for squared matrix)
◦ The inverse matrix
of
such that

Sequential Product of matrix

Transpose for product of matrix

Inverse of Matrix 의 몇 가지 특징
◦ If
이면
는 Invertible이다.
◦ If
이면
는 Invertible이다.
◦ If
이면
◦ If
는 Invertible이다.
이면
는 Invertible이다.
 Let
 Thus,
◦ If
이면 는 Invertible이다.

멱급수와 Matrix Inversion
◦ Let
◦ Thus,
then
.
is invertible s.t.
◦ Therefore,
◦ Generally, If N is a square matrix s.t.
the matrix
is invertible:
for

Matrix Inversion Lemma
◦ 기본 아이디어
1
 Fundamental Equation ( I  P) ( I  P)  I
 Some Evaluation
 We want the solution of
◦ If A is invertible





1.
2.
Sometimes, EQ 2 can be represented as
3. Set
, by the fundamental equation, we can obtain
Matrix Inversion Lemma는 Ricatti Equation의 해석 및 이
를 사용한 알고리즘 개발에 많이 이용된다.(Control Theory,
Signal Processing, Filter Theory….)

Definition of Trace
◦ For
, the trace of A to be the sum of the
diagonal elements, s.t.
◦ Trace는 Commutative 연산
◦ Trace는 Transpose에 불변인 연산이다.
◦ Trace는 Orthogonal Matrix의 제곱 연산에서 필요한
Inner Product를 얻기 힘들 때 많이 사용된다.
 어떤 vector
가 연산에 의해
인 대각 행렬
이 될 때, Inner Product를 얻을 때도 이용된다.





필산을 통해 어렵게 역행렬을 구하지 않고 선형 연
립방정식을 푸는 방법
앞에서 배운 Column Vector를 중심으로 하는 행
렬 연산 대신 Row Vector를 중심으로 하는 행렬
연산이 사용된다. (거의 유사하다.)
최근에는 MatLab등 컴퓨터를 이용한 선형 연립방
정식 해법에 의해 빛을 잃음
선형 연립방정식의 심도 깊은 연구를 위해서는 알
아 둘만 하다.
Report…..

Gauss-Jordan 소거법은 Row-Vector 연산
◦ 다음의 1차 연립 방정식을 생각하자.
◦ Matrix 형태로 고치면 다음과 같다.
◦ 연립 방정식의 해법은 다음과 같다.




1.
2.
3.
4. 변환된 연립 방정식

Upper Matrix에 의해
◦ 즉, 1차 선형 방정식에 대한 1차 결합으로 연립 방정식을
풀 수 있다
◦ 이는, Matrix의 Row Vector에 대한 결합으로 풀 수 있음
을 의미한다.
◦ Matrix 연산을 다시 살펴보면..

기존 Matrix 연산의 Notation 변환
◦ 즉, 각 X의 각 Row Vector에 대한 A의 Row Component
에 대한 1차 결합으로 AX가 표현된다.
◦ 이러한 형태는 연립 방정식 풀이를 위한 방정식간의 연산
과 완전히 같은 형태이다.

Example
◦ Row Vector 를 사용한 Matrix 연산을 응용하여 GaussJordan 소거법을 살펴보자.

앞에서 나타난 1차 선형 연립 방정식
◦ 목표 : 다음과 같이 변환 Matrix를 사용하여 방정식을 푼다
 0. 먼저 Identity Matrix를 생각한다. 각 Row Vector 는 그대로
유지된다.
 1. 1행에 -2를 곱하고 2행을 더한다. 이를 H라 한다.
 2. 1행에 1을 곱하고 3행에 1을 곱하고 더한다. 이를 F라 한다.
 3. 1에서 구한 2행에 1을 곱하고 2에서 구한 3행에 1을 곱한다.
이를 G라고 하고, 각 연산은 다음과 같이 이루어진다.

연립 방정식의 최종형태
◦ 따라서
에서 앞에서 살펴본 Upper
Triangualr Matrix를 만들어 연립방정식을 풀 수 있다.

LU Factorization
◦ 지금까지의 과정을 다시 써보면 다음과 같다.
◦ 그러므로
◦ 이때 G,F,H의 역함수를 구하여 Matrix곱을 하게 되면
Lower Matrix가 생성되어 임의의 Matrix A는 Upper
Matrix와 Lower Matrix의 곱으로 Factorization 된다.

Lower Triangular Matrix
◦ 1.
◦ 2.
◦ 3.
◦ 4. 결론
◦ LU Factorization의 예 – 2차 차분 (혹은 미분의 이해)

Gauss-Jordan법에 의한 역함수 구하는 알고리즘


LU Factorization과 Row Vector 연산의 연속을
통해 역 행렬을 행렬 연산의 연속 연산을 통해 프
로그램화 시켜 구할 수 있다.
이를 통해 1차 연립 방정식의 일반적인 해법을 프
로그램적으로 만들 수 있다.


그러나, Determinent를 사용하여 연립 방정식을
푸는 또 다른 방법이 있다.
이는 Linear System의 Filter 이론에도 직접 적용
할 수 있다.