인공지능 관련 용어정리

인공지능을 다시 공부하기 시작했는데 약어가 너무많아서 익숙하지 않은 상태로 글을 읽으니 이해가 너무 어려웠습니다.

그래서 용어들을 한번 정리하고자 합니다.

 

퍼셉트론

 -인공 신경망에서 노드 하나하나를 말합니다. 뉴런이라고도 합니다.

 

FFNN (Feed Forward Neural Network, 피드 포워드 신경망)

 -출력을 입력층에서 출력층으로만 전달하는 신경망

이미지 출처: https://wikidocs.net/24987

RNN (Recurrent Neural Network, 순환 신경망)

 -은닉층의 출력값이 은닉층의 입력으로 사용되기도 하는 신경망

이미지 출처: https://wikidocs.net/24987

Dense layer (전결합층, Fully-connected layer, FC)

 -어떤 층의 모든 뉴런이 이전 층의 모든 뉴런과 연결돼있는 층

 

활성화 함수 (Activation Function)

 -하나의 뉴런의 출력값을 결정하는 함수

 -활성화 함수가 선형함수인 은닉층은 여러번 추가해도 1회 추가한 것과 같음

 

계단 함수

 -0이하는 0, 0초과는 1이 되는 함수

 

하이퍼볼릭 탄젠트 함수

 -시그모이드 함수는 0과 1 주변에서 기울기가 0에 가까워지기 때문에 은닉층에서 사용하면 기울기가 잘 전달되지 않음

 -그대신 범위가 -1~1이라 조금 나은 하이퍼볼릭 탄젠트 함수를 사용하지만, 기울기 소실 문제는 여전히 있습니다.

 

ReLU 함수

 -f(x) = max(0,x)인 함수로 깊은 신경망에서 많이 사용함

 -입력값이 음수면 기울기가 0이라서 죽은 ReLU문제가 있습니다.

 

Leaky ReLU

 -max(ax,x)의 형태로 a는 보통 0.01정도의 값을 가짐

 

Loss Function (손실 함수)

 -실제값과 예측값의 차이를 수치화해주는 함수

 

MSE (Mean Squared Error)

 -오차 제곱 평균

 

Optimizer (옵티마이저)

 -손실 함수의 줄여나가면서 학습하는 방법은 옵티마이저가 결정합니다.

 

Batch (배치)

 -가중치 등 매개변수를 조정하기 위해 사용하는 데이터의 양

 

배치 경사 하강법 (Batch Gradient Descent)

 -전체 데이터를 배치로 사용하며 전체 데이터를 고려하므로 시간과 메모리가 많이 요구되지만 글로벌 미니멈을 찾을 수 있음

 

확률적 경사 하강법 (Stochastic Gradient Descent, SGD)

 -랜덤으로 선택된 하나의 데이터에 대해서만 계산하여 빠르지만 정확도가 낮음

 

미니 배치 경사 하강법 (Mini Batch Gradient Descent)

 -정해진 양의 데이터만 계산해 SGD보다 안정적임

 

가중치 규제 (Regularization)

 -가중치의 절대값을 비용함수에 추가해 가중치가 작게 나오게 하는 방법

 

Gradient Clipping

 -기울기의 폭주를 막기 위해 임계값을 넘지 않도록 자르는 것

 

세이비어 초기화 (글로럿 초기화)

 -가중치 초기화 방식으로, 여러 층의 기울기 분산 사이의 균형을 맞추는 방식

 -ReLU 계열 함수를 사용하면 효과가 좋지 않음. 대신 He 초기화를 사용함