1. 퍼셉트론(Perceptron)
- 초기 형태의 인공 신경망
- 다수의 입력으로부터 하나의 결과를 내보내는 알고리즘
- x는 입력값, w는 가중치, y는 출력값
- 각각의 입력값은 각각의 가중치를 가지며, 가중치가 클수록 입력값의 중요도 높아짐
- 각 입력값이 가중치와 곱해져서 인공 뉴런에 보내지고, 입력값*가중치의 전체 합이 임계치(threshold)를 넘으면 종착지에 있는 인공 뉴런은 출력 신호로서 1 출력, 아니면 0 출력 => 계단 함수 Step Function
- 임계치를 좌변으로 넘겨 b(편향)으로 사용할 수 있음
- 편향 b도 퍼셉트론의 입력으로 사용됨, b도 딥 러닝이 최적화해야 할 변수 중 하나
2. 단층 퍼셉트론 (Single-Layer Perceptron)
- 입력층과 출력층만 있는 퍼셉트론
- 직선 하나로 두 영역을 나눌 수 있는 문제에 대해서만 구현 가능
3. 다층 퍼셉트론 (MultiLayer Perceptron, MLP)
- 입력층, 출력층 사이 은닉층(hidden layer) 추가
- 은닉층이 2개 이상인 신경망을 심층 신경망(Deep Neural Network, DNN) 이라고 함
- 기계가 적절한 가중치를 스스로 찾아내도록 자동화시키는 것이 머신 러닝에서의 training, learning 단계
- 학습을 시키는 인공 신경망이 심층 신경망일 경우 딥 러닝이라고 함
4. Forward Propagation
- 입력층에서 출력층 방향으로 연산을 진행하는 과정 즉, 주어진 입력이 입력층으로 들어가 은닉층을 지나 출력층에서 예측값을 얻는 과정
5. 손실 함수, Loss function
- 실제값과 예측값의 차이를 수치화해주는 함수
- 오차와 손실 함수의 값은 비례
- 회귀에서는 평균 제곱 오차, 분류 문제에서는 크로스 엔트로피를 주로 손실 함수로 사용
- 손실 함수의 값을 최소화하는 가중치 w, 편향 b를 찾는 것이 딥 러닝의 학습 과정
- MSE(Mean Squred Error): 평균 제곱 오차, 선형 회귀 학습 시 사용
- 이진 크로스 엔트로피(Binary Cross-Entropy), ...
- 손실 함수의 값을 줄여나가면서 학습하는 방법은 어떤 옵티마이저를 사용하느냐에 따라 달라짐
- 배치(Batch): 가중치 등 매개변수의 값을 조정하기 위해 사용하는 데이터의 양
- 전체 데이터에 대한 한 번의 훈련 횟수(한 번의 순전파와 역전파가 끝난 상태)를 1 epoch라고 함
6. 역전파(Back Propagation)
- 출력층에서 입력층 방향으로 계산하면서 가중치 업데이트
