[딥러닝] 경사하강법의 응용

🔹 Momentum

설명:

Momentum은 말 그대로 "관성" 개념을 딥러닝에 적용한 기법입니다. 단순한 경사하강법은 현재 기울기만 보고 움직이지만, Momentum은 이전 방향의 움직임을 기억하여 관성을 유지하려고 합니다.
이는 경사가 급한 방향으로는 빠르게, 흔들림이 많은 방향은 완화시켜줍니다.

즉, 마치 공이 언덕 아래 굴러가듯 더 빠르게 최적점을 향해 이동하게 합니다.

 

---

🔹 Adagrad

설명:

Adagrad는 각 파라미터마다 학습률을 다르게 조정하는 방법입니다.
많이 변화하는 가중치는 점점 학습률을 줄이고, 적게 변화하는 가중치는 학습률을 크게 유지합니다.

덕분에 희귀한 특징(feature)을 잘 학습할 수 있지만, 학습률이 너무 작아져서 학습이 일찍 멈출 수 있습니다.

 

---

🔹 RMSprop

설명:

RMSprop은 Adagrad의 단점을 보완한 버전입니다.
학습률이 너무 빨리 줄어드는 문제를 해결하기 위해, 최근 기울기만을 지수적으로 평균내어 학습률을 조정합니다.

덕분에 안정적인 학습이 가능하고, 특히 RNN에서 잘 작동합니다.

 

---

🔹 Adam

설명:

Adam은 Momentum + RMSprop의 장점을 결합한 최적화 알고리즘입니다.
1차 모멘텀(기울기의 평균)과 2차 모멘텀(기울기의 제곱 평균)을 모두 고려하여 학습률을 조정합니다.

대부분의 상황에서 안정적이고 빠르게 수렴하여 널리 사용됩니다.