모멘텀1 [딥러닝] 경사하강법의 응용 🔹 Momentum설명:Momentum은 말 그대로 "관성" 개념을 딥러닝에 적용한 기법입니다. 단순한 경사하강법은 현재 기울기만 보고 움직이지만, Momentum은 이전 방향의 움직임을 기억하여 관성을 유지하려고 합니다.이는 경사가 급한 방향으로는 빠르게, 흔들림이 많은 방향은 완화시켜줍니다.즉, 마치 공이 언덕 아래 굴러가듯 더 빠르게 최적점을 향해 이동하게 합니다. 🔹 Adagrad설명:Adagrad는 각 파라미터마다 학습률을 다르게 조정하는 방법입니다.많이 변화하는 가중치는 점점 학습률을 줄이고, 적게 변화하는 가중치는 학습률을 크게 유지합니다.덕분에 희귀한 특징(feature)을 잘 학습할 수 있지만, 학습률이 너무 작아져서 학습이 일찍 멈출 수 있습니다. 🔹 RMSprop설명:RMSpro.. 2025. 5. 8. 이전 1 다음
