경사하강법2 [딥러닝] 경사하강법의 응용 🔹 Momentum설명:Momentum은 말 그대로 "관성" 개념을 딥러닝에 적용한 기법입니다. 단순한 경사하강법은 현재 기울기만 보고 움직이지만, Momentum은 이전 방향의 움직임을 기억하여 관성을 유지하려고 합니다.이는 경사가 급한 방향으로는 빠르게, 흔들림이 많은 방향은 완화시켜줍니다.즉, 마치 공이 언덕 아래 굴러가듯 더 빠르게 최적점을 향해 이동하게 합니다. 🔹 Adagrad설명:Adagrad는 각 파라미터마다 학습률을 다르게 조정하는 방법입니다.많이 변화하는 가중치는 점점 학습률을 줄이고, 적게 변화하는 가중치는 학습률을 크게 유지합니다.덕분에 희귀한 특징(feature)을 잘 학습할 수 있지만, 학습률이 너무 작아져서 학습이 일찍 멈출 수 있습니다. 🔹 RMSprop설명:RMSpro.. 2025. 5. 8. [딥러닝] 경사하강법 딥러닝에서의 학습은 순전파와 역전파를 통해 connection weight을 업데이트하는 과정으로 나타난다. 이 과정에서 connection weight을 어떻게 하면 '잘' 업데이트 할 수 있을 것인가에 대한 다양한 기법이 제안되었다. 그 중 가장 기본이 되는 원시적인 학습 기법이 경사하강법$(Gradient\,Decent\,Method)$이다. 경사하강법이란, Error함수$(loss\,funtion)$을 구성하는 weight들이 이루는 공간에서, loss function을 최소화하는 w 값을 찾기 위해 한번의 epoch에 각 weight를 얼마나 업데이트할 것인가를 해당 시점의 기울기를 통해 찾는 알고리즘이다. 예를 들어 아래와 같은 공간이 NN의 loss function이라고 해보자.첫 지점으로 .. 2025. 4. 9. 이전 1 다음
