Gradient descent method1 [딥러닝] 경사하강법 딥러닝에서의 학습은 순전파와 역전파를 통해 connection weight을 업데이트하는 과정으로 나타난다. 이 과정에서 connection weight을 어떻게 하면 '잘' 업데이트 할 수 있을 것인가에 대한 다양한 기법이 제안되었다. 그 중 가장 기본이 되는 원시적인 학습 기법이 경사하강법$(Gradient\,Decent\,Method)$이다. 경사하강법이란, Error함수$(loss\,funtion)$을 구성하는 weight들이 이루는 공간에서, loss function을 최소화하는 w 값을 찾기 위해 한번의 epoch에 각 weight를 얼마나 업데이트할 것인가를 해당 시점의 기울기를 통해 찾는 알고리즘이다. 예를 들어 아래와 같은 공간이 NN의 loss function이라고 해보자.첫 지점으로 .. 2025. 4. 9. 이전 1 다음
