그래디언트2 [딥러닝] 경사하강법의 응용 🔹 Momentum설명:Momentum은 말 그대로 "관성" 개념을 딥러닝에 적용한 기법입니다. 단순한 경사하강법은 현재 기울기만 보고 움직이지만, Momentum은 이전 방향의 움직임을 기억하여 관성을 유지하려고 합니다.이는 경사가 급한 방향으로는 빠르게, 흔들림이 많은 방향은 완화시켜줍니다.즉, 마치 공이 언덕 아래 굴러가듯 더 빠르게 최적점을 향해 이동하게 합니다. 🔹 Adagrad설명:Adagrad는 각 파라미터마다 학습률을 다르게 조정하는 방법입니다.많이 변화하는 가중치는 점점 학습률을 줄이고, 적게 변화하는 가중치는 학습률을 크게 유지합니다.덕분에 희귀한 특징(feature)을 잘 학습할 수 있지만, 학습률이 너무 작아져서 학습이 일찍 멈출 수 있습니다. 🔹 RMSprop설명:RMSpro.. 2025. 5. 8. [딥러닝] 활성화함수$(1)$ 활성화 함수 : hidden layer의 출력값에 비선형성을 부여하기 위해서 태우는 비선형함수Ex. sigmoid, softmax, Relu, ... 비선형 활성화함수가 왜 필요한가?1. 쓰지 않는 경우 또는 선형 활성화함수를 쓰는 경우 XOR문제 해결 불가--> 여러 복잡한 문제 해결을 위해 비선형 활성화함수를 쓰게 됨 [시그모이드$(sigmoid)$함수]1. 시그모이드 : 은닉층의 결과값을 0~1 사이값으로 압축시켜 기준점 이상과 미만의 값으로 분류 문제를 해결 2차원 좌표평면 상 아래와 같이 생겼고, 미분 시 $(y)$$(1-y)$ 꼴이 도출됨. 2. 시그모이드의 문제점 1) 기울기 소실 $(gradient\,vanishing)$ : 합성함수의 미분을 통해 connection.. 2025. 4. 5. 이전 1 다음
