728x90 Gradient Vanishing1 [딥러닝] 활성화함수$(1)$ 활성화 함수 : hidden layer의 출력값에 비선형성을 부여하기 위해서 태우는 비선형함수Ex. sigmoid, softmax, Relu, ... 비선형 활성화함수가 왜 필요한가?1. 쓰지 않는 경우 또는 선형 활성화함수를 쓰는 경우 XOR문제 해결 불가--> 여러 복잡한 문제 해결을 위해 비선형 활성화함수를 쓰게 됨 [시그모이드$(sigmoid)$함수]1. 시그모이드 : 은닉층의 결과값을 0~1 사이값으로 압축시켜 기준점 이상과 미만의 값으로 분류 문제를 해결 2차원 좌표평면 상 아래와 같이 생겼고, 미분 시 $(y)$$(1-y)$ 꼴이 도출됨. 2. 시그모이드의 문제점 1) 기울기 소실 $(gradient\,vanishing)$ : 합성함수의 미분을 통해 connection.. 2025. 4. 5. 이전 1 다음 728x90