[딥러닝] 활성화함수$(2)$

활성화함수$(1)$에서는 분류문제 해결을 위한 NN에서 기본적으로 사용되는 활성화함수 중 시그모이드 함수의 필요성과 단점에 대해서 알아보았다.

 

계속해서 시그모이드 함수의 단점을 해결하기 위해 제안된 다양한 활성화함수에 대해서 알아보자.

 

[다양한 활성화함수]

1) ReLu

     시그모이드 함수의 기울기 소실 문제를 야기하는 가장 큰 원인은 gradient의 미분계수가 추가됨에 따라 곱의 꼴이 늘어나는 것이었다. 그런데 이 문제에 집중하여 곱의 꼴을 잘 살펴보았더니, combination term 중 절반 이상이 시그모이드의 미분값 $(y)$$(1-y)$로 인해 발생하는 term인 것이 확인되었다.

     이런 배경 하에 시그모이드와 비슷한 성질을 가지면서 미분 시 곱의 꼴이 나오지 않는 아래와 같은 ReLu함수가 제안되었다.