0802 딥러닝 이론 2

1. 기울기 소실 문제와 활성함수

2. 속도와 정확도 문제를 해결하는 고급 경사 하강법

 - 확률적 경사 하강법

배치를 쓸때 ~개의 대한 평균을 구함 -> 에러에 대해 웨이팅개수를 하나하나 하니까 시간이 굉장히 많이걸림 

but 확률적 경사 하강법(SGD)는 전체데이터가 아니라, 랜덤하게 추출한 일부 데이터 사용

 

 - 모맨텀

내가 방향을 틀기전에 앞 수정값의 방향(+, -)을 참고하여 같은 방향으로 일정한 비율만 수정되게 하는 방법.

한방향으로만 몰아서 가게 하지 않도록!

 

 - 아다그라드

변수의 업데이트 횟수에 따라 학습률을 조절하는 옵션이 추가된 최적화 방법

( 만일 학습 도중 어떤 변수가 자주 업데이트 되었다면 이 변수는 최적화에 더욱 가까웠다는 걸 알수있음

 

 - 알엠에스프롭

아다그라드 G의 값이 무한히 커지는 것을 방지하고자 제안된 방법