0802 딥러닝 기초

 - 퍼셉트론

 - 신경망

손실함수

MSE => mean square error 최소제곱오차

 

==> 머신러닝의 최종적인 목적은 높은 정확도를 끌어내는 매개변수를 찾는것!

 

경사하강법

기울기를 이용하여 손실 함수의 최솟값을 찾으려는 것이바로 경사하강법!  -> 신경망 학습에 많이 사용됨

n -> 학습률인데 작아질 수록 경사를 따라 내려가는게 느려지고 너무 많으면 너무 커짐! (오버슈팅)

 

다층 신경망 구현

identity_function - 항등함수 

이진분류-시그모이드함수

다중분류-소프트맥스

 

MNIST 데이터 처리하기

배치 - 입력데이터를 하나로 묶은 것. 여러개의 데이터를 하나로 묶어서 처리 (Batch)

 

오차 역전 파법

- 신경망 학습에서 신경망의 가중치에 대한 손실 함수의 기울기를 구하기 위해 미분을 사용

 -> 단순하고 구현하기 쉽지만, 시간이 오래걸림

왼쪽에서 오른쪽으로 가는것을 정방향,순방향이라고 하는데 오른쪽에서 왼쪽으로 가면서 오차를 따지면서(어떤 영향을 미치는지)업데이트를 해주는 것을 오차 역전 파법이라고 함. - 다층으로 갈수록 오차를 계산하는것이 어려움

 

단일 퍼셉트론 출력에는 하나의 가중치 값이 출력에 100% 영향을 끼침

뉴런이 많아지고 층이 깊어지면 각 뉴런이 모두 각각의 가중치를 가지고 있기 때문에, 출력에 대한 각각 가중치의 영향력을 알아야만 각 가중치의 다음 값이 결정이됨. (각각의 웨이팅값들이 너무 많은 영향을 끼치고 있음)

하지만 오차값을 가지고 역으로 영향력을 분석해내는 것이 훨씬 쉬움 그래서 오차 역전 파법을 사용 -> 연쇄법칙

 

계산 그래프

  -> 안의 노드의 내용에는 연산만 적음

 계산이 왼쪽에서 오른쪽으로 진행됨 (순전파) -> forward propagation

 * 각 노드에서는 단순한 계산에 집중하여 문제를 풀 수 있다 - 장점

 

그렇다면, 사과가격이 1원 올랐을 때 최종금액에 미치는 영향 ? -> 이 작은 차이점이 미분

 

" 연쇄법칙 "

 - 역전파는 국소적인 미분을 오른쪽 -> 왼쪽으로 전달

 

활성화 함수 계층 구현하기 (잘모르겠음 ㅠ)

 

신경망/SOFTMAX 계층 구현하기 -> 차원보기

- epock

- batch size