계산은 컴퓨터가 당연히 기계적으로 더 잘할꺼라고 여겨지지만 그래도 요새 한참 미분 공부하는 김에 구멍난 개념들을 정리하고 싶었다. 앞으로 시간 날 때마다 loss 함수 미분, activation 함수 미분, 각 딥러닝 모델 미분 및 오차역전파 과정을 알아보고 싶다. 나중에 논문 읽을 때 분명히 더 잘 이해가 가는 지점이 있을 것이다. + optimization 방법 다시 정리해야한다. 옛날에 정리했던 것에 잘못 생각하는 부분도 있었고 또 다 까먹어버렸다 ..ㅎㅎ
chain rule, 오차 역전파 원리
활성화 함수 미분 - sigmoid, softmax
loss function 미분 - cross entropy loss
