Gradient Descent
-
[cs231n] 3강 손실 함수와 최적화 (4/4, 경사하강 / Gradient Descent)AI 2021. 1. 12. 15:40
일단 우리가 경사를 어떻게 계산하는지 알게 되면, 우리는 수퍼 간단한 알고리즘에 도달하게 됩니다. 3줄 정도죠. 그러나 우리가 어떻게 이 최고로 큰 가장 복잡한 딥러닝 알고리즘을 훈련시키는지에 대한 심장에 해당하죠. 그게 경사 하강 (gradient descent)입니다. 경사 하강은 먼저 우리의 W를 임의 (random)로 초기화하고, 참 (true)일 동안 우리의 손실과 경사를 계산합니다. 그리고 우리의 가중치를 경사방향의 반대로 업데이트하죠. 왜냐면 경사는 함수의 가장 크게 증가하는 방향을 가리키니까요. 그러므로 음의 (minus) 경사는 가장 크게 감소하는 방향을 가리키죠. 그래서 우리가 마이너스 경사의 방향으로 작은 걸음을 취할 겁니다. 그리고 이걸 영원히 반복하면, 결국 여러분의 망은 수렴할 ..
-
[Day32] CNN, Gradient Descent, LSTMAIFFEL Life 2020. 12. 15. 15:38
수요일 오전은 플립스쿨로 CS231n을 공부하는 날입니다. 오늘은 공부하다가 찾은 유용한 자료들로 먼저 시작해 보겠습니다. 1. PR-012: Faster R-CNN : Towards Real-Time Object Detection with Region Proposal Networks www.youtube.com/watch?v=kcPAGIgBGRs&feature=youtu.be 2. PR-057: Mask R-CNN www.youtube.com/watch?v=RtSZALC9DlU&feature=youtu.be 3. PR-016: You only look once: Unified, real-time object detection www.youtube.com/watch?v=eTDcoeqj1_w&feature..