역전파
-
[cs231n] 4강 역전파와 신경망 (3/4, 역전파 패턴, 벡터, 모듈화, backpropagation pattern, vector, modularization)AI 2021. 2. 5. 18:43
무슨 일이 벌어지는 지 보면, 우리는 우리의 계산 그래프를 거꾸로 흐르는 이 경사를 취하고 있는데요. 여기에 눈치챌 수 있는 어떤 패턴이 있습니다. 그것으로 우리는 어떤 직관적인 해석을 할 수 있는데요. 우리는 더하기 게이트가 경사 배분기라는 걸 봤습니다. 우리가 더하기 노드를 통과하면 2개의 가지가 있고, 업스트림 경사를 받아 들여서 연결된 2개의 가지에 똑같은 값을 통과시켜서 배분하죠. 생각해 볼 게 더 있는데요. 맥스 (max) 게이트는 어떤가요? 아래쪽에 맥스 게이트가 있는데요. 입력은 z와 w고 z는 2, w는 -1이죠. 우리는 그 둘 중 최대를 취하니까 2고 그걸 우리의 계산 그래프의 나머지 부분으로 전달 시킵니다. 그래서 이것에 대한 경사를 취하면, 업스트림 경사는, 예를 들어 2가 돌아오고..
-
[cs231n] 4강 역전파와 신경망 (2/4, 역전파 심화, advanced backpropagation)AI 2021. 2. 5. 17:47
이제 다른 예를 해보죠. 이번엔 좀 더 복잡한데요, 왜 역전파가 유용한 지 볼 수 있을 겁니다. 이 경우에는 우리의 W와 x의 함수 f는 1 / ( 1 + e^-(w0x0 + w1x1 + w2)이죠. 우리의 첫번째 단계는 항상 이걸 계산 그래프로 그리는 거죠. 이 경우에는 이 그래프에서 먼저 w와 x항을 곱합니다. w0과 x0을 w1과 x1을 곱하고 그리고 w2를 다 함께 더하죠. 그다음 -1배를 하고 그다음 지수화하고 1을 더하고 이 전체 항을 1로 나눕니다. 그다음 우린 모든 값들을 채워 넣었습니다. 여기 x들과 w들에 주어진 값에 대해서 우리는 순방향 패스 (forward pass)를 할 수 있습니다. 그리고 사실상 계산의 각 단계에서 값이 무엇인지 계산할 수 있습니다. 여기 아래쪽에 앞으로 도움이..
-
[cs231n] 4강 역전파와 신경망 (1/4, 역전파, backpropagation)AI 2021. 2. 5. 15:31
오늘은 역전파와 신경망에 대해 얘기해 보겠습니다. 이제 이 강의의 핵심 내용에 접근합니다. 지금까지 우리는 어떻게 분류기를 정의하는지 얘기했죠. 가중치 W로 파라미터 된 함수 f를 사용해서요. 이 함수 f는 데이타 x를 입력으로 받아서 여러분이 분류하고 싶은 각각의 클래스에 대한 점수의 벡터를 출력합니다. 여기서부터 우리는 손실함수를 정의할 수 있는데, 예를 들면, 얘기했던 SVM (support vector machine) 손실 함수죠. 기본적으로 우리가 생성해 낸 점수에 얼마나 행복한 지 안행복한 지를 정량화합니다. 우린 그것을 사용해서 전체 손실 항을 정의합니다. 여기 L인데, 정규화항과 합쳐진 데이타 항과의 조합이죠. 정규화항은 우리의 모델이 얼마나 간단한지를 표현하는거죠. 우리는 일반화를 더 잘..
-
[Day39] 역전파를 이해하자AIFFEL Life 2020. 12. 16. 10:26
딥러닝 개념 중에 중요한 것 하나가 바로 역전파 (Backpropagation)이죠. 이해를 도와줄 만한 유용한 자료 모음들을 아래에 공유합니다. 1. What is backpropagation really doing? | Deep learning, chapter 3 www.youtube.com/watch?v=Ilg3gGewQ5U&feature=youtu.be 2. 역전파 (Backpropagation) 유도하기 2/3 www.youtube.com/watch?v=JVYXDDlZeSs&feature=youtu.be 3. A Derivation of Backpropagation in Matrix Form sudeepraja.github.io/Neural/ A Derivation of Backpropagati..