데이타 전처리
-
[cs231n] 6강 신경망 훈련하기 (2/4, 데이타 전처리와 가중치 초기화 (data preprocessing & weight initialization))AI 2021. 3. 10. 19:47
데이타 전처리에 대해서 얘기를 좀 해보죠. 활성함수를 디자인하는 것은 우리 망의 일부죠. 이제 우리는 망을 훈련시키고 싶고 입력 데이타를 가지고 거기서 부터 훈련을 시작하고 싶습니다. 일반적으로 우리는 항상 데이타를 전처리합니다. 머신러닝 수업을 들었다면 봤을 법한 건데요. 전처리의 표준적인 형태는 원래 데이타를 취해서 0으로 평균을 맞추고 아마도 정규화를 하는 거겠죠. 표준편차로 정규화하는 거죠. 왜 우린 이렇게 하고 싶을까요? 0으로 중심을 맞추는 건, 앞서서 모든 입력이 양수인 경우를 얘기했을 때를 기억해 보면, 우리의 가중치 경사가 모두 양수가 되고 우리는 최선이 아닌 차선의 최적화를 얻게 됩니다. 그리고 일반적으로 그게 모두 0이 아니거나 모두 음인 경우에도 어떤 종류의 바이어스 (bias)가 ..