Image Classification
-
[cs231n] 9강 CNN 아키텍처 (architecture) (1/4, 알레스넷 (AlexNet))AI 2021. 3. 31. 17:54
9강에 오신 것을 환영합니다. 오늘 우리는 CNN 아키텍처에 대해 얘기할 겁니다. 지난 시간 리뷰를 빠르게 해보죠. 지난시간에 우리는 여러 종류의 딥러닝 프레임워크에 대해서 얘기했죠. 파이토치, 텐서플로우, 카페2에 대해서 얘기했습니다. 그리고 우리는 이런 종류의 프레임워크를 사용해서 커다란 계산 그래프 (computational graph)를 만들 수 있다는 것을 봤죠. 예를 들면, 매우 큰 신경망과 콘브넷 (convnet)이죠. 그 결과 이 그래프들에서 매우 쉽게 경사를 계산할 수 있었습니다. 또 모든 중간 변수, 가중치, 입력에 대해 경사를 계산할 수 있었고 그걸 사용해서 모델을 훈련시키고 이 모두를 GPU에서 효율적으로 실행할 수 있었습니다. 그리고 이 많은 프레임워크 (framework)들에 대..
-
[cs231n] 7강 신경망 훈련하기 (4/4, 정규화와 전이 학습 (regularization & transfer learning))AI 2021. 3. 23. 18:42
우리가 보기에 드랍아웃은 구체적인 예시 (instantiation)죠. 정규화에 대한 더 일반적인 전략이 있는데요. 훈련 동안 우리는 일종의 임의성을 망에 추가해서 훈련 데이타에 너무 잘 맞아 들어가지 않게 하는 거죠. 약간 망쳐서 훈련데이타에 완벽히 맞아 들어가지 못하게 하는 거죠. 테스트시에는 바라건데 우리의 일반화를 개선하기 위해서 저 임의성을 모두 평균내 버리는 거죠. 드랍아웃이 아마도 이런 종류의 가장 흔한 전략이지만, 사실 배치 정규화도 이 아이디어에 잘 맞습니다. 배치 정규화에서 훈련중에, 하나의 데이타 점이 여러 미니 배치에서 여러 다른 데이타 점들과 함께 나타날 수 있습니다. 단일 데이타 점에 대해 얼마나 정확하게 그 점이 훈련중에 정규화될 것인지 확률성이 있습니다.그러나 테스트시에는 우..
-
[cs231n] 7강 신경망 훈련하기 (2/4, 더 멋진 최적화 (fancier optimization))AI 2021. 3. 23. 14:35
모멘텀을 약간 변형한 것이 있는데, 가끔 볼 수 있는 것이고, 네스테로프 (Nesterov) 가속 경사라고 불립니다. 때로는 네스테로프 모멘텀이라고 불리죠. 이건 순서를 조금 바꿉니다. 일반적인 SGD 모멘텀에서는, 현재 위치에서 경사를 추정하고 우리의 속도와 경사를 혼합할 것을 취합니다. 네스테로프 가속 경사에서는 약간 다른 것을 합니다. 여기서 여러분은 빨간 점에서 출발하고 속도가 여러분을 데려가는 방향으로 움직입니다. 그지점에서 경사를 평가하고 원점으로 돌아가서 그 둘을 섞습니다. 이건 좀 재밌는 해석이긴 하지만 여러분은 정보를 약간 더 섞는다고 생각할 수 있습니다. 만약 어러분의 속도의 방향이 약간 잘못되었다면, 그건 목표 지형의 약간 더 큰 부분으로부터 경사 정보를 통합시킬 수 있도록 해주는 거..
-
[cs231n] 7강 신경망 훈련하기 (1/4, 더 멋진 최적화 (fancier optimization))AI 2021. 3. 23. 12:43
지난시간에 했던 것들을 다시 보죠. 지난 시간에 우리는 신경망을 훈련시키는데 핵심적인 세부사항과 관련된 팁 (tip)과 트릭 (trick)에 대해서 얘기했습니다. 오늘은 지난 시간에 배운 것들을 다시 보고 이것들을 학습시키는 것에 대해서, 이런 종류의 핵심적인 세부사항에 대해 더 많이 얘기하겠습니다. 빨리 다시 요약해 보죠. 지난시간 활성 함수에 대해서 얘기했죠. 여러 활성 함수들의 동물원 (zoo)을 보고 그들의 여러 특징에 얘기했죠. 우리는 시그모이드에 대해 봤는데 10년 전에 신경망을 학습할 때는 꽤 자주 썼지만, 활성 함수의 양 끝에서 경사가 사라지는 문제가 있죠. 탠에이치 (tanh)도 이런 종류의 문제가 있죠. 일반적으로 추천하는 것은 대부분의 경우에서는 기본값으로 렐루 (ReLU)를 그냥 쓰..
-
[cs231n] 6강 신경망 훈련하기 (4/4, 하이퍼파라미터 최적화 (hyperparameter optimization))AI 2021. 3. 11. 12:02
어떻게 이 하이퍼파라미터들을 선택할 수 있을까요? 하이퍼파라미터 최적화를 하고 모든 파라미터의 최선값을 고르는 거죠? 우리가 사용할 전략은 어떤 하이퍼파라미터에 대해서든지, 예를 들면 학습률이죠. 교차 검증 (cross-validation)을 하는 겁니다. 교차 검증은 훈련 셋에 대해서 훈련을 하고, 검증 셋에 대해서 평가를 하는거죠. 이 하이퍼파라미터가 얼마나 잘 하는지에 대해서요. 전형적으로 우리는 이것을 여러 단계로 하고 싶습니다. 그래서 우리는 굵은 (coarse) 단계 (stage)를 먼저해서 떨어져서 분포해 있는 값들을 고를 수 있습니다. 그리고 몇 에포크 (epoch)만 학습합니다. 그리고 단지 몇 에포크만으로도 여러분은 어떤 하이퍼파라미터들의 어떤 값들이 좋은지 꽤 잘 알게 됩니다. NaN..
-
[cs231n] 6강 신경망 훈련하기 (3/4, 배치 정규화와 학습 과정 베이비시팅 (batch normalization & learning process babysitting))AI 2021. 3. 11. 10:48
이제 이것과 연관된 아이디어에 대해서 얘기해 보죠. 이 아이디어는 활성을 우리가 원하는 가우시안 범위로 유지하고 싶다는 겁니다. 우리가 배치 정규화라고 부르는 것 뒤에 있는 이 아이디어는, 오케이, 우리는 단위 가우시안 활성을 원한다는 것입니다. 그러게 되도록 만들어보죠. 어떻게 그럴 수 있죠? 어떤 계층의 활성 배치를 생각해 보죠. 이제 모든 활성이 나오죠. 만약 우리가 이걸 단위 가우시안으로 만들고 싶으면, 사실 경험적으로 이것을 할 수 있습니다. 우리는 현재 배치의 평균과 분산을 취해서 이것으로 정규화할 수 있습니다. 가중치 초기화 대신, 우리는 이것을 훈련시작할 때 설정할 수 있죠. 그걸 좋은 위치에 놓기 위해서요. 그럼 우리는 단위 가우시안을 계층마다 가질 수 있죠. 바라건데, 훈련중에도 이것이..
-
[cs231n] 6강 신경망 훈련하기 (2/4, 데이타 전처리와 가중치 초기화 (data preprocessing & weight initialization))AI 2021. 3. 10. 19:47
데이타 전처리에 대해서 얘기를 좀 해보죠. 활성함수를 디자인하는 것은 우리 망의 일부죠. 이제 우리는 망을 훈련시키고 싶고 입력 데이타를 가지고 거기서 부터 훈련을 시작하고 싶습니다. 일반적으로 우리는 항상 데이타를 전처리합니다. 머신러닝 수업을 들었다면 봤을 법한 건데요. 전처리의 표준적인 형태는 원래 데이타를 취해서 0으로 평균을 맞추고 아마도 정규화를 하는 거겠죠. 표준편차로 정규화하는 거죠. 왜 우린 이렇게 하고 싶을까요? 0으로 중심을 맞추는 건, 앞서서 모든 입력이 양수인 경우를 얘기했을 때를 기억해 보면, 우리의 가중치 경사가 모두 양수가 되고 우리는 최선이 아닌 차선의 최적화를 얻게 됩니다. 그리고 일반적으로 그게 모두 0이 아니거나 모두 음인 경우에도 어떤 종류의 바이어스 (bias)가 ..
-
[cs231n] 4강 역전파와 신경망 (4/4, 신경망, neural network)AI 2021. 2. 5. 19:46
마침내 신경망에 대해 얘기할겁니다. 사람들은 신경망과 뇌 사이의 비유나 그리고 여러 종류의 생물학적 영감을 이끌어 냈습니다. 그걸 잠깐 보겠지만, 그러나 먼저 그걸 그냥 함수로 보죠. 뇌와 관련된 것은 빼구요. 지금까지 우리는 이런 선형 함수로 많이 작업 했습니다. f는 W 곱하기 x죠. 우리는 이것을 우리가 최적화하고자 하는 함수의 예로 사용했구요. 여러분의 변형 (transformation)에서 이 하나를 사용하는 대신, 신경망을 사용하고 싶다면, 간단한 형태로, 우린 이 두 개를 쌓을 수 있죠. 다른 하나 위에 선형 변형을 얹어서 2개의 계층 (layer)으로 된 신경망을 얻는 거죠. 그래서 이건 우선 W1과 x를 행렬 곱셈하는 거고, 그럼 우리는 중간값을 얻고 0과 W의 최대값 (max of 0 ..