순환 신경망
-
[cs231n] 10강 순환 신경망 (Recurrent Neural Network) (4/4, LSTM)AI 2021. 4. 13. 17:48
지금까지 우리는 이 단일 순환 망 계층에 대해서 얘기했는데, 하나의 숨겨진 상태 (hidden state)만 있는 거죠. 앞으로 꽤 자주 보게 될 또하나는 이 다층 순환망 (multi-layer recurrent network) 아이디어입니다. 여기서 이건 3계층 순환 신경망인데, 입력이 들어가고 일련의 숨겨진 상태가 첫번째 신경망 계층으로부터 만들어 집니다. 그리고 이제, 하나의 순환 신경망 계층을 실행시키고 나면, 이런 숨겨진 상태의 전체 순열을 가지게 됩니다. 그리고 그 숨겨진 상태의 순열을 다른 순환 신경망 계층의 입력 순열로 사용할 수 있습니다. 그럼 두번째 RNN계층으로부터 또다른 숨겨진 상태의 순열을 만들어 내는 것을 생각해 볼 수 있죠. 그리고 이런 것들을 서로서로 쌓아올리는 것을 생각할 ..
-
[cs231n] 10강 순환 신경망 (Recurrent Neural Network) (1/4, 계산 그래프 (computational graph))AI 2021. 4. 12. 19:10
기억을 되살려보면, 지난시간에 우리는 CNN 아키텍처에 대해 이야기 했죠. 우리는 이미지넷 (ImageNet) 분류 대회의 여러 우승자들 중 몇개를 시간 순서로 봤습니다. 돌파구가 발견된 결과였던 것 같죠. 봤듯이 2012년에는 알렉스넷 (AlexNet) 아키텍처였죠, 9개 계층의 합성곱 신경망이었습니다. 그건 놀랍게 잘 했고, 그것이 컴퓨터 비전에 있어서 이 전체 딥러닝 혁명을 시작한 거죠. 그리고 이 많은 모델들을 주류 (mainstream)로 끌어올렸죠. 그리고 나서 우리는 2년 정도 건너 뛰어서 2014년 이미지넷 대회에서 2개의 매우 재미있는 모델인 VGG와 구글넷 (GoogLeNet)을 봤습니다. 그것들은 훨씬 더 깊었죠. VGG는 16과 19 계층 모델이 있었고 구글넷은 22 계층 모델이었던..