Recurrent Neural Network
-
[cs231n] 10강 순환 신경망 (Recurrent Neural Network) (2/4, 계산 그래프 (computational graph))AI 2021. 4. 13. 11:50
구체적인 예로, 우리가 순환 신경망을 자주 사용하는 대상은 언어 모델링 (language modeling)이라고 부르는 문제입니다. 언어 모델링 문제에서는, 어떤 순열을 읽는 건데, 망이 어떻게 자연어 (natural language)를 만들어 내는 지를 이해하는 거죠. 그래서 이건 문자 단위로 (character level) 벌어지는 일이라서, 우리의 모델은 한번에 하나씩 문자를 만들어 냅니다. 이건 또 단어 수준으로 (word level) 할 수 있죠. 모델이 한번에 하나씩 단어를 만들어 내는 겁니다. 그러나, 매우 간단한 예에서, 여러분은 이 문자 단위 언어 모델을 상상해 볼 수있고, 거기서는 망이 어떤 순서의 문자들을 읽고 텍스트의 흐름에서 다음 문자가 어떤 것이 될 지를 예측할 필요가 있는거죠...
-
[cs231n] 10강 순환 신경망 (Recurrent Neural Network) (1/4, 계산 그래프 (computational graph))AI 2021. 4. 12. 19:10
기억을 되살려보면, 지난시간에 우리는 CNN 아키텍처에 대해 이야기 했죠. 우리는 이미지넷 (ImageNet) 분류 대회의 여러 우승자들 중 몇개를 시간 순서로 봤습니다. 돌파구가 발견된 결과였던 것 같죠. 봤듯이 2012년에는 알렉스넷 (AlexNet) 아키텍처였죠, 9개 계층의 합성곱 신경망이었습니다. 그건 놀랍게 잘 했고, 그것이 컴퓨터 비전에 있어서 이 전체 딥러닝 혁명을 시작한 거죠. 그리고 이 많은 모델들을 주류 (mainstream)로 끌어올렸죠. 그리고 나서 우리는 2년 정도 건너 뛰어서 2014년 이미지넷 대회에서 2개의 매우 재미있는 모델인 VGG와 구글넷 (GoogLeNet)을 봤습니다. 그것들은 훨씬 더 깊었죠. VGG는 16과 19 계층 모델이 있었고 구글넷은 22 계층 모델이었던..