-
[Day61] Seq2Seq과 AttentionAIFFEL Life 2020. 12. 25. 18:20
오늘은 자연어 심화과정 (일명 Going Deeper) 중 이론을 공부하는 시간이었는데요. 심화과정은 이론 7시간 + 실습 7시간으로 구성되어 있습니다. 그중 Seq2Seq과 Attention에 대해서 배웠습니다. Transformer를 이해하기 위한 이론적인 내용이라고 할 수 있겠죠? 아래에 참고할 만한 내용들을 공유합니다.
1. 언어모델(Language Model)
ratsgo.github.io/from%20frequency%20to%20semantics/2017/09/16/LM/
언어모델(Language Model) · ratsgo's blog
이번 글에서는 유니그램 모델(unigram model)을 중심으로 통계적 언어모델(Statistical Language Model, 언어모델)에 대해 살펴보도록 하겠습니다. 이 글은 고려대 정순영 교수님 강의를 정리했음을 먼저 밝
ratsgo.github.io
2. 딥러닝이 자연어 처리(NLP)에 가장 효과적인 이유
www.youtube.com/watch?v=gUMvBRI-WGo&feature=youtu.be
3. LSTM 이해하기
dgkim5360.tistory.com/entry/understanding-long-short-term-memory-lstm-kr
Long Short-Term Memory (LSTM) 이해하기
이 글은 Christopher Olah가 2015년 8월에 쓴 글을 우리 말로 번역한 것이다. Recurrent neural network의 개념을 쉽게 설명했고, 그 중 획기적인 모델인 LSTM을 이론적으로 이해할 수 있도록 좋은 그림과 함께
dgkim5360.tistory.com
4. Sequence to Sequence Learning with Neural Networks (paper)
papers.nips.cc/paper/2014/file/a14ac55a4f27472c5d894ec1c3c743d2-Paper.pdf
5. Seq2seq (2): Sequence to Sequence Learning with Neural Networks
Seq2seq (2): Sequence to Sequence Learning with Neural Networks
An Ed edition
reniew.github.io
6. 시퀀스-투-시퀀스(Sequence-to-Sequence, seq2seq)
위키독스
온라인 책을 제작 공유하는 플랫폼 서비스
wikidocs.net
7. Long Short-Term Memory layer
www.tensorflow.org/api_docs/python/tf/keras/layers/LSTM
tf.keras.layers.LSTM | TensorFlow Core v2.4.0
Long Short-Term Memory layer - Hochreiter 1997.
www.tensorflow.org
8. NEURAL MACHINE TRANSLATION (paper)
9. Attention mechanism in NLP. From seq2seq + attention to BERT
lovit.github.io/machine%20learning/2019/03/17/attention_in_nlp/
Attention mechanism in NLP. From seq2seq + attention to BERT
Word2Vec 을 제안한 Mikolov 는 “딥러닝을 이용한 자연어처리의 발전은 단어 임베딩 (word embedding) 때문이다”라는 말을 했습니다. 단어 간의 유사성을 표현할 수 있고, 단어를 연속적인 벡터 공간 (co
lovit.github.io
10. Attn: Illustrated Attention
Attn: Illustrated Attention
원문 아티클 : Attn: Illustrated Attention Attn: Illustrated Attention GIFs를 활용한 기계번역(ex. 구글번역기)에서의 Attention 신경망을 활용한 기계 번역모델(NMT)이 나오기 전 수십 년 동안, 통계기반 기..
eda-ai-lab.tistory.com
11. Luong Attention 개념 정리
hcnoh.github.io/2019-01-01-luong-attention
[Attention] Luong Attention 개념 정리
지난번에 Bahdanau Attention에 대한 포스팅을 작성하였으며 그 후속으로 이번에는 Luong Attention에 대한 내용을 정리하게 되었다. Bahdanau Attention에 대한 포스팅은 다음의 링크를 통해서 확인할 수 있다
hcnoh.github.io
12. Effective Approaches to Attention-based Neural Machine Translation
13. Google's Neural Machine Translation System
softwareeng.tistory.com/manage/newpost/?type=post&returnURL=%2Fmanage%2Fposts%2F
TISTORY
나를 표현하는 블로그를 만들어보세요.
www.tistory.com
'AIFFEL Life' 카테고리의 다른 글
[Day63] 다음에 볼 영화 예측하기 (0) 2020.12.25 [Day62] 폐렴 찾아내기 (0) 2020.12.25 [Day60] 두번째 해커톤 모임 (0) 2020.12.25 [Day59] 임베딩내 편향성 알아보자 (0) 2020.12.25 [Day58] 트랜스포머로 챗봇 만들기 (0) 2020.12.25