[Day66] Transformer 배경 이해하기
오늘은 자연어처리 심화과정의 이론부분을 학습하는 날입니다. 트랜스포머에 대해서 배웠는데요. 트랜스포머를 이해하는데 도움이 되는 글들을 공유합니다.
1. Attn: Illustrated Attention
Attn: Illustrated Attention
원문 아티클 : Attn: Illustrated Attention Attn: Illustrated Attention GIFs를 활용한 기계번역(ex. 구글번역기)에서의 Attention 신경망을 활용한 기계 번역모델(NMT)이 나오기 전 수십 년 동안, 통계기반 기..
eda-ai-lab.tistory.com
2. [Attention] Luong Attention 개념 정리
hcnoh.github.io/2019-01-01-luong-attention
[Attention] Luong Attention 개념 정리
지난번에 Bahdanau Attention에 대한 포스팅을 작성하였으며 그 후속으로 이번에는 Luong Attention에 대한 내용을 정리하게 되었다. Bahdanau Attention에 대한 포스팅은 다음의 링크를 통해서 확인할 수 있다
hcnoh.github.io
3. Attention Is All You Need (paper)
4. positional encoding이란 무엇인가
positional encoding이란 무엇인가
Transformer model을 살펴보면, positional encoding이 적용된다. 다음 그림은 transformer 모델에 대한 구조도 인데, positional encoding을 찾아볼 수 있다. 출처는 https://www.tensorflow.org/tutorials/text/..
skyjwoo.tistory.com
5. Transformer: Attention is all you need
Transformer: Attention is all you need
An Ed edition
reniew.github.io
6. Attention is all you need paper 뽀개기
pozalabs.github.io/transformer/
Attention is all you need paper 뽀개기
Transformer paper review
pozalabs.github.io
7. Applying AutoML to Transformer Architectures
ai.googleblog.com/2019/06/applying-automl-to-transformer.html
Applying AutoML to Transformer Architectures
Posted by David So, Software Engineer, Google AI Since it was introduced a few years ago, Google’s Transformer architecture has been ap...
ai.googleblog.com
8. Introduction to Deep Learning Normalization
subinium.github.io/introduction-to-normalization/
Introduction to Deep Learning Normalization
수 많은 정규화들을 한번 가볍게 읽어봅시다.
subinium.github.io
9. ResNet
(7) ResNet (Residual Connection)
ResNet (2015)¶ ResNet은 2015년도 ILSVRC 에서 우승을 차지한 모델입니다. 총 152개의 레이어를 가진 Ultra-deep한 네트워크입니다. Difficulty of Training Deep CNN¶ 2014년도에 CNN의 Depth와 Structure을..
itrepo.tistory.com
10. Transformer - Harder, Better, Faster, Stronger
blog.pingpong.us/transformer-review/
Transformer - Harder, Better, Faster, Stronger
Transformer 구조체와 이 구조를 향상시키기 위한 기법들을 같이 알아봅시다.
blog.pingpong.us
11. Transformer-XL 자료정리 및 설명요약
Transformer-XL 자료정리 및 설명요약
-XLNet 1. 참고 링크 1) PR-175: XLNet: Generalized Autoregressive Pretraining for Language Understanding 동영상 정리글입니다. 2. 설명 -Transformer의 한계 1) Attention N Encoder Decoder이다, Context V..
comeng.tistory.com
12. Reformer:효율적인 트랜스포머
Reformer:효율적인 트랜스포머
2020년 1월 16일 (목) 구글 AI 리서치 블로그 | 언어, 음악 또는 비디오와 같은 순차적 데이터를 이해하는 것은, 특히 광범위한 주변 환경에 의존하는 경우 어려운 작업입니다. 예를 들어, 비디오에
brunch.co.kr
13. 월간 자연어 처리 (페이스북)
Facebook에 로그인
메뉴를 열려면 alt + / 키 조합을 누르세요
www.facebook.com