XLNET
-
[Day86] 슬로우페이퍼 XLNet: Generalized Autoregressive Pretraining for Language UnderstandingAIFFEL Life 2020. 12. 27. 12:16
월요일 아침은 슬로우 페이퍼로 시작합니다. 오늘은 XLNet에 관한 논문(arxiv.org/pdf/1906.08237.pdf)이네요. 아래에 논문을 번역해 가면서 읽으면서 적은 메모 공유합니다~ Abstract With the capability of modeling bidirectional contexts, denoising autoencoding based pretraining like BERT achieves better performance than pretraining approaches based on autoregressive language modeling. However, relying on corrupting the input with masks, BERT neglects depende..
-
[Day81] 최신 NLP 흐름AIFFEL Life 2020. 12. 26. 21:17
오늘은 최신 NLP 흐름에 대해 알아보는 내용이었습니다. Transformer 이후 어떤 새로운 모델들이 등장했으며, 어떤 방향으로 자연어처리가 발전해 나가는지 공부해 볼 수 있는 시간이었습니다. 1. Deep contextualized word representations arxiv.org/abs/1802.05365 Deep contextualized word representations We introduce a new type of deep contextualized word representation that models both (1) complex characteristics of word use (e.g., syntax and semantics), and (2) how these uses v..