슬로우페이퍼
-
[Day86] 슬로우페이퍼 XLNet: Generalized Autoregressive Pretraining for Language UnderstandingAIFFEL Life 2020. 12. 27. 12:16
월요일 아침은 슬로우 페이퍼로 시작합니다. 오늘은 XLNet에 관한 논문(arxiv.org/pdf/1906.08237.pdf)이네요. 아래에 논문을 번역해 가면서 읽으면서 적은 메모 공유합니다~ Abstract With the capability of modeling bidirectional contexts, denoising autoencoding based pretraining like BERT achieves better performance than pretraining approaches based on autoregressive language modeling. However, relying on corrupting the input with masks, BERT neglects depende..
-
[Day83] 슬로우 페이퍼 BERT: Pre-training of Deep Bidirectional Transformers forLanguage UnderstandingAIFFEL Life 2020. 12. 26. 21:39
오늘은 슬로우페이퍼로 아침을 시작했습니다. 영.배.스.가 여러 사람들의 피드백이 별로라서 없애고 그 시간에 대신 논문을 하나 더 보자고 한거죠. 오늘 본 논문은 유명한 BERT (arxiv.org/pdf/1810.04805.pdf)네요. 읽으면서 메모한 것을 아래에 공유합니다. We introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language representation models (Peters et al., 2018a; Radford et al., 2018), BERT is designe..
-
[Day81] 슬로우 페이퍼 Improving Language Understanding by Generative Pre-TrainingAIFFEL Life 2020. 12. 26. 21:03
월요일 아침은 항상 슬로우 페이퍼로 시작합니다. 오늘은 Improving Language Understanding by Generative Pre-Training라는 제목의 논문 (www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdf)인데요. 이 논문을 읽으면서 적은 메모를 아래에 공유합니다. Improving Language Understanding by Generative Pre-Training Natural language understanding comprises a wide range of diverse tasks such as textual entailment, question answering, semantic similarity ..
-
[Day56] 슬로우 페이퍼AIFFEL Life 2020. 12. 22. 18:05
오늘 읽은 논문은 Convolutional Neural Networks for Sentence Classification (arxiv.org/abs/1408.5882)였습니다. 수업시간에 논문을 읽으며 번역하면서 적은 메모를 공유합니다. We report on a series of experiments with convolutional neural networks (CNN) trained on top of pre-trained word vectors for sentence-level classification tasks. We show that a simple CNN with little hyperparameter tuning and static vectors achieves excellent resul..
-
[Day51] 슬로우 페이퍼 (Slow Paper)AIFFEL Life 2020. 12. 21. 11:51
슬로우 페이퍼란? 아이펠의 플립 스쿨 과정의 하나로 같은 반 학생들끼리 논문을 읽고 이해한 내용을 공유하는 수업입니다. 딥러닝의 경우 발전속도가 빠르고 최신 연구 결과는 논문으로 가장 먼저 정리되어 나오는데, 그 논문을 읽고 이해하여 구현하면 최첨단 기술로 구현된 제품으로 시장에 진입하게 되는거죠. 그래서 논문을 읽는 분들이 그 어느 분야보다 많다고 할 수 있습니다. 그리고 논문을 읽다보면 최첨단 기술을 익힐 수 있게 될 뿐만 아니라, 본인도 연구한 결과를 이렇게 정리하면 좋겠다라는 생각도 자연스럽게 들고, 또 논문에서 소개하고 있는 관련된 연구 결과를 보면서 전반적인 딥러닝 지식도 넓어지게 됩니다. 아무튼, 이런 장점이 있는 논문 읽기인데, 혼자서 하기란 어렵고, 또 처음 접근하면 아는 내용도 많지 않..