버트
-
[Day83] Bert pre-trained model 제작AIFFEL Life 2020. 12. 26. 21:44
오늘은 BERT 사전학습 모델을 제작하는 것에 대한 내용을 배웠습니다. 아래 내용을 공유합니다. 0. mini BERT 만들기 (노트북) github.com/nevermet/AIFFEL/blob/master/G16_MiniBERT.ipynb nevermet/AIFFEL AIFFEL Projects. Contribute to nevermet/AIFFEL development by creating an account on GitHub. github.com 1. SentencePiece github.com/google/sentencepiece google/sentencepiece Unsupervised text tokenizer for Neural Network-based text generation. - g..
-
[Day83] 슬로우 페이퍼 BERT: Pre-training of Deep Bidirectional Transformers forLanguage UnderstandingAIFFEL Life 2020. 12. 26. 21:39
오늘은 슬로우페이퍼로 아침을 시작했습니다. 영.배.스.가 여러 사람들의 피드백이 별로라서 없애고 그 시간에 대신 논문을 하나 더 보자고 한거죠. 오늘 본 논문은 유명한 BERT (arxiv.org/pdf/1810.04805.pdf)네요. 읽으면서 메모한 것을 아래에 공유합니다. We introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language representation models (Peters et al., 2018a; Radford et al., 2018), BERT is designe..