Bert
-
[Day88~90] 해커톤 (혼돈과 UI Prototype)AIFFEL Life 2020. 12. 27. 12:53
이번주에는 해커톤으로 할당된 시간이 2일반이네요. 본격적으로 해커톤에 집중해야 할 시간이 되었습니다. 딥섬팀은 최초 트랜스포머를 이용한 모델을 완성한 이후 혼돈의 시기를 보내고 있었습니다. 한글에 최적화된 버트를 사용해 보려고 ETRI의 KoBERT 사용신청서도 제출해서 사용권한도 받았는데, 계획대로 진행되지 않는 시간이 찾아왔습니다. 왜냐면 BERT를 이용한 방법이 잘 되지 않는데다가, BERT를 학습시켜서 새로운 모델을 만든다는 것 자체가 엄청난 컴퓨팅 파워와 시간을 필요로 한다는 것을 알았기 때문입니다. 그만한 투자를 할 수 있는 시간과 예산이 없어서 여러 고민을 하기도 했습니다. 한편으로 프로젝트 관리측면으로는 우리가 만들기로 약속한 웹 어플리케이션의 UI Prototype을 만들어서 공유하는 시..
-
[Day83] Bert pre-trained model 제작AIFFEL Life 2020. 12. 26. 21:44
오늘은 BERT 사전학습 모델을 제작하는 것에 대한 내용을 배웠습니다. 아래 내용을 공유합니다. 0. mini BERT 만들기 (노트북) github.com/nevermet/AIFFEL/blob/master/G16_MiniBERT.ipynb nevermet/AIFFEL AIFFEL Projects. Contribute to nevermet/AIFFEL development by creating an account on GitHub. github.com 1. SentencePiece github.com/google/sentencepiece google/sentencepiece Unsupervised text tokenizer for Neural Network-based text generation. - g..
-
[Day83] 슬로우 페이퍼 BERT: Pre-training of Deep Bidirectional Transformers forLanguage UnderstandingAIFFEL Life 2020. 12. 26. 21:39
오늘은 슬로우페이퍼로 아침을 시작했습니다. 영.배.스.가 여러 사람들의 피드백이 별로라서 없애고 그 시간에 대신 논문을 하나 더 보자고 한거죠. 오늘 본 논문은 유명한 BERT (arxiv.org/pdf/1810.04805.pdf)네요. 읽으면서 메모한 것을 아래에 공유합니다. We introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language representation models (Peters et al., 2018a; Radford et al., 2018), BERT is designe..