[Day83] Bert pre-trained model 제작

오늘은 BERT 사전학습 모델을 제작하는 것에 대한 내용을 배웠습니다. 아래 내용을 공유합니다.

0. mini BERT 만들기 (노트북)

github.com/nevermet/AIFFEL/blob/master/G16_MiniBERT.ipynb

nevermet/AIFFEL

1. SentencePiece

github.com/google/sentencepiece

google/sentencepiece