전체 글
-
[Day86] 슬로우페이퍼 XLNet: Generalized Autoregressive Pretraining for Language UnderstandingAIFFEL Life 2020. 12. 27. 12:16
월요일 아침은 슬로우 페이퍼로 시작합니다. 오늘은 XLNet에 관한 논문(arxiv.org/pdf/1906.08237.pdf)이네요. 아래에 논문을 번역해 가면서 읽으면서 적은 메모 공유합니다~ Abstract With the capability of modeling bidirectional contexts, denoising autoencoding based pretraining like BERT achieves better performance than pretraining approaches based on autoregressive language modeling. However, relying on corrupting the input with masks, BERT neglects depende..
-
[Day85] 해커톤 중간발표카테고리 없음 2020. 12. 27. 12:12
오늘은 그동안 진행했던 해커톤 중간발표가 있었습니다. 지금까지 진행해온 해커톤 과정을 모든 아이펠 참여자에게 공유하고 피드백을 듣는 시간이었습니다. 다른 팀들은 어떻게 프로젝트를 진행하고 있는 지 알 수 없었는데, 이렇게 들을 수 있으니 다양한 시도와 아이펠의 열정을 확인할 수 있어서 뜻깊은 시간이었습니다. 딥섬팀은 1) 프로젝트 배경, 2) 프로젝트 팀 구성 및 역할, 3) 프로젝트 수행 절차 및 방법, 4) 프로젝트 수행 결과, 5) Lessons Learned 순서로 발표를 진행했습니다. 발표는 코로나 확산에 따라 구글 밋을 통해 온라인으로 진행하였습니다. 발표자료 공유합니다~ github.com/DeepSum/Deepsummarize/blob/main/Presentation/%E1%84%83%E1..
-
[Day84] 해커톤 일곱번째AIFFEL Life 2020. 12. 26. 21:54
오늘은 해커톤 일곱번째 날이었습니다. 이번주부터 실습 과정이 모두 끝나면서, 해커톤에 배정된 시간이 더 늘어났습니다. 이번주 딥섬 팀은 기본적인 Transformer로 기사 본문을 입력하면 제목을 출력하는 모델을 완성했습니다. 그리고 소프트웨어 요구사항 명세서도 작성했습니다. 소프트웨어는 크게 4가지의 architectural drivers에 의해 프로젝트가 진행됩니다. 1) 기능적 요구사항, 2) Quality Attributes (비기능적 요구사항이라고도 합니다), 3) 기술적 제약사항, 4) 비즈니스 제약사항이 그것인데요. 이것들을 정리하고 팀원 모두가 그리고 프로젝트에 관련된 사람들이 읽어보면 모두가 이 프로젝트가 어떻게 진행되겠다는 것을 예상할 수 있도록 정리해서 공유하는 것이 필요하다고 할 수..
-
[Day83] Bert pre-trained model 제작AIFFEL Life 2020. 12. 26. 21:44
오늘은 BERT 사전학습 모델을 제작하는 것에 대한 내용을 배웠습니다. 아래 내용을 공유합니다. 0. mini BERT 만들기 (노트북) github.com/nevermet/AIFFEL/blob/master/G16_MiniBERT.ipynb nevermet/AIFFEL AIFFEL Projects. Contribute to nevermet/AIFFEL development by creating an account on GitHub. github.com 1. SentencePiece github.com/google/sentencepiece google/sentencepiece Unsupervised text tokenizer for Neural Network-based text generation. - g..
-
[Day83] 슬로우 페이퍼 BERT: Pre-training of Deep Bidirectional Transformers forLanguage UnderstandingAIFFEL Life 2020. 12. 26. 21:39
오늘은 슬로우페이퍼로 아침을 시작했습니다. 영.배.스.가 여러 사람들의 피드백이 별로라서 없애고 그 시간에 대신 논문을 하나 더 보자고 한거죠. 오늘 본 논문은 유명한 BERT (arxiv.org/pdf/1810.04805.pdf)네요. 읽으면서 메모한 것을 아래에 공유합니다. We introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language representation models (Peters et al., 2018a; Radford et al., 2018), BERT is designe..
-
[Day82] 음악을 만드는 인공지능AIFFEL Life 2020. 12. 26. 21:34
아이펠 교육 과정은 크게 3단계로 나눠져 있는데요. 기초이론 / 실습 / 심화과정 이렇게 구분할 수 있습니다. 이중 기초 이론 40개 단원은 주당 4개씩 진행되어 마쳤고, 실습 과정은 30개 중 마지막으로 음악을 생성하는 딥러닝 모델을 실습했습니다. 주피터 노트북과 실습할 때 참고했던 문서들을 아래에 공유합니다. :) 0. Music Transformer (notebook) github.com/nevermet/AIFFEL/blob/master/E30_GenerateMusic.ipynb nevermet/AIFFEL AIFFEL Projects. Contribute to nevermet/AIFFEL development by creating an account on GitHub. github.com 1. M..
-
[Day81] 최신 NLP 흐름AIFFEL Life 2020. 12. 26. 21:17
오늘은 최신 NLP 흐름에 대해 알아보는 내용이었습니다. Transformer 이후 어떤 새로운 모델들이 등장했으며, 어떤 방향으로 자연어처리가 발전해 나가는지 공부해 볼 수 있는 시간이었습니다. 1. Deep contextualized word representations arxiv.org/abs/1802.05365 Deep contextualized word representations We introduce a new type of deep contextualized word representation that models both (1) complex characteristics of word use (e.g., syntax and semantics), and (2) how these uses v..
-
[Day81] 슬로우 페이퍼 Improving Language Understanding by Generative Pre-TrainingAIFFEL Life 2020. 12. 26. 21:03
월요일 아침은 항상 슬로우 페이퍼로 시작합니다. 오늘은 Improving Language Understanding by Generative Pre-Training라는 제목의 논문 (www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdf)인데요. 이 논문을 읽으면서 적은 메모를 아래에 공유합니다. Improving Language Understanding by Generative Pre-Training Natural language understanding comprises a wide range of diverse tasks such as textual entailment, question answering, semantic similarity ..