AIFFEL
-
[Day87] HuggingFace 커스텀 프로젝트를 만들어보자AIFFEL Life 2020. 12. 27. 12:41
오늘은 어제에 이어서 대표적인 자연어처리 프레임워크인 huggingface를 이용하여 커스터마이즈드 프로젝트를 만들어 보는 실습을 진행했습니다. 실습 주피터 노트북과 참고할 만한 유용한 자료들을 공유해 봅니다. 0. HuggingFace 커스텀 프로젝트 만들기 (노트북) github.com/nevermet/AIFFEL/blob/master/G18_HuggingFaceCustomProject.ipynb nevermet/AIFFEL AIFFEL Projects. Contribute to nevermet/AIFFEL development by creating an account on GitHub. github.com 1. GLUE gluebenchmark.com/ GLUE Benchmark The Genera..
-
[Day86] NLP FrameworkAIFFEL Life 2020. 12. 27. 12:35
오늘은 자연어처리를 위해 사용할 수 있는 여러가지 프레임워크에 대해서 알아봤는데요. 데모가 놀라운 allen nlp부터 요즘 핫하다는 huggingface까지 살펴보았습니다. 알아두면 유용한 만한 자료들을 아래에 공유합니다. 1. Top NLP Libraries to Use 2020 towardsdatascience.com/top-nlp-libraries-to-use-2020-4f700cdb841f Top NLP Libraries to Use 2020 AllenNLP, Fast.ai, Spacy, NLTK, TorchText, Huggingface, Gensim, OpenNMT, ParlAI, DeepPavlov towardsdatascience.com 2. Allen NLP allennlp.org/ A..
-
[Day86] 슬로우페이퍼 XLNet: Generalized Autoregressive Pretraining for Language UnderstandingAIFFEL Life 2020. 12. 27. 12:16
월요일 아침은 슬로우 페이퍼로 시작합니다. 오늘은 XLNet에 관한 논문(arxiv.org/pdf/1906.08237.pdf)이네요. 아래에 논문을 번역해 가면서 읽으면서 적은 메모 공유합니다~ Abstract With the capability of modeling bidirectional contexts, denoising autoencoding based pretraining like BERT achieves better performance than pretraining approaches based on autoregressive language modeling. However, relying on corrupting the input with masks, BERT neglects depende..
-
[Day85] 해커톤 중간발표카테고리 없음 2020. 12. 27. 12:12
오늘은 그동안 진행했던 해커톤 중간발표가 있었습니다. 지금까지 진행해온 해커톤 과정을 모든 아이펠 참여자에게 공유하고 피드백을 듣는 시간이었습니다. 다른 팀들은 어떻게 프로젝트를 진행하고 있는 지 알 수 없었는데, 이렇게 들을 수 있으니 다양한 시도와 아이펠의 열정을 확인할 수 있어서 뜻깊은 시간이었습니다. 딥섬팀은 1) 프로젝트 배경, 2) 프로젝트 팀 구성 및 역할, 3) 프로젝트 수행 절차 및 방법, 4) 프로젝트 수행 결과, 5) Lessons Learned 순서로 발표를 진행했습니다. 발표는 코로나 확산에 따라 구글 밋을 통해 온라인으로 진행하였습니다. 발표자료 공유합니다~ github.com/DeepSum/Deepsummarize/blob/main/Presentation/%E1%84%83%E1..
-
[Day84] 해커톤 일곱번째AIFFEL Life 2020. 12. 26. 21:54
오늘은 해커톤 일곱번째 날이었습니다. 이번주부터 실습 과정이 모두 끝나면서, 해커톤에 배정된 시간이 더 늘어났습니다. 이번주 딥섬 팀은 기본적인 Transformer로 기사 본문을 입력하면 제목을 출력하는 모델을 완성했습니다. 그리고 소프트웨어 요구사항 명세서도 작성했습니다. 소프트웨어는 크게 4가지의 architectural drivers에 의해 프로젝트가 진행됩니다. 1) 기능적 요구사항, 2) Quality Attributes (비기능적 요구사항이라고도 합니다), 3) 기술적 제약사항, 4) 비즈니스 제약사항이 그것인데요. 이것들을 정리하고 팀원 모두가 그리고 프로젝트에 관련된 사람들이 읽어보면 모두가 이 프로젝트가 어떻게 진행되겠다는 것을 예상할 수 있도록 정리해서 공유하는 것이 필요하다고 할 수..
-
[Day83] Bert pre-trained model 제작AIFFEL Life 2020. 12. 26. 21:44
오늘은 BERT 사전학습 모델을 제작하는 것에 대한 내용을 배웠습니다. 아래 내용을 공유합니다. 0. mini BERT 만들기 (노트북) github.com/nevermet/AIFFEL/blob/master/G16_MiniBERT.ipynb nevermet/AIFFEL AIFFEL Projects. Contribute to nevermet/AIFFEL development by creating an account on GitHub. github.com 1. SentencePiece github.com/google/sentencepiece google/sentencepiece Unsupervised text tokenizer for Neural Network-based text generation. - g..
-
[Day83] 슬로우 페이퍼 BERT: Pre-training of Deep Bidirectional Transformers forLanguage UnderstandingAIFFEL Life 2020. 12. 26. 21:39
오늘은 슬로우페이퍼로 아침을 시작했습니다. 영.배.스.가 여러 사람들의 피드백이 별로라서 없애고 그 시간에 대신 논문을 하나 더 보자고 한거죠. 오늘 본 논문은 유명한 BERT (arxiv.org/pdf/1810.04805.pdf)네요. 읽으면서 메모한 것을 아래에 공유합니다. We introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language representation models (Peters et al., 2018a; Radford et al., 2018), BERT is designe..
-
[Day82] 음악을 만드는 인공지능AIFFEL Life 2020. 12. 26. 21:34
아이펠 교육 과정은 크게 3단계로 나눠져 있는데요. 기초이론 / 실습 / 심화과정 이렇게 구분할 수 있습니다. 이중 기초 이론 40개 단원은 주당 4개씩 진행되어 마쳤고, 실습 과정은 30개 중 마지막으로 음악을 생성하는 딥러닝 모델을 실습했습니다. 주피터 노트북과 실습할 때 참고했던 문서들을 아래에 공유합니다. :) 0. Music Transformer (notebook) github.com/nevermet/AIFFEL/blob/master/E30_GenerateMusic.ipynb nevermet/AIFFEL AIFFEL Projects. Contribute to nevermet/AIFFEL development by creating an account on GitHub. github.com 1. M..