자연어처리
-
[Day86] NLP FrameworkAIFFEL Life 2020. 12. 27. 12:35
오늘은 자연어처리를 위해 사용할 수 있는 여러가지 프레임워크에 대해서 알아봤는데요. 데모가 놀라운 allen nlp부터 요즘 핫하다는 huggingface까지 살펴보았습니다. 알아두면 유용한 만한 자료들을 아래에 공유합니다. 1. Top NLP Libraries to Use 2020 towardsdatascience.com/top-nlp-libraries-to-use-2020-4f700cdb841f Top NLP Libraries to Use 2020 AllenNLP, Fast.ai, Spacy, NLTK, TorchText, Huggingface, Gensim, OpenNMT, ParlAI, DeepPavlov towardsdatascience.com 2. Allen NLP allennlp.org/ A..
-
[Day81] 최신 NLP 흐름AIFFEL Life 2020. 12. 26. 21:17
오늘은 최신 NLP 흐름에 대해 알아보는 내용이었습니다. Transformer 이후 어떤 새로운 모델들이 등장했으며, 어떤 방향으로 자연어처리가 발전해 나가는지 공부해 볼 수 있는 시간이었습니다. 1. Deep contextualized word representations arxiv.org/abs/1802.05365 Deep contextualized word representations We introduce a new type of deep contextualized word representation that models both (1) complex characteristics of word use (e.g., syntax and semantics), and (2) how these uses v..
-
[Day61] Seq2Seq과 AttentionAIFFEL Life 2020. 12. 25. 18:20
오늘은 자연어 심화과정 (일명 Going Deeper) 중 이론을 공부하는 시간이었는데요. 심화과정은 이론 7시간 + 실습 7시간으로 구성되어 있습니다. 그중 Seq2Seq과 Attention에 대해서 배웠습니다. Transformer를 이해하기 위한 이론적인 내용이라고 할 수 있겠죠? 아래에 참고할 만한 내용들을 공유합니다. 1. 언어모델(Language Model) ratsgo.github.io/from%20frequency%20to%20semantics/2017/09/16/LM/ 언어모델(Language Model) · ratsgo's blog 이번 글에서는 유니그램 모델(unigram model)을 중심으로 통계적 언어모델(Statistical Language Model, 언어모델)에 대해 살펴보..
-
[Day51] 뉴스 요약봇 만들기AIFFEL Life 2020. 12. 21. 13:07
오늘은 뉴스를 요약해 주는 인공지능을 만들어 보는 것을 실습했습니다. 도움이 될 만한 글들을 아래에 공유합니다. 1. TextRank: Bringing Order into Texts (paper) www.aclweb.org/anthology/W04-3252.pdf 2. 네이버 뉴스 요약 news.naver.com/ 네이버 뉴스 정치, 경제, 사회, 생활/문화, 세계, IT/과학 등 언론사별, 분야별 뉴스 기사 제공 news.naver.com 3. 구글 인공지능 "뉴스 제목도 잘 뽑네" zdnet.co.kr/view/?no=20160905114833&from=Mobile 구글 인공지능 "뉴스 제목도 잘 뽑네" 구글이 글의 내용을 살리면서 요약문을 만드는 방법을 컴퓨터에게 가르친 뒤 그 솜씨를 공개했다. I..
-
[Day48] 보이저 엑스와 텍스트 데이터 다루기AIFFEL Life 2020. 12. 16. 16:57
오늘은 영배스 시간 (영배스를 모르신다면 이 포스트를 확인해 보세요)에 보이저엑스라는 회사에 대해 배웠습니다. 참고로 남세동 대표님과는 후에 화상으로 회사소개 시간도 있었습니다. 개인적으로 흥미로운 회사라고 생각하니, 관심있으신 분들은 아래 글도 참고해 보시기 바랍니다. 0. 보이저 엑스 채용 www.notion.so/Career-at-VoyagerX-833e2878660a4a7590b6946c0da8b151 Career at VoyagerX 보이저엑스는 더욱 즐겁고 편리한 삶을 돕는 인공지능 소프트웨어를 개발하는 스타트업 입니다. www.notion.so 오늘 배운 내용은 파이썬으로 텍스트 데이터를 다루는 방법에 관한 것이었습니다. 1. 자연 언어 와 프로그래밍 언어 www.aistudy.co.kr/l..
-
[Day26] 네이버 영화 리뷰로 감성 분석을 해보자AIFFEL Life 2020. 12. 14. 18:09
오늘은 실습 내용은 네이버 영화 리뷰를 통해 자연어 감성 분석을 해보는 것이었습니다. 자연어 처리에 필요를 위해 알아 두면 좋을 내용들을 아래에 공유합니다. 감성분석을 활용한 사례 그리고 LSTM으로 유명한 RNN, 한국어 임베딩, 감성분석을 위한 데이타 셋 등입니다. 1. 감성분석 활용 사례 dbr.donga.com/article/view/1202/article_no/8891/ac/magazine [DBR] “구매후기 한 줄에 고객의 이런 속마음이”, 마케팅 난제, 속 시원히 풀어주는 분석 Article at a Glance최근 ‘글에 내재해 있는 사람들의 주관적 태도나 감성을 추출해 내는 분석 기법’인 ‘감성 분석’에 대한 관심이 높아지고 있다. 감성 분석은 소셜미디어와 같은 웹사이트/매체 dbr.d..
-
[Day9] 웹을 긁어 자연어처리 해보자AIFFEL Life 2020. 8. 26. 18:04
뭔가 웹 데이타를 긁어다가 모아 놓고 분석을 하고 싶다면 알아야 할 사항들에 대해서 정리해 봅니다. 먼저 html이 무엇인지 알긴 알아야 겠지요? - html이란? - html의정의: youtu.be/ZeBsrkPq5dM - html이란? - 태그: youtu.be/LNjLjGIN87U 예전에는 웹 페이지를 긁기 위해 크롤러를 직접 개발하거나 인터넷에서 누군가 만들어 놓은 코드를 다운받아 고쳐써야 했습니다. 요즘은 beautiful soup이 거의 통일시켜 버린 것 같습니다. ㅋ - Beautiful Soup Documentation: https://www.crummy.com/software/BeautifulSoup/bs4/doc/ Beautiful Soup Documentation — Beautiful..