transformer
-
[Day69] 음성도 트랜스포머로...AIFFEL Life 2020. 12. 25. 20:55
오늘 실습 내용은 음성 즉, 오디오 파일도 트랜스포머로 학습시키는 내용이었습니다. 이런 음성 신호처리에 대한 부분은 좀 낯설어서 익숙하지 않았던 것 같습니다. 아래에 참고한 자료들을 공유합니다. 1. 나이키스트와 샤논 (Shannon) 표본화 정리 linecard.tistory.com/20 나이키스트와 샤논 (Shannon) 표본화 정리 아날로그 신호를 디지털 신호로 변환하기 위해서는 표본화, 양자화, 부호화의 과정을 거친다. 특히, 표본화는 입력 신호를 시간영역에서 이산하는 과정으로 나이키스트 표본화 이론을 확장한 linecard.tistory.com 2. TensorFlow Speech Recognition Challenge www.kaggle.com/c/tensorflow-speech-recogni..
-
[Day68] 번역기 만들기 시리즈 2AIFFEL Life 2020. 12. 25. 20:51
오늘 자연어처리 심화과정 실습은 번역기 만들기였습니다. 지난번엔 Seq2Seq으로 만들기였는데, 이번엔 트랜스포머로 만들기네요. 실습하면서 참고한 자료들을 공유합니다. 1. korean-parallel-corpora/korean-english-news-v1/ (github) github.com/jungyeul/korean-parallel-corpora/tree/master/korean-english-news-v1 jungyeul/korean-parallel-corpora Korean Parallel Corpus. Contribute to jungyeul/korean-parallel-corpora development by creating an account on GitHub. github.com 2. g..
-
[Day66] Transformer 배경 이해하기AIFFEL Life 2020. 12. 25. 20:35
오늘은 자연어처리 심화과정의 이론부분을 학습하는 날입니다. 트랜스포머에 대해서 배웠는데요. 트랜스포머를 이해하는데 도움이 되는 글들을 공유합니다. 1. Attn: Illustrated Attention eda-ai-lab.tistory.com/157 Attn: Illustrated Attention 원문 아티클 : Attn: Illustrated Attention Attn: Illustrated Attention GIFs를 활용한 기계번역(ex. 구글번역기)에서의 Attention 신경망을 활용한 기계 번역모델(NMT)이 나오기 전 수십 년 동안, 통계기반 기.. eda-ai-lab.tistory.com 2. [Attention] Luong Attention 개념 정리 hcnoh.github.io/201..
-
[Day58] 트랜스포머로 챗봇 만들기AIFFEL Life 2020. 12. 25. 17:31
오늘 영배스 시간에는 뱅크 샐러드에 대해서 같이 이야기를 해봤습니다. 영배스는 시간이 지날 수록 학생들의 관심이 좀 떨어지는 측면이 있네요. 그리고 나선 트랜스포머로 챗봇 만들기란 주제로 실습을 하였는데요. 실습 과정에서 참고한 자료들을 공유합니다. 1. 챗봇 기획 단계: 챗봇의 5가지 대표 유형/종류 tonyaround.com/%ec%b1%97%eb%b4%87-%ea%b8%b0%ed%9a%8d-%eb%8b%a8%ea%b3%84-%ec%b1%97%eb%b4%87%ec%9d%98-5%ea%b0%80%ec%a7%80-%eb%8c%80%ed%91%9c-%ec%9c%a0%ed%98%95-%ec%a2%85%eb%a5%98/ 챗봇 기획 단계: 챗봇의 5가지 대표 유형/종류 - TonyAround 5 Types of..