spark
-
[Day40] 하둡이냐 아파치냐AIFFEL Life 2020. 12. 16. 10:51
오늘은 빅데이터 생태계에 대해서 알아보았습니다. 인공지능도 결국은 무언가 어플리케이션이 유용해야 널리 사용될 수 있는 것이겠죠. 그리고 딥러닝의 경우 결국 학습할 데이타가 있어야 한다는 점에서도 빅데이터와 결합했을 때 훨씬 시너지 효과가 크게 나타날 겁니다. 그런 차원에서 결국 빅데이터 시스템을 구축하고 그 데이터를 학습하고 분석하는 인공지능을 그 위에 얹어야 좋은 결과물이 나올 수 있다는 어쩌면 당연한 이야기가 만들어 질 것 같습니다. 그래서, 인공지능이 학습할 데이터를 모으고, 처리할 빅데이터 시스템에 대한 이해가 필수적이라고 할 수 있는데, 오늘은 그 중 유명한 하둡과 스파크에 대해서 알아볼 수 있는 자료들을 공유합니다. 1. The Google File System (paper) static.go..
-
[Day34] 하둡과 스파크를 알아보자AIFFEL Life 2020. 12. 15. 16:45
요즘은 별로 주목을 받지 못하는 것 같지만, AI라는 키워드가 유행하기 직전까지 빅데이터가 정말 핫한 키워드였는데요. 그때 빅데이터 시스템을 구축하려면 하둡 혹은 스파크에다가 만들어야 하는 것처럼 엄청 유명했던 용어죠. 하둡과 스파크를 이해하는데 도움이 될 만한 글들을 공유합니다. 1. [공모전 수상작] 쌀 한가마니 속 쌀알의 개수는? m.post.naver.com/viewer/postView.nhn?volumeNo=10165636&memberNo=608322 [공모전 수상작] 쌀 한가마니 속 쌀알의 개수는? [BY 통계청] 조선시대 선비, 오성이 들려주는 재미있는 통계 이야기 쌀 한가마니 속 쌀알의 개수는? 고... m.post.naver.com 2. MapReduce en.wikipedia.org/w..