수업내용/목표
- 하둡 기반 빅데이터의 시스템에 대해 설명할 수 있다.
- 빅데이터 프로그래밍에 대해 설명할 수 있다.
- GCP를 이용하여 빅데이터를 구현할 수 있다.
주차 |
주차명 |
차시 |
차시명 |
학습내용 |
|||
1 |
빅데이터란 무엇인가? |
1-1. |
빅데이터 강좌 오리엔테이션 |
1-2. |
빅데이터란 무엇일까요? |
||
2 |
빅데이터 실습을 위한 하둡 가상머신 설정 |
2-1. |
빅데이터 시스템과 데이터 분석 |
2-2. |
실습을 위한 하둡 가상머신 설정 |
||
3 |
빅데이터 실습을 위한 구글 클라우드 설정 |
3-1. |
실습을 위한 구글 클라우드 설정 |
3-2. |
빅데이터 시각화 |
||
4 |
하둡이란 무엇인가? |
4-1. |
빅데이터는 어떻게 처리 될까요? |
4-2. |
빅파일은 어떻게 저장 될까요? |
||
5 |
하둡 이코 시스템과 얀 |
5-1. |
빅데이터의 지휘자 얀 (YARN) |
5-2. |
빅데이터 소프트웨어 동물원 (Hadoop Eco-Systems) |
||
6 |
맵리듀스 프로그램 및 단어수 세기 예제 |
6-1. |
맵리듀스 (Map Reduce): Mapper 와 Reducer |
6-2. |
셰익스피어 작품의 단어 수 세기 프로그램 |
||
7 |
맵리듀스 프로그램 응용 및 영화 평점 분석 예제 |
7-1. |
맵리듀스 프로그램 응용 (combiner, partitioner) |
7-2. |
영화 평점 분석 |
||
8 |
중간평가 |
||
9 |
아파치 스팍이란? |
9-1. |
아파치 스팍 (Spark) 이란? |
9-2. |
스팍 데이터가 저장되는 곳 RDD |
||
10 |
웹로그 데이터 분석 및 스팍 어플리케이션 |
10-1. |
웹로그 데이터 분석 |
10-2. |
스팍 (Spark) 어플리케이션 |
||
11 |
스팍 SQL 및 클라우드 컴퓨팅 기초 |
11-1. |
스팍 SQL |
11-2. |
클라우드 컴퓨팅 기초 |
||
12 |
구글 클라우드 플랫폼이란? |
12-1. |
Google Cloud Platform (GCP) 기본 |
12-2. |
Google Cloud Storage |
||
13 |
빅쿼리를 이용한 데이터 분석 예제 |
13-1. |
Big Query를 이용한 신생아 이름 분석 |
13-2. |
Dataproc을 이용한 단어 수 세기 프로그램 (MR) |
||
14 |
데이터프록을 이용한 데이터 분석 예제 |
14-1. |
Dataproc을 이용한 영화 평점 분석 (Hive) |
14-2. |
Dataproc을 이용한 스팍 프로그램 |
||
15 |
기말고사 |
강좌 평가 기준
과제명 |
중간고사 |
기말고사 |
반영비율 |
50% |
50% |
※ 총 60% 이상 점수 획득 시, 이수증을 발급받을 수 있습니다.
전공 기초
교재는 없으며 강의별 학습자료를 통해 강의가 진행됩니다.
강좌는 세계협정시(UTC)를 기준으로 운영하여 매주 금요일 00시(UTC)/아침 9시(KST)에 오픈됩니다.
또한 중간, 기말고사는 시험 오픈 당일 한국시간 기준 아침 9시부터 다음날 8시59분까지 오픈되오니
이 점 유의 바랍니다.