빅데이터

학습목차

• 빅데이터 스파크(Spark)
  • 빅데이터 들어가며 - 기본기
  • 시나리오별 클라우드(AWS) 컴퓨팅 자원을 데이터 과학에 활용
  • 스파크 로컬 클러스터 - 시운전(Dry Run)
• 파이스파크 - pyspark
  • 데이터(S3) 읽어오기 - 파이썬
    
  • 자료 구조
  • 자료 변환
  • 데이터프레임과 SQL
  • 기계학습 예측모형 (TBA)
  • 스파크 SQL(Spark SQL)
• RStudio 스파크 - sparklyr
  • 스파크 설치
    • 로컬 컴퓨터 스파크 설치
    • AWS EC2 스파크 설치
  • 데이터(S3) 읽어오는 전략 - R
    • 로컬 .csv → 로컬 스파크 - sparklyr
    • S3 → 로컬 RStudio IDE
    • S3 → EC2 RStudio 서버
    • S3 → EC2 서버 - 스파크
    • 분석할 데이터를 스파크에 적재하는 방법 - S3 포함
  • Spark와 연결하는 sparklyr, dplyr, 그리고 기계학습
• \(H_2 O\) 기계학습
  • \(H_2 O\) 하둡 스파크 클러스터 설치
    
  • \(H_2 O\) R 연습문제
  • \(H_2 O\) 앙상블 모형
  • \(H_2 O\) GBM 모형 세부조정
• 기계학습 클라우드(AWS) 개발배포 환경 (TBA)
  • AWS 우분투 EC2 + S3 버킷 + RStudio 서버
  • AWS EMR - sparklyr
    
  • 스파크 EC2 클러스터 - 부싯돌(flintrock)
    • 스파크 EC2 클러스터 - 데이터과학 툴체인(R, sparklyr)
• AWS Boto3 - 파이썬
  • AWS IAM
  • 정적 웹호스팅 - S3
  • 개인 도메인 블로그 - aws cli
• 참고
  • 빅메모리(bigmemory): "빅데이터는 디스크에 쓰고 R 메모리라고 읽는다"
  • SparkR 들어가며
    • SparkR 설치
    • SparkR 헬로 월드
    • SparkR 도커
    • 우분투 SparkR 설치
    • SparkR 하둡 클러스터 설치
  • EMR 스파크 클러스터 - wadal
  • 웹 크롤링(Crawling): 데이터 크롤링 → S3
  • 웹 크롤링(Crawling): 데이터 크롤링: EC2 → S3

xwMOOC 오픈 교재

• 컴퓨팅 사고력(Computational Thinking)
  • 컴퓨터 과학 언플러그드
    
  • 리보그 - 프로그래밍과 문제해결
    • 러플
      
  • 파이썬 거북이
    
  • 정보과학을 위한 파이썬
    
  • 소프트웨어 카펜트리 5.3
  • 기호 수학(Symbolic Math)
  • 데이터 과학을 위한 R 알고리즘
  • 데이터 과학을 위한 저작도구
    • The Official xwMOOC Blog
  • 비즈니스를 위한 오픈 소스 소프트웨어
• 데이터 과학
  • R 데이터과학
  • 시각화
  • 텍스트 - 자연어처리(NLP)
  • 네트워크(network)
  • 데이터 과학– 기초 통계
    • 공개 기초 통계학 - OpenIntro Statistics
  • 공간통계를 위한 데이터 과학
  • R 팩키지
  • 통계적 사고
  • 보안 R - TBA
• 빅데이터
  • 빅데이터(Big Data)
  • 데이터 제품
  • R 도커
• 기계학습, 딥러닝, 인공지능
  • 기계학습
  • 딥러닝
  • R 병렬 프로그래밍
  • 고생대 프로젝트
  • 인공지능 연구회
• IoT 오픈 하드웨어(라즈베리 파이)
  • $100 오픈 컴퓨터
    
  • $100 오픈 슈퍼컴퓨터
• 선거와 투표
  • 저녁이 있는 삶과 새판짜기 - 제7공화국