데이터 과학

기계와의 경쟁을 준비하며…

“The future is here, it’s just not evenly distributed yet.”
- William Gibson

R, RStudio, tidyverse, 스파크, AWS 와 함께하는 데이터 과학

1. 데이터 과학과 R 언어
   • 데이터 과학 개념도(concept map)
   • 데이터 과학 교육
   • 펭귄 vs 붓꽃 데이터
   • 도와줘요 - reprex
   • R 환경설정과 업데이트, 파일-객체 크기
   • R 구문평가 - tidyeval
   • R 저작권과 라이선스(license)
   • R 프로그래밍 모범사례 - R 함수와 자료구조
   • 통계학 전공자와 데이터 공유 방법 : 영어원문, 구글 번역본
   • 스프레드쉬트에서 데이터베이스로
     • 위기의 스프레드쉬트
     • 탈옥(jailbreakr) – 엑셀에서 탈출… 자유
       
     • 들어가며
     • 데이터 추출
     • 데이터베이스에 데이터 저장
     • 소프트웨어 카펜트리 워크샵 - googlesheets
   • SPSS가 죽어가네요!!!
   • 통계 팩키지
     • 오픈 통계 팩키지
     • tidy blocks
2. 측도와 R 자료구조
   • 데이터프레임 스키마(Dataframe Schema)
   • 날짜/시간 데이터: 2018-06-23일부터 금융, 시계열로 이동
   • 요인(Factor) - 범주형 자료형
     • 범주형 변수와 표
     • 요인자료형 달인 - STAT545
     • 범주형 데이터 시각화 기초
     • 표: gt와 kable
     • 한국 R 컨퍼런스 - 발표자 사진 포함
     • 표 고급기능: ganitor + gt + …
     • 생키(Sankey), alluvial 그래프
   • 결측 데이터(Missing Data)
     • 결측데이터 - Base R 시각화
     • 결측데이터 - ggplot 시각화
   • 빅데이터 - tidyverse 스파크
     • 대용량 데이터 표본추출
       
     • 데이터테이블
   • 데이터 정제(Data Cleaning): 데이터 과학자가 아니라 청소부
3. 관계형 데이터베이스(RDBMS)
   • dplyr Database - 헬로월드
   • R 데이터베이스 추상화 - DBI
     • xwMOOC 딥러닝 - “R 개발자가 알아야 되는 보안, 마리아 DB (MariaDB)”
   • R과 SQL - 소프트웨어 카펜트리
     • 데이터 카펜트리 SQL 학습교재(생태학, ecology)
     • 파이썬 판다스 - SQL
   • R 병렬 프로그래밍 - “예측모형 데이터베이스(DBMS) 배포”
   • postgreSQL - DVD 대여 데이터베이스
   • DVD 대여 데이터베이스에서 인사이트 도출
   • 데이터웨어하우스(DW) - star schema: 준비중
4. tidyverse 데이터 사이언스 기본체계
   • 데이터 사이언스 파이프라인 - Base vs. Tidyverse
   • 데이터프레임(tibble)
   • 데이터 깔끔화(tidyr): pivot_*
   • 데이터 작업 공구(dplyr)
     • 데이터 병렬 작업 공구(multiplyr)
     • 텍스트 작업 공구(tidytext)
     • 시계열 데이터 작업 공구(tidyquant)
   • 두 테이블 동사(dplyr join) - 레고
   • 데이터 내보내기
   • 데이터 다수 다루기 - 파케이
     
5. 깔끔한 데이터와 모형 – broom
   • UN 투표 데이터를 통해 본 한국과 주변 강대국
6. 데이터 과학 개발 환경: R+파이썬, 데이터 과학 툴체인 - 파이썬
   • 데이터 과학 PC (Java) - 맥(Mac) ← 자바(Java)
   • 데이터 과학 PC (Java) - 윈도우) ← 자바(Java)
     
   • 윈도우 10 - WSL (우분투 배쉬)
   • gitlab 환경설정과 기본사용법
   • RStudio 개발환경 - 프로젝트
     • RStudio 개발환경(IDE)과 단축키
     • 윈도우 환경 가상 R 개발환경
     • 한글처리 가능한 RStudio 개발환경
       
   • 빅데이터 - 스파크(Spark) ← 하둡/스파크
   • 도커(Docker) 기초
     • 도커(Docker) - Dockerfile
     • 데이터 과학 도커 - R
       
     • 데이터 과학 도커 - R 팩키지
       
   • 지속적 통합(CI) - Travis
     
   • 지속적 통합(CI) - GitHub
7. R 팩키지 - 헬로우 월드
   • tidyverse 기반 R 팩키지와 라이브러리
   • 연관검색어 팩키지 - suggestK
   • CRAN 팩키지 제출
8. 다양한 데이터
   • 공간통계 - 지리정보
   • 보안 - 패킷분석
9. 정렬(Sort)

xwMOOC 오픈 교재

• 컴퓨팅 사고력(Computational Thinking)
  • 컴퓨터 과학 언플러그드
    
  • 리보그 - 프로그래밍과 문제해결
    • 러플
      
  • 파이썬 거북이
    
  • 정보과학을 위한 파이썬
    • 정보 과학을 위한 R - R for Informatics
  • 소프트웨어 카펜트리 5.3
  • 기호 수학(Symbolic Math)
  • 데이터 과학을 위한 R 알고리즘
  • 데이터 과학을 위한 저작도구
    • The Official xwMOOC Blog
  • 비즈니스를 위한 오픈 소스 소프트웨어
    
• 데이터 과학
  • R 데이터과학
  • 시각화
  • 데이터 과학– 기초 통계
    • 공개 기초 통계학 - OpenIntro Statistics
  • 보안 R - TBA
  • 다양한 데이터
    • 텍스트 - 자연어처리(NLP)
    • 네트워크(network)
    • 공간통계를 위한 데이터 과학
      
    • 고생대 프로젝트
    • 금융(finance)
    • 자동차 데이터 분석
    • 비즈니스 프로세스(Business Process) - bupar
  • R 팩키지
  • 통계적 사고
• 빅데이터
  • 빅데이터(Big Data)
  • 데이터 제품
  • R 도커
• 기계학습, 딥러닝, 인공지능
  • 고성능 컴퓨팅(HPC)
  • 기계학습
  • 딥러닝
  • R 병렬 프로그래밍
  • 인공지능 연구회
• IoT 오픈 하드웨어(라즈베리 파이)
  • $100 오픈 컴퓨터
    
  • $100 오픈 슈퍼컴퓨터
• 선거와 투표
  • 저녁이 있는 삶과 새판짜기 - 제7공화국