다양한 데이터 가져오기

학습목차

• 데이터 가져오기: pins
  • fs 로컬파일
  • 광학문자인식(OCR, Optical Character Recognition)
    • 검정배경 흰색글자 인식
    • 문자 분리(character segmentation)
    • 기계판독 가능한 테이블(표)
    • 애비(Abbyy): Access Abbyy Cloud OCR from R
    • 문자인식(OCR) - tesseract
    • PPT 장표 - OCR tesseract
• 구글 드라이브 - googledrive
• PDF 문서
  • 이미지 PDF 파일 데이터 추출
  • PDF 감옥에서 데이터를 탈출시키다.
  • 기계판독 가능한 PDF 문서에서 표추출
  • 기계판독 불가능한 PDF 문서에서 표추출
  • 문서(tika)
    • CV 제작
  • PDF → 워드 - 리브레오피스(LibreOffice)
• 웹(Web)
  • 웹 데이터
    • 웹 스크래핑(Web Scraping)
    • R 팬텀JS (phantomJS) - 방송3사 시청률 경쟁 그리고 JTBC 손석희 앵커
    • 아마존 알렉사 웹정보(웹API) - KBO 프로야구 웹사이트
    • 아마존 알렉사 웹정보(웹API) - 인터넷 쇼핑(쿠팡, 위메프, 티몬)
    • 아마존 알렉사 웹정보(웹API) - 대한민국 주요 정당
    • 아마존 웹 서비스(AWS) - EC2 사양과 가격
  • 네이버 인물정보
  • 웹 크롤링
    • 정적 웹페이지(표) - 대학순위
    • 정적 웹페이지(표) - 지방선거(2018)
    • 동적 웹페이지 - RSelelinum
    • 동적 웹페이지 - iMac
    • 크롤링 자동화 - Azure/AWS
    • 한국 R 컨퍼런스 도서 후원
      
  • 텍스트 RSS 피드
  • 연관검색어
    • 네이버
    • 다음
    • 구글 제안(Google Suggest)
• 공공데이터
  • 선관위 지방선거(2018) - POST, 로컬, 도커
  • 속초시 CCTV
  • 구글 스프레드쉬트(Google Spreadsheets)
    
• 데이터베이스 (SQL) ← 관계형 데이터베이스(RDBMS)
• API(Application Programming Interface)
  • API
• 사물인터넷(IoT) - mqtt
  • IoT 센서 - JSON
• 소프트웨어 카펜트리
  • 파이썬 - 웹에 있는 데이터 작업
    • 데이터 입수
    • CSV 데이터 처리
    • 오류(Error) 처리와 일반화
    • 시각화
    • 데이터 게시
    • 데이터를 찾을 수 있게 만들기
• 소셜(SNS)
  • 페이스북(Facebook)
  • 트위터(Twitter)
    • 트위터 데이터 과학
  • 인스타그램(Instagram): 파이썬 크롤러, 셀레이움
  • 유튜브(Youtube)
  • 네이버, 다음 뉴스
• GitHub 저장소 - 데이터 사이언스
  • GitHub 데이터 분석: 프로젝트 평가
• 직사각형이 아닌 데이터 - JSON, XML
  • JSON, XML → 데이터프레임
• 논문
  • dimensions.ai API
• 유튜브, 영화자막
• News API - newsapi

xwMOOC 오픈 교재