2.1 안양축구 경기 크롤링

네이버 축구 K리그 및 다음 축구 K리그를 통해서 데이터를 제공하고 있지만, FC안양, 삼성블루윙즈 웹사이트를 통해서 직접 데이터를 긁어오는 것도 좋은 방법인듯 싶다. 이유는 웹사이트가 단순해서 크롤링 기본기술로 쉽게 데이터를 긁어올 수 있다는 점이 장점이 된다. 유사한 방식으로 전구단 웹사이트에서 데이터를 가져와서 정제하면 K리그 전체 경기데이터를 얻을 수 있을 것으로 파악된다. 기술적으로 그렇다는 것으로 저작권을 비롯한 각종 법률적인 사항은 사전에 충분히 확인할 것을 추천한다.

anyang_url <- "http://www.fc-anyang.com/match/match.asp?searchLeague=K%EB%A6%AC%EA%B7%B82"

anyang_resp <- POST(url = anyang_url)

status_code(x = anyang_resp)

[1] 200

anyang_df <- anyang_resp %>% 
  read_html() %>% 
  html_nodes(xpath= '//*[@id="container"]/div/table')  %>% 
  html_table() %>% 
  .[[1]] %>% 
  tbl_df()

anyang_df <- anyang_df %>% 
  setNames(c("날짜", "구장", "리그", "X1", "홈팀", "홈점수", "X2", "원정점수", "원정팀", "X3", "승부")) %>% 
  select_at(vars(-contains("X")))
  
DT::datatable(anyang_df)

크롤링 결과 .csv 파일로 저장시키고 나서 이를 바로 system() 명령어로 확인한다.

## 크롤링 결과 csv 파일 저장
anyang_filename <- paste0("anyang_", Sys.Date(), "_df.csv")
anyang_df %>% write_csv(anyang_filename)

## csv 파일 저장 확인
command <- "dir *_df.csv"
system(paste("cmd.exe /c", command), intern = TRUE) %>% 
  str_match(".+_df.csv")

     [,1]                                                               
[1,] NA                                                                 
[2,] NA                                                                 
[3,] NA                                                                 
[4,] NA                                                                 
[5,] NA                                                                 
[6,] "2018-11-13  오후 12:13             3,102 anyang_2018-11-13_df.csv"
[7,] NA                                                                 
[8,] NA