2.1 형태소 분석 ^{2 3}

자바 기반 [KoNLP 팩키지]는 2016-12-15일 이후 업데이트가 2년 넘게 진행이 되고 있지 않고 있으며 KoSpacing 팩키지도 딥러닝 기반으로 개발은 되었으나 원할히 사용하기 까지 다수 복잡한 과정을 거쳐야 되고 개발된지 얼마되지 않아 활용사례가 극히 제한적이다.

NLP4kec는 한글은 은전한닢 형태소 분석기를 사용하고, 영어, 중국어는 Stanford core NLP 사용하여 한글, 영어, 중국어 텍스트 데이터 파일을 입력받아 형태소 분석 후 R tm package에서 사용할 수 있도록 해주는 팩키지로 개발되어 Kevin Seongho Na를 비롯하여 사용자층을 넓혀가고 있다.

library(NLP4kec)

news_df$bow <- r_parser_r(news_df$text, language = "ko", useEn = TRUE)

news_tidy_df <- news_df %>% 
  mutate(bow = map(bow, str_split, pattern=" ") ) %>% 
  select(title, source, bow) %>% 
  unnest(bow) %>% 
  unnest(bow)

news_tidy_df %>% head  

                                                                title
1 엔코아 김옥기 상무, 와이즈유서 ‘AI시대의 데이터 과학과 대학’ 특강
2 엔코아 김옥기 상무, 와이즈유서 ‘AI시대의 데이터 과학과 대학’ 특강
3 엔코아 김옥기 상무, 와이즈유서 ‘AI시대의 데이터 과학과 대학’ 특강
4 엔코아 김옥기 상무, 와이즈유서 ‘AI시대의 데이터 과학과 대학’ 특강
5 엔코아 김옥기 상무, 와이즈유서 ‘AI시대의 데이터 과학과 대학’ 특강
6 엔코아 김옥기 상무, 와이즈유서 ‘AI시대의 데이터 과학과 대학’ 특강
      source      bow
1 브릿지경제     기업
2 브릿지경제   데이터
3 브릿지경제 사이언스
4 브릿지경제     주목
5 브릿지경제     시작
6 브릿지경제     설명

NLP4kec 팩키지에서 형태소 분석을 이미 수행했기 때문에 별도 작업은 필요없다. 사용자 정의 사전(dictionary.txt)을 통해서 “데이터사이언스”, “데이터과학”과 같이 두 명사로 구성된 경우 나눠지는 사례가 있어 이에 대해 사용자 정의사전을 통해서 유의미하게 만든다.

3.1 tidy 방식 아님

전통적인 방식으로 quanteda 팩키지를 동원해서 데이터 사이언스 관련 출고 기사가 많은 두 언론사(“한국경제TV”, “ZDNet Korea”)를 추출하여 dfm() 행렬을 만들어 빈도수를 계산하고 이를 ggplot에 넣어 각각 시각화 산출물을 만들고 cowplot으로 시각화하는 코드는 다음과 같다.

library(quanteda)
library(extrafont)
loadfonts()

## 상위 언론사 추출
news_df %>% 
  count(source, sort = TRUE)

# A tibble: 19 x 2
   source             n
   <chr>          <int>
 1 한국경제TV        18
 2 ZDNet Korea       11
 3 이슈메이커         9
 4 MTN                8
 5 중앙일보           8
 6 대학저널           7
 7 대한금융신문       6
 8 파퓰러사이언스     6
 9 기자협회보         5
10 디지털데일리       4
11 플래텀             4
12 노컷뉴스           3
13 비지니스코리아     3
14 서울경제           2
15 아이티비즈         2
16 브릿지경제         1
17 아시아투데이       1
18 조선비즈           1
19 한국경제           1

ds_eda_df <- news_tidy_df %>% 
  filter(source %in% c("한국경제TV", "ZDNet Korea"))

ds_ke_df <- ds_eda_df %>% filter(source == "한국경제TV")
ds_ke_m <- dfm(ds_ke_df$bow) %>% as.matrix

ds_zdnet_df <- ds_eda_df %>% filter(source == "ZDNet Korea")
ds_zdnet_m <- dfm(ds_zdnet_df$bow) %>% as.matrix

ds_ke_freq   <- colSums(ds_ke_m)
ds_zdnet_freq <- colSums(ds_zdnet_m)

ke_g <- ds_ke_freq %>% 
    as.data.frame() %>% 
    rownames_to_column(var="word") %>% 
    rename(frequency = '.') %>% 
    arrange(desc(frequency)) %>% 
    top_n(15, frequency) %>% 
    ggplot(aes(x=fct_reorder(word, frequency), y=frequency, fill=word)) +
      geom_col() +
      coord_flip() +
      labs(x="", y="단어 빈도", title="한국경제 데이터 사이언스 단어 빈도") +
      theme_minimal(base_family = "NanumGothic") +
      theme(legend.position = "none")

zdnet_g <- ds_zdnet_freq %>% 
    as.data.frame() %>% 
    rownames_to_column(var="word") %>% 
    rename(frequency = '.') %>% 
    arrange(desc(frequency)) %>% 
    top_n(15, frequency) %>% 
    ggplot(aes(x=fct_reorder(word, frequency), y=frequency, fill=word)) +
      geom_col() +
      coord_flip() +
      labs(x="", y="단어 빈도", title="ZDnet 데이터 사이언스 단어 빈도") +
      theme_minimal(base_family = "NanumGothic") +
      theme(legend.position = "none")

cowplot::plot_grid(ke_g, zdnet_g)

3.2 tidy 방식

tidy 방식으로 코드를 작성하게 되면 dplyr 동사를 사용해서 각 언론사별로 15개 단어를 추출하여 시각화를 한다. 이번 경우 단어길이가 1인 것은 제외시킨다. 그리고 나서 ggplot으로 시각화한다.

news_tidy_df %>% 
  count(source, bow, sort=TRUE) %>% 
  mutate(word_length = str_length(bow)) %>% 
  filter(word_length > 1) %>% 
  filter(source %in% c("한국경제TV", "ZDNet Korea"))   %>% 
  group_by(source) %>% 
  top_n(15, wt=n) %>% 
  ungroup() %>% 
  ggplot(aes(x=fct_reorder(bow,n), y=n, fill=bow)) +
    geom_col() +
    facet_wrap(~source, scales = "free") +
    coord_flip() +
    labs(x="", y="단어 빈도", title="ZDnet 데이터 사이언스 단어 빈도") +
    theme_minimal(base_family = "NanumGothic") +
    theme(legend.position = "none")