2.1 베이즈 정리

특정 단어가 나오면 그 전자우편/채팅이 스팸일 확률을 베이즈 정리를 활용하면 다음과 같다.

\[ P(s|w) = \frac {P(s,w)}{P(w)} = \frac {P(w|s)P(s)}{P(w)} \]

여기서, \(P(w):\) 전자우편이나 채팅에서 특정단어가 출현할 확률(예를 들어, Sell, 팔아요 등), \(P(s)\)는 전자우편이나 채팅이 스팸일 확률

\[P(w) = P(w, s) + P(w, \sim s)\]

2.2 단어 한개를 가정한 베이즈 정리

상기 관계를 이용하여 단어가 주어졌을 때 스팸일 확률을 다음과 같이 정리할 수 있다.

\[ P(s|w) = \frac {P(w|s)P(s)}{P(w)} = \frac {P(w|s)P(s)}{P(w, s) + P(w, \sim s)} = \frac {P(w|s)P(s)}{P(w|s)P(s) + P(w| \sim s)P(\sim s)}\]

즉, 스팸중에서 특정 단어가 출현할 조건부 확률 \(P(w|s)\) 과 스팸이 아닌 것 중에 특정 단어가 출현할 확률 \(P(w|\sim s)\)만 알게 된다면 단어가 주어졌을 때 스팸일 확률을 계산할 수 있게 된다.

2.3 다수 단어를 가정한 베이즈 정리

우선 다수 단어를 \(W\)라고 가정한다. 즉, \(W = w_1 , w_2 , \cdots , w_n\) 라고 다수 단어를 표현한다. 그리고, 각 단어가 서로 독립적이라는 가정을 넣으면 수식은 다음과 같이 단순화된다.

\[\begin{aligned} P(s|W) &= \frac {P(W|s) P(s)}{P(W)} \\ &= P(w_1 , w_2 , \cdots , w_n |s) P(s) \\ &= P(w_1 |s)P(w_2 |s) \cdots P(w_n |s) \end{aligned} \]

3.1 환경설정과 데이터 가져오기

http://www.dt.fee.unicamp.br/~tiago/smsspamcollection/smsspamcollection.zip 웹사이트에서 직접 다운로드 해서 모형 개발 디렉토리 넣고 압축을 풀어 분석을 수행해도 된다.

# 0. 환경설정 -------------------------------------
library(tidyverse)
library(tidytext)
library(caret)

sms_raw <- read_delim("data/SMSSpamCollection/SMSSpamCollection.txt", delim="\t", col_names = FALSE)

3.2 tidytext 데이터 전처리

기본적으로 스팸이냐 아니냐는 sms_raw$type 변수에 저장되어 있다. 즉, 스팸이냐 아니냐는 SMS 단문 메시지에 담긴 문자내용이 핵심인데, 나이브 베이즈 모형에 넣도록 단어를 추출해서 이를 문선단어행렬(DocumentTermMatrix)로 변환시키는데 tidytext 팩키지를 사용해서 데이터를 정제하고, 기계학습 모형 적합을 위한 훈련/시험 데이터로 분할시킨다.

이 전체 과정을 tidytext 작업흐름에 맞춰 코드를 작성한다.

1. mutate() 함수로 스팸이냐 아니냐를 요인형으로 변환시킨다.
2. 단문 SMS 텍스트를 소문자로 str_to_lower() 함수로 변환시킨다.
3. unnest_tokens() 함수로 토큰화한다.
4. 불용어(stop_words) 사전을 사용해서 불용어를 anti_join() 함수로 제거한다.
5. 영단어를 위해서 SnowballC 팩키지 wordStem() 함수로 어간을 추출한다.

# 2. 데이터 전처리 -------------------------------------
sms_tbl <- sms_raw %>% 
  as_tibble() %>% 
  set_names(c("type", "text")) %>% 
    mutate(type = ifelse(type=="spam", 1, 0) %>% as.factor) %>% 
    mutate(sms_id = row_number())

sms_token <- sms_tbl %>% 
  mutate(text = str_to_lower(text)) %>% 
  unnest_tokens(input=text, output="word", token="words") %>% 
  anti_join(stop_words) %>% 
  mutate(word = SnowballC::wordStem(word))

3.3 tidytext DTM 생성 ³

caret 예측모형 생성을 위해서 basetable을 만들어야 한다. 이를 위해서 DTM(Document Term Matrix)를 생성한다. 이를 위해서 cast_dtm() 함수를 사용한다.

sms_dtm <- sms_token %>% 
  count(sms_id, word) %>% 
  cast_dtm(document=sms_id, term=word,
           value =n, weighting = tm::weightTfIdf)
sms_dtm

<<DocumentTermMatrix (documents: 4739, terms: 7433)>>
Non-/sparse entries: 34909/35190078
Sparsity           : 100%
Maximal term length: 42
Weighting          : term frequency - inverse document frequency (normalized) (tf-idf)

예측모형을 만들 때 DTM 크기가 중요하다. 이를 위해서 removeSparseTerms() 함수를 사용해서 파일 크기를 줄이는 방법을 살펴보자.

sparity_rates <- seq(0.9, 0.999, 0.01)
dtm_size <- list()

for(i in seq_along(sparity_rates)) {
  dtm_size[[i]] <- tm::removeSparseTerms(sms_dtm, sparse = sparity_rates[i])
  # cat(length(dtm_size[[i]]$dimnames$Terms), "\n")
  # cat(dtm_size[[i]]$dimnames$Docs, "\n")
}

sms_sparse_dtm <- tm::removeSparseTerms(sms_dtm, sparse = 0.99)
sms_sparse_dtm

<<DocumentTermMatrix (documents: 4739, terms: 94)>>
Non-/sparse entries: 9384/436082
Sparsity           : 98%
Maximal term length: 8
Weighting          : term frequency - inverse document frequency (normalized) (tf-idf)