TF-IDF

문서 단어 행렬(DTM) 의 단점, 중요한 단어에 대해서 가중치를 주지 못하는 단점을 보완한 방법이 단어 빈도-역 문서 빈도(TF-IDF: Term Frequency-Inverse Document Frequency) 이다. 문서의 빈도에 특정 식을 취하여 DTM 내의 각 단어들에 가중치를 주는 방법이다. TF-IDF 의 값이 높을수록 중요도가 높다. TF-IDF 의 특징은 모든 문서에서 자주 등장하는 a 나 the 같은 단어는 중요도가 낮다고 판단하며, 특정 문서에서만 자주 등장하는 단어를 중요도가 높다고 판단한다.

IF-IDF 에 적용되는 특정 식은 TF 값 과 IDF 값을 곱하는 것이다. (IDF 값은 DF 값의 역수이다.)

• tf(d,t) : 특정 문서 d 에서의 특정 단어 t 의 등장 횟수.
• df(t) : 특정 단어 t가 등장한 문서의 수.
• idf(d,t) : df(t)에 반비례하는 수. n 을 총 문서 개수라고 할 때, 자연로그 ln(n/(1+df(t))) 

import pandas as pd
from math import log
 
docs = [
  '먹고 싶은 사과',
  '먹고 싶은 바나나',
  '길고 노란 바나나 바나나',
  '저는 과일이 좋아요'
]
 
vocab = list(set(w for doc in docs for w in doc.split()))  # 중복 제거, 단어 토큰화
vocab.sort()  # 오름차순 정렬 : ['과일이', '길고', '노란', '먹고', '바나나', '사과', '싶은', '저는', '좋아요']
 
N = len(docs)  # 총 문서 수
 
def tf(t, d):
    return d.count(t)
 
def idf(t):
    df = 0
    for doc in docs:
        df += t in doc  # in 연산. True / False... True = 1
    return log(N/(df + 1))
 
def tfidf(t, d):
    return tf(t, d) * idf(t)
 
result = []
for i in range(N):  # 각 문서별
    result.append([])
    d = docs[i]
    for j in range(len(vocab)):
        t = vocab[j]
        result[-1].append(tf(t,d))  # tf : 문서별 단어 빈도수 구하기
        # [[0, 0, 0, 1, 0, 1, 1, 0, 0], [0, 0, 0, 1, ...
 
tf_ = pd.DataFrame(result, columns = vocab)
""" DTM
   과일이  길고  노란  먹고  바나나  사과  싶은  저는  좋아요
0    0   0   0   1    0   1   1   0    0
1    0   0   0   1    1   0   1   0    0
2    0   1   1   0    2   0   0   0    0
3    1   0   0   0    0   0   0   1    1
"""
 
result = []
for j in range(len(vocab)):
    t = vocab[j]
    result.append(idf(t))
 
idf_ = pd.DataFrame(result, index = vocab, columns = ["IDF"])
"""
          IDF
과일이  0.693147
길고   0.693147
노란   0.693147
먹고   0.287682
바나나  0.287682
사과   0.693147
싶은   0.287682
저는   0.693147
좋아요  0.693147
"""
 
result = []
for i in range(N):
    result.append([])
    d = docs[i]
    for j in range(len(vocab)):
        t = vocab[j]
        result[-1].append(tfidf(t,d))
 
tfidf_ = pd.DataFrame(result, columns = vocab)
"""
        과일이        길고        노란  ...        싶은        저는       좋아요
0  0.000000  0.000000  0.000000  ...  0.287682  0.000000  0.000000
1  0.000000  0.000000  0.000000  ...  0.287682  0.000000  0.000000
2  0.000000  0.693147  0.693147  ...  0.000000  0.000000  0.000000
3  0.693147  0.000000  0.000000  ...  0.000000  0.693147  0.693147
"""

공교롭게도 바나나가 잘렸지만; 문서2 에서의 바나나 tfidf(0.28) 보다, 문서3 에서의 바나나 tfidf(0.57) 가 높은 것으로 보아 문서3 에서의 바나나가 더 중요하다는 것을 인식해야 한다.

TfidfVectorizer 를 이용한 TF-IDF

from sklearn.feature_extraction.text import TfidfVectorizer
 
corpus = [
    'you know I want your love',
    'I like you',
    'what should I do ',
]
 
tfidfv = TfidfVectorizer().fit(corpus)
print(tfidfv.transform(corpus).toarray())
print(tfidfv.vocabulary_)
 
"""
[[0.         0.46735098 0.         0.46735098 0.         0.46735098  0.         0.35543247 0.46735098]
 [0.         0.         0.79596054 0.         0.         0.          0.         0.60534851 0.        ]
 [0.57735027 0.         0.         0.         0.57735027 0.          0.57735027 0.         0.        ]]
{'you': 7, 'know': 1, 'want': 5, 'your': 8, 'love': 3, 'like': 2, 'what': 6, 'should': 4, 'do': 0}
"""