TF-IDF

tf-idfは、文書中の単語に関する重みの一種であり、主に情報検索や文章要約などの分野で利用される。tf-idfは、tf（Term Frequency、単語の出現頻度）とidf（Inverse Document Frequency、逆文書頻度）の二つの指標にもとづいて計算される。<math> \\mathrm = \\mathrm \\cdot \\mathrm </math><math> \\mathrm = \\frac</math><math> \\mathrm = \\log \\frac</math><math> n_ </math>は単語<math> t_i </math>の文書<math> d_j </math>における出現回数、<math></math>は文書<math> d_j </math>におけるすべての単語の出現回数の和、<math> |D| </math>は総文書数、<math>|\\|</math>は単語<math> t_i </math>を含む文書数である。そのため、idfは一種の一般語フィルタとして働き、多くの文書に出現する語（一般的な語）は重要度が下がり、特定の文書にしか出現しない単語の重要度を上げる役割を果たす。