TF-IDF 是一种衡量词对文档重要性的统计方法，由词频（TF）和逆文档频率（IDF）相乘得到。文章详细解释了其定义、计算公式、手算示例，并指出了中文分词、停用词过滤、语义理解局限等常见坑点。最后提供了基于 Python sklearn 库的实战代码，展示了如何快速构建 TF-IDF 向量。该方法在传统 NLP 任务如关键词抽取、搜索引擎和文本相似度计算中依然具有基石地位。
当我们处理文本任务时，经常会遇到一个核心问题：计算机如何理解一段文字？机器并不懂语言，它只能理解数字。所以无论是做文本分类、搜索引擎、文本相似度、关键词抽取还是推荐系统，都绕不开一个关键步骤：把文本转成可用于计算的数字特征（向量）。
而在传统 NLP 中，最经典、最稳定、最常用的特征工程方法之一，就是 TF-IDF。它不用深度学习，也不需要训练模型，却能用统计方式给每个词赋予一个重要性评分，从而帮助我们提取关键词、计算相似度、构建检索系统，是理解 NLP 的一个经典起点。
TF-IDF 是一种衡量某个词对某篇文章有多重要的方法。
所以：
TF-IDF = 词在文档中出现得多（TF） × 词在全体文档中越稀有越重要（IDF）
我们在做关键词抽取、文本分类、相似度计算、搜索引擎（最经典应用）、文本向量化（传统 NLP 的基本操作）时，都需要把文字变成数值特征，而 TF-IDF 就是一种经典的词重要性数值化方法。
词频：某个词在一篇文档里出现的频率。
最常见形式：
TF(t,d) = count(t,d) / sum(count(w, d))
意思就是：词 t 在文档 d 的出现次数 / 文档总词数。
文档 d：我 爱 北京 北京 天安门
TF(北京,d)=2/5=0.4
词的逆文档频率：某个词在整个语料库中出现得越少，它越能区分文档 → 越重要。
最常见形式：
IDF(t) = log(N / df(t))
为了避免某个词从不出现导致除零：
IDF(t) = log((N + 1) / (df(t) + 1)) + 1
TFIDF(t,d)=TF(t,d)×IDF(t)
一个词在文档里出现多（TF）且在全库里稀有（IDF） → TFIDF 高 → 关键词
我们有 3 篇文档：
N = 3
| 词 | 出现在哪些文档 | df |
|---|---|---|
| 我 | D1 D2 D3 | 3 |
| 爱 | D1 D2 D3 | 3 |
| 北京 | D1 D3 | 2 |
| 上海 | D2 | 1 |
IDF(我)=log(3/3)=0 IDF(爱)=0 IDF(北京)=log(3/2)=0.176 IDF(上海)=log(3/1)=1.099
D3 = "我 爱 北京 北京" 总词 4
TFIDF(北京,D3)=0.5×0.176=0.088
在 D2：
TFIDF(上海,D2)=0.333×1.099=0.366
上海比北京更能代表 D2，因为它更稀有。
它不是词有多重要，而是词能不能代表这一篇，并能和其他文章区别开。
所以：
TF-IDF 是基于词的，中文必须先分词。
一般做法：
比如：的、是、在、了、我、你
否则这些词大量出现导致向量质量很差。
有些版本会用：
它只看词统计，不懂：
所以它适合：关键词/检索/文本相似度 不适合：深层语义理解（需要 BERT 这类模型）
你应该能回答这三个问题：
我们有 4 篇文档：
问题： 1）哪个词在整个语料库里 IDF 最大？ 2）D1 的关键词可能是什么？（按 TF-IDF 最大判断） 3）为什么喜欢一定 TF 很高但 TF-IDF 很低？
from sklearn.feature_extraction.text import TfidfVectorizer
docs = [
"我 爱 北京",
"我 爱 上海",
"我 爱 北京 北京"
]
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(docs)
print(vectorizer.get_feature_names_out())
print(X.toarray())
输出：
虽然深度学习现在很强，但 TF-IDF 仍然在很多场景里依然实用：
它是最经典、最耐用的 NLP 基础工具之一。掌握它，就掌握了传统文本特征工程的核心。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online