在自然语言处理（NLP）流程中，分词与词性标注构成两大基础基石。前者将连续文本序列切分为语义独立的词汇单元，后者为每个词汇赋予名词、动词、形容词等语法属性。Python 拥有极其丰富的 NLP 生态，本文将全面梳理处理这两大任务的主流库，涵盖 jieba、spaCy、HanLP、LTP、NLTK 和 Stanza，并分析其功能特点与适用场景。
一、中文分词的“多面手”——Jieba
jieba 是 Python 中文分词领域的入门标准及目前国内最为流行的轻量级分词库。
1. 核心功能与特点
•分词模式多样。支持三种切分模式。精确模式试图将句子最精确地切开，适合文本分析；全模式把句子中所有可以成词的词语都扫描出来，速度极快，但无法解决歧义；搜索引擎模式则在精确模式基础上对长词再次切分，提高召回率，适用于搜索引擎分词。•算法机制。基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况的有向无环图（DAG），并采用动态规划查找最大概率路径，找出基于词频的最大切分组合。针对未登录词，采用了基于汉字成词能力的 HMM（隐马尔可夫模型）模型。•词性标注。结合 jieba.posseg 模块，使用 HMM 进行词性标注，支持自定义词典。•关键词提取。内置了 TF-IDF 和 TextRank 算法用于关键词提取。
2. 优缺点
•优点。安装简单、社区活跃、文档丰富、支持自定义词典（解决特定领域词识别问题）、支持并行分词。•缺点。对新词（未登录词）的识别能力有限。相比基于深度学习的模型，其在复杂语境下的分词精度略低。
二、工业级 NLP 强者——spaCy
spaCy 被誉为“工业级的 NLP 库”，不仅仅是一个分词工具，更是一个完整的端到端 NLP 流水线。虽然以英文处理著称，其对中文的支持也日益成熟。
1. 核心功能与特点
•设计理念。注重性能和易用性，不提供多种算法选择，而是提供“该任务下目前效果最好”的默认模型。•深度学习集成。使用了基于卷积神经网络（CNN）或 Transformer（如 BERT）的统计模型。•多维处理。在分词的同时，一次性完成词性标注、依存句法分析、命名实体识别（NER）和词形还原。•面向对象。处理后的数据被封装在 Doc、Token、Span 对象中，数据访问极为便利。•中文支持。spacy-zh 项目集成了优秀中文分词器的训练数据，提供高质量的中文模型。
2. 优缺点
•优点。处理速度极快（GPU 加速下表现惊人）、内存占用低、API 设计优雅、功能集成度高（一套模型搞定多任务）。•缺点。中文模型相对于英语模型略少，定制化训练（如训练自己的分词器）门槛比 Jieba 高。
三、学术与前沿的中文处理——HanLP 与 LTP
处理对精度要求极高的中文任务时，通常需要用到专门的语言技术平台（LTP）或基于深度学习的 HanLP。
1. HanLP
HanLP 是一系列模型与算法组成的 NLP 工具包，功能强大且开源。
•特点。功能极其强大，提供从分词、词性标注到句法分析、语义分析的全栈能力。HanLP 2.0 版本基于 PyTorch，支持加载预训练模型（如 BERT、Albert）进行分词。•优势。在数据驱动的中文分词竞赛中，HanLP 常常名列前茅，对长难句和歧义句的处理能力远超传统词典方法。
2. LTP (哈工大语言技术平台)
LTP 由哈工大社会计算与信息检索研究中心研制。
•特点。历史悠久，学术严谨。提供分词、词性标注、命名实体识别、依存句法分析等功能。•优势。在中文领域具有很高权威性。提供深度学习版本的 ltp，准确率极高，特别适合中文语言学深度研究。
四、教学与研究的经典——NLTK
此类库更多用于学术研究或作为英语处理的首选，但也支持多语言。
1. NLTK (Natural Language Toolkit)
•定位。NLP 领域的“圣经”级教学库。•特点。包含大量语料库和算法演示。虽然具备分词功能（如 word_tokenize），但在生产环境中速度较慢，且对中文的支持需要额外配置（如使用 Stanford CoreNLP 的接口）。•适用场景。学习 NLP 算法原理、原型验证、处理英文文本。
五、横向对比与选型建议
为直观展示各库差异，以下表格总结了其核心维度。
| 库名 | 语言侧重 | 核心算法/模型 | 速度 | 准确率 (中文) | 上手难度 | 适用场景 |
|---|---|---|---|---|---|---|
| Jieba | 中文 | 词典 + HMM | 快 | 中等 | ⭐ (极易) | 快速原型、爬虫数据处理、教学入门 |
| spaCy | 多语言 (英强) | CNN / Transformer | 极快 | 中高 | ⭐⭐ | 生产环境、大规模数据处理、NLP 流水线 |
| HanLP | 中文 | 深度学习 / CRF | 中等 | 极高 | ⭐⭐⭐ | 高精度需求、企业级应用、复杂句法分析 |
| LTP | 中文 | 深度学习 / 深度栈网络 | 中等 | 极高 | ⭐⭐⭐ | 中文学术研究、权威基准测试 |
| NLTK | 多语言 | 经典规则/统计 | 慢 | 中 (需配置) | ⭐⭐ | 学习算法原理、英文文本分析 |
选型指南
1.刚入门或需处理简单中文数据时，首选 Jieba。其几乎不需要配置，几行代码即可运行，且可通过添加自定义词典快速解决专有名词识别问题。2.构建工业级产品，需极高吞吐量和综合 NLP 能力时，首选 spaCy。其对象化设计让数据流转非常方便，且对 CPU/GPU 的利用率极高，适合集成到大型后端服务中。3.进行论文研究或对分词精度有极高要求时，推荐 HanLP。其基于深度学习的模型在解决歧义（如“结婚的和尚未结婚的”）和未登录词识别上，效果远好于基于规则或 HMM 的工具。特别是 LTP，在中文语言学分析方面具有权威性。4.主要处理英文或需要学习算法原理时，推荐 NLTK。其拥有详尽的文档和教程，是理解 NLP 基础概念的最佳工具。
六、 实战体验
Python 的 NLP 生态很丰富，这里简单演示的只是从轻量高效的 jieba 到全能强悍的 spaCy，再到学术场景的 HanLP，开发者应根据项目的具体需求（是追求速度、精度，还是多语言支持）来选择合适的工具。 在实际工程中，往往不是单打独斗。例如，可以使用 Jieba 进行粗粒度的初步清洗，再接入 HanLP 进行精细化的语义分析；或者在 spaCy 的流水线中嵌入自定义的统计模型，联合使用或许能在 NLP 的道路上走得更远。
首先安装这些库：
# 使用清华 TUNA 镜像源安装所有库pip install jieba spacy hanlp ltp nltk -i https://pypi.tuna.tsinghua.edu.cn/simple
# 下载 spaCy 中文模型python -m spacy download zh_core_web_sm
# 下载 NLTK 数据python -m nltk.downloader punkt averaged_perceptron_tagger
然后就可以运行下面的代码：
import warningswarnings.filterwarnings('ignore')import jieba, jieba.posseg as pseg, jieba.analyseimport spacy, hanlpfrom ltp import LTPimport nltk# =============================================================================# 全局配置与工具函数# =============================================================================TEXT = "中国传媒大学位于北京，是中国顶尖的高等学府之一。"summary = {}def sec(title): """打印章节头""" print(f"\n{'='*20} {title} {'='*20}")def show(label, data): """智能打印结果 (支持2元组对齐，也支持多元组列表)""" print(f"\n [{label}]") if isinstance(data, str): print(f" {data}") elif isinstance(data, list) and data: if isinstance(data[0], str): # 简单字符串列表 print(f" {' / '.join(data)}") elif isinstance(data[0], (tuple, list)): # 元组/列表 (如 词性, NER, 依存句法) for item in data[:10]: s_items = [str(x) for x in item] # 如果是两个元素，使用对齐箭头；多个元素使用竖线分隔 if len(s_items) == 2: print(f" {s_items[0]:12s} -> {s_items[1]}") else: print(f" {' | '.join(s_items)}") else: print(f" {data}") else: print(f" {data}")def save_res(lib_name, words): """保存结果用于汇总""" summary[lib_name] = ' / '.join(words) if isinstance(words, list) else words# =============================================================================# 1. Jieba (轻量级中文分词)# =============================================================================sec("1. Jieba")# 分词words = list(jieba.cut(TEXT))show("精确分词", words)save_res('Jieba', words)# 词性show("词性标注", [(w.word, w.flag) for w in pseg.cut(TEXT)])# 关键词keywords = jieba.analyse.extract_tags(TEXT, topK=3, withWeight=True)show("TF-IDF 关键词", [f"{k} ({w:.2f})" for k, w in keywords])# =============================================================================# 2. spaCy (工业级 NLP)# =============================================================================sec("2. spaCy")nlp = spacy.load("zh_core_web_sm")doc = nlp(TEXT)show("分词&词性", [(t.text, t.pos_) for t in doc])show("命名实体", [(e.text, e.label_) for e in doc.ents])# 这里是修复点：传递3个元素的元组，show函数现在能正确处理show("依存句法", [(t.text, t.dep_, t.head.text) for t in doc])save_res('spaCy', [t.text for t in doc])# =============================================================================# 3. HanLP (功能强大)# =============================================================================sec("3. HanLP")HanLP = hanlp.load(hanlp.pretrained.mtl.CLOSE_TOK_POS_NER_SRL_DEP_SDP_CON_ELECTRA_SMALL_ZH)res = HanLP(TEXT)# --- 智能查找分词结果 (兼容不同版本的 Key) ---tok_result = res.get('tok') or res.get('tok/fine') or res.get('tok/coarse')show("分词", tok_result)save_res('HanLP', tok_result)# =============================================================================# 4. LTP (哈工大语言平台)# =============================================================================sec("4. LTP")ltp = LTP()output = ltp([TEXT]) show("分词", output.cws)show("词性", output.pos)save_res('LTP', output)# =============================================================================# 5. NLTK (经典教学库)# =============================================================================sec("5. NLTK")nltk.download('punkt_tab', quiet=True)nltk.download('averaged_perceptron_tagger_eng', quiet=True)en_text = "The University of Tsinghua is located in Beijing."show("英文分词", nltk.word_tokenize(en_text))show("英文词性", nltk.pos_tag(nltk.word_tokenize(en_text)))save_res('NLTK', "英文专用")
得到的运行结果如下所示：
==================== 1. Jieba ====================Building prefix dict from the default dictionary ...Loading model from cache /tmp/jieba.cacheLoading model cost 0.404 seconds.Prefix dict has been built successfully.
[精确分词] 中国 / 传媒大学 / 位于 / 北京 / ， / 是 / 中国 / 顶尖 / 的 / 高等学府 / 之一 / 。
[词性标注] 中国 -> ns 传媒大学 -> n 位于 -> v 北京 -> ns ， -> x 是 -> v 中国 -> ns 顶尖 -> n 的 -> uj 高等学府 -> l
[TF-IDF 关键词] 传媒大学 (1.51) / 高等学府 (1.17) / 顶尖 (1.11)
==================== 2. spaCy ====================
[分词&词性] 中国 -> PROPN 传媒 -> NOUN 大学 -> NOUN 位于 -> VERB 北京 -> PROPN ， -> PUNCT 是 -> VERB 中国 -> PROPN 顶尖 -> ADJ 的 -> PART
[命名实体] 中国传媒大学 -> ORG 北京 -> GPE 中国 -> GPE
[依存句法] 中国 | compound:nn | 大学 传媒 | compound:nn | 大学 大学 | nsubj | 位于 位于 | ROOT | 位于 北京 | dobj | 位于 ， | punct | 位于 是 | cop | 之一 中国 | nmod | 之一 顶尖 | amod | 之一 的 | mark | 顶尖
==================== 3. HanLP ====================
[分词] 中国 / 传媒 / 大学 / 位于 / 北京 / ， / 是 / 中国 / 顶尖 / 的 / 高等 / 学府 / 之一 / 。
==================== 4. LTP ====================
[分词] 中国 | 传媒 | 大学 | 位于 | 北京 | ， | 是 | 中国 | 顶尖 | 的 | 高等 | 学府 | 之一 | 。
[词性] ns | n | n | v | ns | wp | v | ns | b | u | b | n | r | wp
==================== 5. NLTK ====================
[英文分词] The / University / of / Tsinghua / is / located / in / Beijing / .
[英文词性] The -> DT University -> NNP of -> IN Tsinghua -> NNP is -> VBZ located -> VBN in -> IN Beijing -> NNP . -> .
预览时标签不可点
Close
更多
Name cleared
微信扫一扫赞赏作者
Like the AuthorOther Amount
赞赏后展示我的头像
作品
暂无作品
Like the Author
Other Amount
¥
最低赞赏 ¥0
OK
Back
Other Amount
更多
赞赏金额
¥
最低赞赏 ¥0
1
2
3
4
5
6
7
8
9
0
.
Python语言程序设计 · 目录
Python语言程序设计
上一篇Python 基础语法5分钟入门下一篇对ReLU、GELU、SwiGLU的Python实现和可视化
Close
更多
搜索「」网络结果
Close
调整当前正文文字大小
更多
100%