基于python中jieba包的中文分词中详细使用（一）

01.前言

之前的文章中也是用过一些jieba分词但是基本上都是处于皮毛，现在就现有的python环境中对其官方文档做一些自己的理解以及具体的介绍。本文主要内容也是从官网文档中获取。

02.jieba的介绍

02.1 What

“jieba” （Chinese for “to stutter”）Chiese text segmention:built to be the best Python Chinse word segmenmtation module.
"jieba"中文分词：做最好的Python中文分词组件

02.2特点

支持三种分词模式：
精确模式，试图将句子最精确地切开，适合文本分析；
全模式，把句子中所有的可以成词的词语都扫描处理，速度非常快，但是不能解决歧义；
搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于引擎分词。
支持繁体分词
支持自定义词典
MIT授权协议

02.3安装与使用

鉴于当前提供各大包的组织逐渐放弃对Python2的维护，这里也强烈建议使用Python3。jieba分词的安装也是很简单的。
全自动安装的方式：pip install jieba (window环境) pip3 install jieba (Linux环境)；
使用的方式：import jieba

02.4涉及到的算法

基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图 (DAG)
采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合
对于未登录词，采用了基于汉字成词能力的 HMM (隐马尔科夫)模型，使用了 Viterbi 算法

03.主要功能

03.01分词

jieba.cut 方法接受三个输入参数: 需要分词的字符串；cut_all 参数用来控制是否采用全模式；HMM 参数用来控制是否使用 HMM 模型
jieba.cut_for_search 方法接受两个参数：需要分词的字符串；是否使用 HMM 模型。该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细
待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。注意：不建议直接输入 GBK 字符串，可能无法预料地错误解码成 UTF-8
jieba.cut 以及 jieba.cut_for_search 返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语(unicode)，或者用
jieba.lcut 以及 jieba.lcut_for_search 直接返回 list
jieba.Tokenizer(dictionary=DEFAULT_DICT) 新建自定义分词器，可用于同时使用不同词典。jieba.dt 为默认分词器，所有全局分词相关函数都是该分词器的映射。
代码实例

#!/usr/bin/env python# -*- coding: utf-8 -*-# @Date    : 2018-05-05 22:15:13# @Author  : JackPI (1129501586@qq.com)# @Link    : https://blog.csdn.net/meiqi0538# @Version : $Id$import jiebaseg_list = jieba.cut("我来到北京清华大学", cut_all=True)print("全模式: " + "/ ".join(seg_list))  # 全模式seg_list = jieba.cut("我来到北京清华大学", cut_all=False)print("精准模式: " + "/ ".join(seg_list))  # 精确模式seg_list = jieba.cut("他来到了网易杭研大厦")  # 默认是精确模式print(", ".join(seg_list))seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造")  # 搜索引擎模式print(", ".join(seg_list))

输出结果

Building prefix dict from the default dictionary ...Loading model from cache C:\Users\JACKPI~1\AppData\Local\Temp\jieba.cacheLoading model cost 1.026 seconds.Prefix dict has been built succesfully.全模式: 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学精准模式: 我/ 来到/ 北京/ 清华大学他, 来到, 了, 网易, 杭研, 大厦小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, ，, 后, 在, 日本, 京都, 大学, 日本京都大学, 深造[Finished in 1.7s]

03.02添加自定义词典

开发者可以指定自己自定义的词典，以便包含 jieba 词库里没有的词。虽然 jieba 有新词识别能力，但是自行添加新词可以保证更高的正确率
用法： jieba.load_userdict(file_name) # file_name 为文件类对象或自定义词典的路径
词典格式和 dict.txt 一样，一个词占一行；每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒。file_name 若为路径或二进制方式打开的文件，则文件必须为 UTF-8 编码。
词频省略时使用自动计算的能保证分出该词的词频
添加自定义字典举例

创新办 3 i云计算 5凱特琳 nz台中

更改分词器（默认为 jieba.dt）的 tmp_dir 和 cache_file 属性，可分别指定缓存文件所在的文件夹及其文件名，用于受限的文件系统。
使用案例

#!/usr/bin/env python# -*- coding: utf-8 -*-# @Date    : 2018-05-05 22:15:13# @Author  : JackPI (1129501586@qq.com)# @Link    : https://blog.csdn.net/meiqi0538# @Version : $Id$#导入jieba包import jieba#管理系统路径import syssys.path.append("../")#获取自定义词典jieba.load_userdict("userdict.txt")#导入词性标注的包import jieba.posseg as pseg#添加词jieba.add_word('石墨烯')jieba.add_word('凱特琳')#删除词jieba.del_word('自定义词')#元组类型的测试数据test_sent = ("李小福是创新办主任也是云计算方面的专家; 什么是八一双鹿\n""例如我输入一个带“韩玉赏鉴”的标题，在自定义词库中也增加了此词为N类\n""「台中」正確應該不會被切開。mac上可分出「石墨烯」；此時又可以分出來凱特琳了。")#默认分词words = jieba.cut(test_sent)print('/'.join(words))#使用/把分词的结果分开print("="*40)#用于词性标注result = pseg.cut(test_sent)#使用for循环把分出的词及其词性用/隔开，并添加，和空格for w in result:    print(w.word, "/", w.flag, ", ", end=' ')print("\n" + "="*40)#对英文的分割terms = jieba.cut('easy_install is great')print('/'.join(terms))#对英文和汉字的分割terms = jieba.cut('python 的正则表达式是好用的')print('/'.join(terms))print("="*40)# test frequency tunetestlist = [('今天天气不错', ('今天', '天气')),('如果放到post中将出错。', ('中', '将')),('我们中出了一个叛徒', ('中', '出')),]for sent, seg in testlist:    print('/'.join(jieba.cut(sent, HMM=False)))    word = ''.join(seg)    print('%s Before: %s, After: %s' % (word, jieba.get_FREQ(word), jieba.suggest_freq(seg, True)))    print('/'.join(jieba.cut(sent, HMM=False)))    print("-"*40)

结果

Building prefix dict from the default dictionary ...Loading model from cache C:\Users\JACKPI~1\AppData\Local\Temp\jieba.cacheLoading model cost 1.063 seconds.Prefix dict has been built succesfully.李小福/是/创新办/主任/也/是/云计算/方面/的/专家/;/ /什么/是/八一双鹿//例如/我/输入/一个/带/“/韩玉赏鉴/”/的/标题/，/在/自定义/词库/中/也/增加/了/此/词为/N/类//「/台中/」/正確/應該/不會/被/切開/。/mac/上/可/分出/「/石墨烯/」/；/此時/又/可以/分出/來/凱特琳/了/。========================================李小福 / nr ,  是 / v ,  创新办 / i ,  主任 / b ,  也 / d ,  是 / v ,  云计算 / x ,  方面 / n ,  的 / uj ,  专家 / n ,  ; / x ,    / x ,  什么 / r ,  是 / v ,  八一双鹿 / nz ,   / x ,  例如 / v ,  我 / r ,  输入 / v ,  一个 / m ,  带 / v ,  “ / x ,  韩玉赏鉴 / nz ,  ” / x ,  的 / uj ,  标题 / n ,  ， / x ,  在 / p ,  自定义 / l ,  词库 / n ,  中 / f ,  也 / d ,  增加 / v ,  了 / ul ,  此 / r ,  词 / n ,  为 / p ,  N / eng ,  类 / q ,   / x ,  「 / x ,  台中 / s ,  」 / x ,  正確 / ad ,  應該 / v ,  不 / d ,  會 / v ,  被 / p ,  切開 / ad ,  。 / x ,  mac / eng ,  上 / f ,  可 / v ,  分出 / v ,  「 / x ,  石墨烯 / x ,  」 / x ,  ； / x ,  此時 / c ,  又 / d ,  可以 / c ,  分出 / v ,  來 / zg ,  凱特琳 / nz ,  了 / ul ,  。 / x ,  ========================================easy_install/ /is/ /greatpython/ /的/正则表达式/是/好用/的========================================今天天气/不错今天天气 Before: 3, After: 0今天/天气/不错----------------------------------------如果/放到/post/中将/出错/。中将 Before: 763, After: 494如果/放到/post/中/将/出错/。----------------------------------------我们/中/出/了/一个/叛徒中出 Before: 3, After: 3我们/中/出/了/一个/叛徒----------------------------------------[Finished in 2.6s]

03.02调整词典

使用 add_word(word, freq=None, tag=None) 和 del_word(word) 可在程序中动态修改词典。
使用 suggest_freq(segment, tune=True) 可调节单个词语的词频，使其能（或不能）被分出来。
注意：自动计算的词频在使用 HMM 新词发现功能时可能无效。

>>> print('/'.join(jieba.cut('如果放到post中将出错。', HMM=False)))如果/放到/post/中将/出错/。>>> jieba.suggest_freq(('中', '将'), True)494>>> print('/'.join(jieba.cut('如果放到post中将出错。', HMM=False)))如果/放到/post/中/将/出错/。>>> print('/'.join(jieba.cut('「台中」正确应该不会被切开', HMM=False)))「/台/中/」/正确/应该/不会/被/切开>>> jieba.suggest_freq('台中', True)69>>> print('/'.join(jieba.cut('「台中」正确应该不会被切开', HMM=False)))「/台中/」/正确/应该/不会/被/切开

“通过用户自定义词典来增强歧义纠错能力” — https://github.com/fxsjy/jieba/issues/14

04.结束语

更多关于jieba分词的请关注下篇博客：基于python中jieba包的中文分词中详细使用（二）。关于更多是的自然语言处理，可以查看给人微信订阅号，里面包含大量的自然与处理、机器学习文章、学习资料等。

(2条消息) 基于python中jieba包的中文分词中详细使用（一）

文章目录