用Python分析hanlp和结巴分词的优劣

新知榜官方账号

2023-09-25 02:26:22

介绍

买过与hanlp配套的书《自然语言处理入门》，自然而然想着就用喊hanlp来做自然语言处理。并且hanlp目前还提供了2.0版本api接口，使用了深度学习这个高大上的工具。呵呵，但效果还要比较了才知道。功能比较下图的hanlp官网的功能界面。功能全面，而且提供的教学视频把各种功能的应用场景也讲清楚了。我就使用了他家api。

分词结果比较-四字词语需要分词的文本如下：这是从晋江文学网下载的小说免费章节部分。使用hanlp的api每次传输大小有限制。把原文本分割后多进程调用api,我已经写成函数了。但是因为网络请求，分词非常慢。而且api调用使用次数限制的，超过后需要付费。

#hanlp中分词，使用api
sp_text=[]
for i in range(math.ceil(len(string)/850)):
sp_text.append(string[i*850:(i+1)*850])
num_process=10
with multiprocessing.Pool(processes=num_process) as pool:
results_seg=pool.map(get_seg_hanlp,sp_text)
pool.close()

而结巴分词不需要限制大小。分词的词典加载到cache之后调用非常快。加载词典也就1秒多点。

#结巴分词
seg=get_seg(string)

两者结果分词结果中大小为四字的词比较（hanlp分词使用的是crf.）：可以看出crf分词后的结果较结巴分词更宽泛，把很多不是成语或常用组合也分在了一起（之所以是crf因为它家视频教程里面推荐的）。而使用hanlp的标准分词后，分词比结巴还要严格些：

结尾通过以上比较和使用情况，Jieba可以把分词任务处理得恰恰令我满意了，hanlp虽然花样多，但分词粗了，细了都逼人难受。hanlp还有其他分词接口，但我就是试用的几个都不舒服。另外，hanlp1.x的python版可以下载，但是它的一个依赖的版本已经不在pypi了，所以不能直接下载，而且2.x都出来了，还用1.x干嘛，可能都没维护了。

本页网址：https://www.xinzhibang.net/article_detail-13534.html

寻求报道，请

关键词

Python hanlp 结巴分词自然语言处理分词

分享至微信：

相关工具

GitHub AI编程工具

MarsX

AI无代码软件开发

Sketch2Code

微软AI Lab推出的将手绘草图转换成HTML代码工具

Locofy

AI无代码工具将Figma、Adobe XD和Sketch设计转换成前端代码

Tabnine

AI代码自动补全编程助手

Hocoos

无代码AI智能在线快速创建网站

语音识别概念与技术

语音识别概念与技术语音识别是将人类语音转换为计算机可读的输入的技术。在语音识别过程中，包括语音信号采集、特征提取、模型训练、模型测试和应用部署。语音识别流程语音信号采集、特征提取、模型训练、模型测试和应用部署是语音识别的流程。语音识别算法常见的语音识别算法有隐马尔科夫模型、最大熵模型、支持向量机和深

分类标签语音识别算法麦克风

12-07 22:47

为什么越想让业绩增长越难增长，如何让业绩顺其自然且高效增长老陈的深度思考

为什么越想让业绩增长越难增长，如何让业绩顺其自然且高效增长老陈的深度思考业绩增长是企业的核心目标之一，但是很多企业却发现，越是想让业绩增长，反而越难增长。这是为什么呢？首先，我们需要明确一点，企业的业绩增长不能仅仅依靠销售人员的努力，它需要全企业的共同努力。而在实际操作中，往往存在以下问题：过分依赖

分类标签业绩增长高效增长市场产品经理

12-06 08:01

iPhone6s HeySiri功能随时启用，但不会泄露隐私

iPhone6s HeySiri功能随时启用，但不会泄露隐私在刚发布不久的苹果iPhone6s和iPhone6sPlus上有不少亮点，其中就包括可一直处于待命状态的新版“HeySiri”功能，有人担心这项新特性会导致“一呼百应”的尴尬情况，其实大可放心。得益于A9/A9X处理器中集成了M9协处理器，

分类标签 iPhone6sHeySiri语音控制

12-06 04:24

iOS9功能抄袭安卓？用户才是赢家

iOS9功能抄袭安卓？用户才是赢家近日发布的iOS9可谓吸引了众多果粉目光，尤其LightShift功能可谓是深深动摇了那些固守在iOS8的粉丝的心。似曾相识？没错，和f.lux插件功能基本一致，f.lux是一款会根据时间变化，自动调节电脑屏幕的亮度、色彩，让电脑、手机屏幕始终适合保持在适合阅读的状

分类标签 iOS9安卓抄袭

12-06 04:23

微软新一代语音合成模型NaturalSpeech2：零样本语音合成的跨越式发展

背景介绍近期微软推出了语音合成模型NaturalSpeech2，只需几秒提示语音即可定制语音和歌声，实现了零样本语音合成的跨越式发展。在TTS领域，微软亚洲研究院机器学习组和微软Azure语音团队早已深耕多年，并在近期推出了语音合成模型NaturalSpeech2，只需几秒提示语音即可定制语音和歌声

分类标签微软语音合成NaturalSpeech2

12-06 04:22

大模型在智能汽车中的应用趋势

近年来，大模型在智能汽车中的应用越来越广泛，越来越多的车企通过自研或合作的方式上车大模型。大模型将对汽车的智能化进行多方面赋能，包括增强语音交互、助力自动驾驶、提高内容生成等。目前，大模型在智能汽车中的应用仍存在多模态数据融合、云端算力需求大、车端部署、以及安全性和一致性等问题。随着模型的优化和技术

分类标签大模型智能汽车自动驾驶

12-06 04:21

华为推出语音助手Celia，可通过HeyCelia唤醒Siri

华为推出语音助手Celia，可通过HeyCelia唤醒Siri3月27日消息，在开通Siri的iPhone上喊出华为P40系列发布会上语音命令HeyCelia（西莉亚，[ˈsiːlɪə]），可以唤醒Siri让人意外，但这不是个例，不少网友反馈，IT之家也尝试了一番，发现通过HeyCelia语言能够近

分类标签华为语音助手Celia

12-06 04:20

自然语言界面：开启人机交互的全新篇章

自然语言界面：开启人机交互的全新篇章随着人工智能技术的发展和普及，自然语言界面逐渐成为了人机交互的重要方式之一。自然语言界面指的是通过自然语言进行交互的界面，即人们可以使用自然语言（如中文、英文等）与计算机进行交互，而不需要通过鼠标、键盘等输入设备。自然语言界面的应用范围非常广泛，包括语音识别、智能

分类标签自然语言界面人机交互用户体验设计

12-04 08:00

2步打通ModelArts和Astro实现AI应用落地

引言随着GPT火爆全球，人工智能（AI）逐渐成为当今最具创新性和前景的技术之一，它可以为各行各业带来巨大的价值和变革。然而，AI应用的开发和部署并不是一件容易的事情，它需要涉及数据处理、算法开发、模型训练、应用构建、部署管理等多个环节，而且需要有专业的技术人员和复杂的工具链。对于很多企业来说，这是一

分类标签 ModelArtsAstroAI应用机器学习深度学习低代码开发平台

11-28 02:10

ChatGPT及其应用

ChatGPT及其应用今年初，一种名为ChatGPT的智能对话机器人模型开始了全球范围内的人类智能热潮，不知道大家听说过没有呢？简单来了解一下，这个模型是由OpenAI公司推出的，采集并利用了深度学习捕捞练习模型来真实对话，具有自然性和流畅性。在未来，ChatGPT这种基于大规模自然语言处理技术的人

分类标签 ChatGPT智能对话机器人人工智能

11-28 02:09

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway