Java分词工具模糊查询,中文分词在大量数据模糊查询中的应用

搜索热词

最近在做建筑行业相关的项目，遇到的一个应用场景是解析材料名称。由于输入的数据中材料名称非常不规范，而且数量量又非常大，所以处理起来比较困难。

名称不规范的意思是，比如标准材料叫：“圆钢”，材料中出现的名称有：“钢筋圆钢”，“圆钢HPB300”，“钢筋 圆钢(≤Φ10)”等等，也就是说材料名称前面或者后面很多修饰语(一般情况是前面是材料分类，后面是型号信息)。

一般的思路就是关键字匹配，但是由于数据量比较大，一般上千条，而标准材料数量也上千条左右。所以用这种方法的话，就是两个for循环，循环次数非常多：

@H_404_6@for _,v := range materialList {

for _,v1 := range standardList { // 一共上千条

if strings.Contain(v,v1) {

// 找到了标准材料

do something

break

}

}

}

新的思路是使用中文分词，将标准材料放在字典里面，如下：

{

// 键为标准材料名称，值为材料信息

“圆钢”: xxxxxxx,

"螺纹钢": xxxxxxx,

......

}

在解析材料数据的时候，先对材料进行分词，比如“钢筋圆钢”就会分为“钢筋”，“圆钢”，“圆钢HPB300”会分为"圆钢"，“HPB300”等等。

分词之后，在词的数组中从后往前(针对我的应用场景)在字典中查找，直到键匹配成功。一般分词之后词的数量不会太多，基本都在5条以内，所以效率比较高。

这样将以前的内部循环匹配查找转换为分词操作和字典查找，只要分词操作性能高的话，整体查找效率会比第一种方法高很多。

其他类似场景也可以使用这种思路来提升程序的性能。

最后推荐一个我使用的go的中文分词库：segohttps://github.com/huichen/sego

总结

如果觉得编程之家网站内容还不错，欢迎将编程之家网站推荐给程序员好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。