devbox
AllinToyou
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

【PostgreSQL支持中文的全文检索插件(zhparser)】_postgresql做全文检索 返回得分 支持中文吗

作者：AllinToyou | 2024-06-15 09:09:33

赞

踩

postgresql做全文检索 返回得分 支持中文吗

PostgreSQL本身是支持全文检索的，提供两个数据类型（tsvector,tsquery），并且通过动态检索自然语言文档的集合，定位到最匹配的查询结果。其内置的默认的分词解析器采用空格进行分词，但是因为中文的词语之间没有空格分割，所以这种方法并不适用于中文。

要支持中文的全文检索需要额外的中文分词插件，zhparser就是其中一种，是基于Simple Chinese Word Segmentation(SCWS)中文分词库实现的一个PG扩展。

zhparser的源码地址为：https://github.com/amutu/zhparser
中文分词库的下载地址为：http://www.xunsearch.com/scws/download.php

一、安装中文分词库SCWS和zhparser分词插件

1.下载scws-1.2.3和zhparser的包

  1. postgres@ubuntu-linux-22-04-desktop:~$ cd zhparser/
  2. postgres@ubuntu-linux-22-04-desktop:~/zhparser$ ls
  3. scws-1.2.3.tar.bz2  zhparser-master.zip

image.png


2.安装中文分词库SCWS

  1. root@ubuntu-linux-22-04-desktop:/home/postgres# cd zhparser/
  2. root@ubuntu-linux-22-04-desktop:/home/postgres/zhparser# ls
  3. scws-1.2.3.tar.bz2  zhparser-master.zip
  4. root@ubuntu-linux-22-04-desktop:/home/postgres/zhparser# tar -xf scws-1.2.3.tar.bz2
  5. root@ubuntu-linux-22-04-desktop:/home/postgres/zhparser# ls
  6. scws-1.2.3  scws-1.2.3.tar.bz2  zhparser-master.zip
  7. root@ubuntu-linux-22-04-desktop:/home/postgres/zhparser# cd scws-1.2.3/
  8. root@ubuntu-linux-22-04-desktop:/home/postgres/zhparser/scws-1.2.3# ls
  9. API.md   ChangeLog    Makefile.in  aclocal.m4  config.guess  configure     etc         ltmain.sh  win32
  10. AUTHORS  INSTALL      NEWS         cli         config.h.in   configure.ac  install-sh  missing
  11. COPYING  Makefile.am  README       compile     config.sub    depcomp       libscws     phpext
  12. root@ubuntu-linux-22-04-desktop:/home/postgres/zhparser/scws-1.2.3# ./configure
  13. checking for a BSD-compatible install... /usr/bin/install -c
  14. checking whether build environment is sane... yes
  15. checking for a thread-safe mkdir -p... /usr/bin/mkdir -p
  16. checking for gawk... gawk
  17. checking whether make sets $(MAKE)... yes
  18. checking whether make supports nested variables... yes
  19. checking for gcc... gcc
  20. ...
  21. root@ubuntu-linux-22-04-desktop:/home/postgres/zhparser/scws-1.2.3# make install
  22. Making install in .
  23. make[1]: Entering directory '/home/postgres/zhparser/scws-1.2.3'
  24. make[2]: Entering directory '/home/postgres/zhparser/scws-1.2.3'
  25. make[2]: Nothing to be done for 'install-exec-am'.
  26. make[2]: Nothing to be done for 'install-data-am'.
  27. make[2]: Leaving directory '/home/postgres/zhparser/scws-1.2.3'
  28. make[1]: Leaving directory '/home/postgres/zhparser/scws-1.2.3'
  29. Making install in libscws
  30. make[1]: Entering directory '/home/postgres/zhparser/scws-1.2.3/libscws'
  31. /bin/sh ../libtool --preserve-dup-deps   --tag=CC   --mode=compile gcc -DHAVE_CONFIG_H -I. -I..     -g -O2 -MT charset.lo -MD -MP -MF .deps/charset.Tpo -c -o charset.lo charset.c
  32. libtool: compile:  gcc -DHAVE_CONFIG_H -I. -I.. -g -O2 -MT charset.lo -MD -MP -M

image.png

image.png

3.安装zhparser插件

  1. root@ubuntu-linux-22-04-desktop:/home/postgres/zhparser/scws-1.2.3# su - postgres
  2. postgres@ubuntu-linux-22-04-desktop:~$ cd zhparser/
  3. postgres@ubuntu-linux-22-04-desktop:~/zhparser$ ls
  4. scws-1.2.3  scws-1.2.3.tar.bz2  zhparser-master.zip
  5. postgres@ubuntu-linux-22-04-desktop:~/zhparser$ unzip zhparser-master.zip
  6.  
  7. postgres@ubuntu-linux-22-04-desktop:~/zhparser/zhparser-master$ export SCWS_HOME=/usr/local
  8. postgres@ubuntu-linux-22-04-desktop:~/zhparser/zhparser-master$
  9. postgres@ubuntu-linux-22-04-desktop:~/zhparser/zhparser-master$ make -j 24
  10. gcc -Wall -Wmissing-prototypes -Wpointer-arith -Wdeclaration-after-statement -Werror=vla -Wendif-labels -Wmissing-format-attribute -Wimplicit-fallthrough=3 -Wcast-function-type -Wshadow=compatible-local -Wformat-security -fno-strict-aliasing -fwrapv -fexcess-precision=standard -Wno-format-truncation -Wno-stringop-truncation -g -O2 -fPIC -fvisibility=hidden -I/usr/local/include/scws  -I. -I./ -I/home/postgres/soft-16/include/server -I/home/postgres/soft-16/include/internal  -D_GNU_SOURCE   -c -o zhparser.o zhparser.c
  11. gcc -Wall -Wmissing-prototypes -Wpointer-arith -Wdeclaration-after-statement -Werror=vla -Wendif-labels -Wmissing-format-attribute -Wimplicit-fallthrough=3 -Wcast-function-type -Wshadow=compatible-local -Wformat-security -fno-strict-aliasing -fwrapv -fexcess-precision=standard -Wno-format-truncation -Wno-stringop-truncation -g -O2 -fPIC -fvisibility=hidden -shared -o zhparser.so zhparser.o -L/home/postgres/soft-16/lib    -Wl,--as-needed -Wl,-rpath,'/home/postgres/soft-16/lib',--enable-new-dtags -fvisibility=hidden -lscws -L/usr/local/lib -Wl,-rpath -Wl,/usr/local/lib
  12. postgres@ubuntu-linux-22-04-desktop:~/zhparser/zhparser-master$ make install -j 24
  13. /usr/bin/mkdir -p '/home/postgres/soft-16/lib'
  14. /usr/bin/mkdir -p '/home/postgres/soft-16/share/extension'
  15. /usr/bin/install -c -m 755  zhparser.so '/home/postgres/soft-16/lib/zhparser.so'
  16. /usr/bin/mkdir -p '/home/postgres/soft-16/share/extension'
  17. /usr/bin/mkdir -p '/home/postgres/soft-16/share/tsearch_data'
  18. /usr/bin/install -c -m 644 .//zhparser.control '/home/postgres/soft-16/share/extension/'
  19. /usr/bin/install -c -m 644 .//zhparser--1.0.sql .//zhparser--unpackaged--1.0.sql .//zhparser--1.0--2.0.sql .//zhparser--2.0.sql .//zhparser--2.0--2.1.sql .//zhparser--2.1.sql .//zhparser--2.1--2.2.sql  '/home/postgres/soft-16/share/extension/'
  20. /usr/bin/install -c -m 644 .//dict.utf8.xdb .//rules.utf8.ini '/home/postgres/soft-16/share/tsearch_data/'

进入到数据库里创建插件

  1. postgres@ubuntu-linux-22-04-desktop:~/zhparser/zhparser-master$ psql
  2. Border style is 2.
  3. Line style is ascii.
  4. psql (16.1)
  5. Type "help" for help.
  6.  
  7. postgres<16.1>(ConnAs[postgres]:PID[462964] 2024-05-14/15:13:10)=# create database test_zhparser;
  8. CREATE DATABASE
  9. postgres<16.1>(ConnAs[postgres]:PID[462964] 2024-05-14/15:13:23)=# \c test_zhparser
  10. You are now connected to database "test_zhparser" as user "postgres".
  11. test_zhparser<16.1>(ConnAs[postgres]:PID[463037] 2024-05-14/15:13:28)=#  create extension zhparser;
  12. CREATE EXTENSION
  13. test_zhparser<16.1>(ConnAs[postgres]:PID[463037] 2024-05-14/15:13:38)=# \dx
  14.                          List of installed extensions
  15. +----------+---------+------------+------------------------------------------+
  16. |   Name   | Version |   Schema   |               Description                |
  17. +----------+---------+------------+------------------------------------------+
  18. | plpgsql  | 1.0     | pg_catalog | PL/pgSQL procedural language             |
  19. | zhparser | 2.2     | public     | a parser for full-text search of Chinese |
  20. +----------+---------+------------+------------------------------------------+
  21. (2 rows)
  22.  
  23. test_zhparser<16.1>(ConnAs[postgres]:PID[463037] 2024-05-14/15:13:41)=#  \dFp
  24.           List of text search parsers
  25. +------------+----------+---------------------+
  26. |   Schema   |   Name   |     Description     |
  27. +------------+----------+---------------------+
  28. | pg_catalog | default  | default word parser |
  29. | public     | zhparser |                     |
  30. +------------+----------+---------------------+
  31. (2 rows)

image.png

二、zhparser分词插件的相关配置

zhparser可以将中文切分成下面26种token

  1.  
  2. test_zhparser<16.1>(ConnAs[postgres]:PID[463037] 2024-05-14/15:13:45)=# select ts_token_type('zhparser');
  3. +---------------------------------+
  4. |          ts_token_type          |
  5. +---------------------------------+
  6. | (97,a,"adjective,形容词")       |
  7. | (98,b,"differentiation,区别词") |
  8. | (99,c,"conjunction,连词")       |
  9. | (100,d,"adverb,副词")           |
  10. | (101,e,"exclamation,感叹词")    |
  11. | (102,f,"position,方位词")       |
  12. | (103,g,"root,词根")             |
  13. | (104,h,"head,前连接成分")       |
  14. | (105,i,"idiom,成语")            |
  15. | (106,j,"abbreviation,简称")     |
  16. | (107,k,"tail,后连接成分")       |
  17. | (108,l,"tmp,习用语")            |
  18. | (109,m,"numeral,数词")          |
  19. | (110,n,"noun,名词")             |
  20. | (111,o,"onomatopoeia,拟声词")   |
  21. | (112,p,"prepositional,介词")    |
  22. | (113,q,"quantity,量词")         |
  23. | (114,r,"pronoun,代词")          |
  24. | (115,s,"space,处所词")          |
  25. | (116,t,"time,时语素")           |
  26. | (117,u,"auxiliary,助词")        |
  27. | (118,v,"verb,动词")             |
  28. | (119,w,"punctuation,标点符号")  |
  29. | (120,x,"unknown,未知词")        |
  30. | (121,y,"modal,语气词")          |
  31. | (122,z,"status,状态词")         |
  32. +---------------------------------+
  33. (26 rows)

创建使用zhparser作为解析器的全文搜索的配置

  1. test_zhparser<16.1>(ConnAs[postgres]:PID[463037] 2024-05-14/15:14:36)=#  CREATE TEXT SEARCH CONFIGURATION test_zhparserC (PARSER = zhparser);
  2. CREATE TEXT SEARCH CONFIGURATION

往全文搜索配置中增加token映射

  1. test_zhparser<16.1>(ConnAs[postgres]:PID[463037] 2024-05-14/15:15:54)=# ALTER TEXT SEARCH CONFIGURATION test_zhparserC A
  2. DD MAPPING FOR n,v,a,i,e,l WITH simple;
  3. ALTER TEXT SEARCH CONFIGURATION

上面的token只映射了名词(n)，动词(v)，形容词(a)，成语(i),叹词(e)和习用语(l)6种。词典使用的是内置的simple词典，即仅做小写转换。可以根据自己的需求自定义，实现屏蔽词和同义词归并等功能。

三、测试zhparser中文分词插件

PostgreSQL本身是支持全文检索的，提供两个数据类型（tsvector,tsquery），自带了to_tsquery函数和plainto_tsquery函数，来处理分析搜索语句。

而一个tsvector的值是唯一分词的分类列表，把一话一句词格式化为不同的词条，在进行分词处理的时候tsvector会自动去掉分词中重复的词条，按照一定的顺序装入。处理加工的文本应该通过使用to_tsvector函数来使之规格化,标注化的应用于搜索。

  1. test_zhparser<16.1>(ConnAs[postgres]:PID[474113] 2024-05-14/16:14:15)=# SELECT to_tsquery('english', 'The & Fat & Rats');
  2. +---------------+
  3. |  to_tsquery   |
  4. +---------------+
  5. | 'fat' & 'rat' |
  6. +---------------+
  7. (1 row)
  8.  
  9. test_zhparser<16.1>(ConnAs[postgres]:PID[474113] 2024-05-14/16:16:51)=# SELECT to_tsvector('english', 'The Fat Rats');
  10. +-----------------+
  11. |   to_tsvector   |
  12. +-----------------+
  13. | 'fat':2 'rat':3 |
  14. +-----------------+
  15. (1 row)

如下是针对中文全文检索插件的验证：

  1. test_zhparser<16.1>(ConnAs[postgres]:PID[463037] 2024-05-14/15:24:01)=#  select to_tsvector('test_zhparserC','大连星海湾');
  2. +---------------------+
  3. |     to_tsvector     |
  4. +---------------------+
  5. | '大连':1 '星海湾':2 |
  6. +---------------------+
  7. (1 row)
  8. test_zhparser<16.1>(ConnAs[postgres]:PID[469953] 2024-05-14/15:43:24)=# select to_tsvector('test_zhparserC','大连市星海 广场');
  9. +------------------------------+
  10. |         to_tsvector          |
  11. +------------------------------+
  12. | '大连市':1 '广场':3 '星海':2 |
  13. +------------------------------+
  14. (1 row)

分词的粒度越粗，效率越高，但遗漏的可能性也会高一点，即召回率受影响。

召回率=提取出的正确信息条数 / 样本中的信息条数
准确率=提取出的正确信息条数 / 提取出的信息条数

可以使用函数后边带 @@ ‘xxx&xxx’;的方式判断是否能从取样的文字里提取出的正确信息，像’大连&广’就无法提取到。效率,召回率和准确率3个指标往往不能兼顾，如果想提高召回率，可以对SCWS的一些选项参数进行调节。

  1.  
  2. test_zhparser<16.1>(ConnAs[postgres]:PID[469953] 2024-05-14/15:45:23)=# select to_tsvector('test_zhparserC','大连市星海广场');
  3. +------------------------------+
  4. |         to_tsvector          |
  5. +------------------------------+
  6. | '大连市':1 '广场':3 '星海':2 |
  7. +------------------------------+
  8. (1 row)
  9.  
  10. test_zhparser<16.1>(ConnAs[postgres]:PID[469953] 2024-05-14/15:45:31)=# select to_tsvector('test_zhparserC','大连市星海广场')@@ '大连市&广场';
  11. +----------+
  12. | ?column? |
  13. +----------+
  14. | t        |
  15. +----------+
  16. (1 row)
  17.  
  18. test_zhparser<16.1>(ConnAs[postgres]:PID[469953] 2024-05-14/15:45:39)=# select to_tsvector('test_zhparserC','大连市星海广场')@@ '大连&广场';
  19. +----------+
  20. | ?column? |
  21. +----------+
  22. | f        |
  23. +----------+
  24. (1 row)

也可以使用ts_debug函数，来调试全文检索。这个函数显示的是文档的每个词条通过基本词典的分析和处理的信息。

  1. test_zhparser<16.1>(ConnAs[postgres]:PID[474113] 2024-05-14/16:01:34)=# select ts_debug('test_zhparserC','大连市星海广场');
  2. +-------------------------------------------------+
  3. |                    ts_debug                     |
  4. +-------------------------------------------------+
  5. | (n,"noun,名词",大连市,{simple},simple,{大连市}) |
  6. | (n,"noun,名词",星海,{simple},simple,{星海})     |
  7. | (n,"noun,名词",广场,{simple},simple,{广场})     |
  8. +-------------------------------------------------+
  9. (3 rows)

这个函数返回的信息为：

1.文本别名-词的类型名称
alias text — short name of the token type

2.描述-描述词的类型
description text — description of the token type

3.词内容-词的文本内容
token text — text of the token

4.词典-词的配置所选择的词典
dictionaries regdictionary[] — the dictionaries selected by the configuration for this token type

5.词典-识别该令牌的字典，如果没有，则为NULL
dictionary regdictionary — the dictionary that recognized the token, or NULL if none did

6.处理后的词条
lexemes text[] — the lexeme(s) produced by the dictionary that recognized the token, or NULL if none did; an empty array ({}) means it was recognized as a stop word

四、结合gin索引的相关使用举例

  1. test_zhparser<16.1>(ConnAs[postgres]:PID[474113] 2024-05-14/16:35:23)=# create table test_zhpc(info text);
  2. CREATE TABLE
  3. test_zhparser<16.1>(ConnAs[postgres]:PID[474113] 2024-05-14/16:35:32)=# insert into test_zhpc select '大连市星海广场' from generate_series(1,10000,1);
  4. INSERT 0 10000
  5. test_zhparser<16.1>(ConnAs[postgres]:PID[474113] 2024-05-14/16:35:45)=#  explain analyze select count(*) from test_zhpc where to_tsvector('test_zhparserC', info) @@ '大连市 & 星海广场'::tsquery;
  6. +--------------------------------------------------------------------------------------------------------------+
  7. |                                                  QUERY PLAN                                                  |
  8. +--------------------------------------------------------------------------------------------------------------+
  9. | Aggregate  (cost=2348.80..2348.81 rows=1 width=8) (actual time=39.306..39.307 rows=1 loops=1)                |
  10. |   ->  Seq Scan on test_zhpc  (cost=0.00..2348.80 rows=1 width=0) (actual time=39.258..39.259 rows=0 loops=1) |
  11. |         Filter: (to_tsvector('test_zhparserc'::regconfig, info) @@ '''大连市'' & ''星海广场'''::tsquery)     |
  12. |         Rows Removed by Filter: 10000                                                                        |
  13. | Planning Time: 0.199 ms                                                                                      |
  14. | Execution Time: 39.424 ms                                                                                    |
  15. +--------------------------------------------------------------------------------------------------------------+
  16. (6 rows)
  17.  
  18. test_zhparser<16.1>(ConnAs[postgres]:PID[474113] 2024-05-14/16:35:49)=# create index idx_gin_1 on test_zhpc using gin (to_tsvector('test_zhparserC'::regconfig,info));
  19. CREATE INDEX
  20. test_zhparser<16.1>(ConnAs[postgres]:PID[474113] 2024-05-14/16:36:00)=#  explain analyze select count(*) from test_zhpc where to_tsvector('test_zhparserC', info) @@ '大连市 & 星海广场'::tsquery;
  21. +-------------------------------------------------------------------------------------------------------------------------+
  22. |                                                       QUERY PLAN                                                        |
  23. +-------------------------------------------------------------------------------------------------------------------------+
  24. | Aggregate  (cost=37.79..37.80 rows=1 width=8) (actual time=0.073..0.074 rows=1 loops=1)                                 |
  25. |   ->  Bitmap Heap Scan on test_zhpc  (cost=33.53..37.79 rows=1 width=0) (actual time=0.069..0.070 rows=0 loops=1)       |
  26. |         Recheck Cond: (to_tsvector('test_zhparserc'::regconfig, info) @@ '''大连市'' & ''星海广场'''::tsquery)          |
  27. |         ->  Bitmap Index Scan on idx_gin_1  (cost=0.00..33.53 rows=1 width=0) (actual time=0.067..0.067 rows=0 loops=1) |
  28. |               Index Cond: (to_tsvector('test_zhparserc'::regconfig, info) @@ '''大连市'' & ''星海广场'''::tsquery)      |
  29. | Planning Time: 0.112 ms                                                                                                 |
  30. | Execution Time: 0.146 ms                                                                                                |
  31. +-------------------------------------------------------------------------------------------------------------------------+
  32. (7 rows)
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/AllinToyou/article/detail/721705
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号