(第一版,创建时间2014-11-12)
这篇文档内容主要从官方文档中获取而来,对API进行了翻译,并依据个人使用经验进行了一些补充,鉴于能力有限、水平较低,文档中肯定存在有很多不足之处,还请见谅。
下载地址:http://ictclas.nlpir.org/downloads,下载最新的NLPIR/ICTCLAS2014分词系统下载包
NLPIR是用C/C++编写的,如果要用JAVA来使用NLPIR,需要通过JNA调用NLPIR的函数来实现。下面通过一个示例来进行说明:
首先新建一个JAVA项目,导入JNA的jar包(可从下载包中的sample\JnaTest_NLPIR\lib文件夹中拷贝),将下载包中的Data文件夹拷贝到项目根目录中,再将lib文件夹中与你操作系统对应的文件夹中的NLPIR.dll和NLPIR.lib文件拷贝到系统根目录中,不妨新建一个名为source的文件夹,放到那里面去。我的目录如下图所示:
然后新建一个接口,继承JNA的Library接口,在接口中定义对NLPIR一系列函数的实现(具体API可参见下方我翻译的API或参看include文件夹中的头文件NLPIR.h)。
import com.sun.jna.Library; public interface CLibrary extends Library{ //初始化 public int NLPIR_Init(String sDataPath, int encoding, String sLicenceCode); //对字符串进行分词 public String NLPIR_ParagraphProcess(String sSrc, int bPOSTagged); //对TXT文件内容进行分词 public double NLPIR_FileProcess(String sSourceFilename,String sResultFilename, int bPOStagged); //从字符串中提取关键词 public String NLPIR_GetKeyWords(String sLine, int nMaxKeyLimit,boolean bWeightOut); //从TXT文件中提取关键词 public String NLPIR_GetFileKeyWords(String sLine, int nMaxKeyLimit,boolean bWeightOut); //添加单条用户词典 public int NLPIR_AddUserWord(String sWord); //删除单条用户词典 public int NLPIR_DelUsrWord(String sWord); //从TXT文件中导入用户词典 public int NLPIR_ImportUserDict(String sFilename); //将用户词典保存至硬盘 public int NLPIR_SaveTheUsrDic(); //从字符串中获取新词 public String NLPIR_GetNewWords(String sLine, int nMaxKeyLimit, boolean bWeightOut); //从TXT文件中获取新词 public String NLPIR_GetFileNewWords(String sTextFile,int nMaxKeyLimit, boolean bWeightOut); //获取一个字符串的指纹值 public long NLPIR_FingerPrint(String sLine); //设置要使用的POS map public int NLPIR_SetPOSmap(int nPOSmap); //获取报错日志 public String NLPIR_GetLastErrorMsg(); //退出 public void NLPIR_Exit(); }
再新建一个类,实例化上面的接口后,就可以调用NLPIR的各个函数了。
import java.math.BigDecimal; import wordSegmentation.study.CLibrary; import com.sun.jna.Native; public class Demo { public static void main(String[] args) throws Exception { //初始化 CLibrary instance = (CLibrary)Native.loadLibrary(System.getProperty("user.dir")+"\\source\\NLPIR", CLibrary.class); int init_flag = instance.NLPIR_Init("", 1, "0"); String resultString = null; if (0 == init_flag) { resultString = instance.NLPIR_GetLastErrorMsg(); System.err.println("初始化失败!\n"+resultString); return; } String sInput = "哎~那个金刚圈尺寸太差,前重后轻,左宽右窄,他戴上去很不舒服," + "整晚失眠会连累我嘛,他虽然是只猴子,但你也不能这样对他啊,官府知道会说我虐待动物的," + "说起那个金刚圈,啊~去年我在陈家村认识了一个铁匠,他手工精美,价钱又公道,童叟无欺," + "干脆我介绍你再定做一个吧!"; try { resultString = instance.NLPIR_ParagraphProcess(sInput, 1); System.out.println("分词结果为:\n " + resultString); instance.NLPIR_AddUserWord("金刚圈"); instance.NLPIR_AddUserWord("左宽右窄"); resultString = instance.NLPIR_ParagraphProcess(sInput, 1); System.out.println("增加用户词典后分词结果为:\n" + resultString); instance.NLPIR_DelUsrWord("左宽右窄"); resultString = instance.NLPIR_ParagraphProcess(sInput, 1); System.out.println("删除用户词典后分词结果为:\n" + resultString); instance.NLPIR_ImportUserDict(System.getProperty("user.dir")+"\\source\\userdic.txt"); resultString = instance.NLPIR_ParagraphProcess(sInput, 1); System.out.println("导入用户词典文件后分词结果为:\n" + resultString); resultString = instance.NLPIR_GetKeyWords(sInput,10,false); System.out.println("从段落中提取的关键词:\n" + resultString); resultString = instance.NLPIR_GetNewWords(sInput, 10, false); System.out.println("新词提取结果为:\n" + resultString); Double d = instance.NLPIR_FileProcess("d:\\1.txt", "d:\\2.txt", 1); System.out.println("对文件内容进行分词的运行速度为: " ); if(d.isInfinite()) System.out.println("无结果"); else{ BigDecimal b = new BigDecimal(d); System.out.println(b.divide(new BigDecimal(1000), 2, BigDecimal.ROUND_HALF_UP)+"秒"); } resultString = instance.NLPIR_GetFileKeyWords("D:\\3.txt", 10,false); System.out.println("从文件中提取关键词的结果为:\n" + resultString); instance.NLPIR_Exit(); } catch (Exception e) { System.out.println("错误信息:"); e.printStackTrace(); } }
其中我在source文件夹中添加了一个用户词典userdic.txt,在程序运行时导入到系统中,该文件内容如下:
前重后轻 nr
对TXT文件进行分词处理时需要用到的3个TXT文件,分别如下所示:
1.txt作为从文件内容进行分词操作的文件源,其内容如下:
曾经有一份真挚的感情摆在我的面前我没有珍惜,等我失去的时候才追悔莫及,人间最痛苦的事莫过于此,你的剑在我的咽喉上刺下去吧,不用在犹豫了!如果上天能给我一次再来一次的机会,我会对哪个女孩说三个字:我爱你,如果非要在这份爱上加一个期限,我希望是一万年!
2.txt作为对1.txt进行分词处理的结果接收文件,为一个空文件,运行后其内容如下:
曾经/d 有/vyou 一/m 份/q 真挚/a 的/ude1 感情/n 摆/v 在/p 我/rr 的/ude1 面前/f 我/rr 没有/d 珍惜/v ,/wd 等/udeng 我/rr 失去/v 的/ude1 时候/n 才/d 追悔莫及/vl ,/wd 人间/n 最/d 痛苦/a 的/ude1 事/n 莫过于/vl 此/rzs ,/wd 你/rr 的/ude1 剑/n 在/p 我/rr 的/ude1 咽喉/n 上/f 刺/v 下去/vf 吧/y ,/wd 不/d 用/v 在/p 犹豫/a 了/y !/wt 如果/c 上/f 天/qt 能/v 给/p 我/rr 一/m 次/qv 再/d 来/vf 一/m 次/qv 的/ude1 机会/n ,/wd 我/rr 会/v 对/p 哪个/ry 女孩/n 说/v 三/m 个/q 字/n :/wp 我/rr 爱/v 你/rr ,/wd 如果/c 非/b 要/v 在/p 这/rzv 份/q 爱上/v 加/v 一个/mq 期限/n ,/wd 我/rr 希望/v 是/vshi 一/m 万/m 年/qt !/wt
3.txt作为从内容提取关键词的文件源,其内容如下:
你把胡子剃光干什么?你不知不知道你少了胡子一点性格都没有了……唉~文也不行武也不行,你不做山贼,你想做状元啊?省省吧你!改变什么形象,好好的做你山贼这份很有前途的职业去吧!
程序运行结果如下:
分词结果为:
哎/e ~/w 那个/rz 金刚/n 圈/qv 尺寸/n 太/d 差/a ,/wd 前重后轻/nr ,/wd 左宽/nr 右/f 窄/a ,/wd 他/rr 戴/v 上/f 去/vf 很/d 不/d
舒服/a ,/wd 整/v 晚/tg 失眠/vi 会/v 连累/v 我/rr 嘛/y ,/wd 他/rr 虽然/c 是/vshi 只/q 猴子/n ,/wd 但/c 你/rr 也/d 不/d 能/v
这样/rzv 对/p 他/rr 啊/y ,/wd 官府/n 知道/v 会/v 说/v 我/rr 虐待/v 动物/n 的/ude1 ,/wd 说/v 起/vf 那个/rz 金刚/n 圈/qv ,/wd
啊/y ~/w 去年/t 我/rr 在/p 陈家村/nr 认识/v 了/ule 一个/mq 铁匠/n ,/wd 他/rr 手工/d 精美/a ,/wd 价钱/n 又/d 公道/a ,/wd 童叟无欺
/vl ,/wd 干脆/d 我/rr 介绍/v 你/rr 再/d 定做/v 一个/mq 吧/y !/wt
增加用户词典后分词结果为:
哎/e ~/w 那个/rz 金刚圈/n 尺寸/n 太/d 差/a ,/wd 前重后轻/nr ,/wd 左宽右窄/n ,/wd 他/rr 戴/v 上/f 去/vf 很/d 不/d 舒服/a ,/wd 整
/v 晚/tg 失眠/vi 会/v 连累/v 我/rr 嘛/y ,/wd 他/rr 虽然/c 是/vshi 只/q 猴子/n ,/wd 但/c 你/rr 也/d 不/d 能/v 这样/rzv 对/p
他/rr 啊/y ,/wd 官府/n 知道/v 会/v 说/v 我/rr 虐待/v 动物/n 的/ude1 ,/wd 说/v 起/vf 那个/rz 金刚圈/n ,/wd 啊/y ~/w 去年/t 我/
rr 在/p 陈家村/nr 认识/v 了/ule 一个/mq 铁匠/n ,/wd 他/rr 手工/d 精美/a ,/wd 价钱/n 又/d 公道/a ,/wd 童叟无欺/vl ,/wd 干脆/d 我/
rr 介绍/v 你/rr 再/d 定做/v 一个/mq 吧/y !/wt
删除用户词典后分词结果为:
哎/e ~/w 那个/rz 金刚圈/n 尺寸/n 太/d 差/a ,/wd 前重后轻/nr ,/wd 左宽/nr 右/f 窄/a ,/wd 他/rr 戴/v 上/f 去/vf 很/d 不/d 舒服/a
,/wd 整/v 晚/tg 失眠/vi 会/v 连累/v 我/rr 嘛/y ,/wd 他/rr 虽然/c 是/vshi 只/q 猴子/n ,/wd 但/c 你/rr 也/d 不/d 能/v 这样/r
zv 对/p 他/rr 啊/y ,/wd 官府/n 知道/v 会/v 说/v 我/rr 虐待/v 动物/n 的/ude1 ,/wd 说/v 起/vf 那个/rz 金刚圈/n ,/wd 啊/y ~/w
去年/t 我/rr 在/p 陈家村/nr 认识/v 了/ule 一个/mq 铁匠/n ,/wd 他/rr 手工/d 精美/a ,/wd 价钱/n 又/d 公道/a ,/wd 童叟无欺/vl ,/wd
干脆/d 我/rr 介绍/v 你/rr 再/d 定做/v 一个/mq 吧/y !/wt
导入用户词典文件后分词结果为:
哎/e ~/w 那个/rz 金刚圈/n 尺寸/n 太/d 差/a ,/wd 前重后轻/nr ,/wd 左宽/nr 右/f 窄/a ,/wd 他/rr 戴/v 上/f 去/vf 很/d 不/d 舒服/a
,/wd 整/v 晚/tg 失眠/vi 会/v 连累/v 我/rr 嘛/y ,/wd 他/rr 虽然/c 是/vshi 只/q 猴子/n ,/wd 但/c 你/rr 也/d 不/d 能/v 这样/r
zv 对/p 他/rr 啊/y ,/wd 官府/n 知道/v 会/v 说/v 我/rr 虐待/v 动物/n 的/ude1 ,/wd 说/v 起/vf 那个/rz 金刚圈/n ,/wd 啊/y ~/w
去年/t 我/rr 在/p 陈家村/nr 认识/v 了/ule 一个/mq 铁匠/n ,/wd 他/rr 手工/d 精美/a ,/wd 价钱/n 又/d 公道/a ,/wd 童叟无欺/vl ,/wd
干脆/d 我/rr 介绍/v 你/rr 再/d 定做/v 一个/mq 吧/y !/wt
从段落中提取的关键词:
前重后轻#陈家村#左宽#金刚圈#
新词提取结果为:
对文件内容进行分词的运行速度为:
0.76秒
从文件中提取关键词的结果为:
胡子#形象#职业#前途#
分词后每个词后面都跟着词性标记(bPOSTagged参数为1时,输出结果显示标记;为0时,不现实标记),并彼此以空格分隔;提取的关键词则以#号分隔;因输入的文字没有新词,均能被识别,所以新词提取结果为空。各函数的具体使用可参考下面我翻译的API。
我对NLPIR系统的接口函数说明进行了简单的翻译,如下所示:
1. NLPIR_Init
初始化分析器,并根据配置文件为NLPIR准备数据。
函数形式:
bool NLPIR_Init(const char* sInitDirPath=0, int encoding=GBK_CODE,
const char* sLicenceCode=0)
需要的头文件:<NLPIR.h>
返回值:
如果初始化成功,返回successed,否则返回false。
参数:
char* sInitDirPath:指定存放配置文件Configure.xml和Data文件的路径,默认值为0,表明路径为当前工作目录。
int encoding: 编码格式标识符,默认为GBK_CODE ,也可以设置为UTF8_CODE和BIG5_CODE。
char* sLicenceCode: 商业用户需要使用的许可证编码,免费用户无需使用该参数。
说明:
使用NLPIR时必须先执行NLPIR_Init函数(只需执行一次)。系统关闭时还应执行NLPIR_Exit函数来销毁缓存数据。
NLPIR_Init执行失败通常有两个原因:1. 需要的数据文件格式不兼容或丢失;2.配置文件丢失或存在非法参数。还可以通过日志文件来了解更多信息,日志文件存放在默认路径中。
2. NLPIR_Exit
退出程序并释放所有资源和NLPIR使用的缓存数据。
函数形式:
bool NLPIR_Exit();
需要的头文件:<NLPIR.h>
返回值:
执行成功返回successed,否则返回false。
参数:
无
说明:
该函数必须在关闭系统时执行,若需重启NLPIR,再次执行NLPIR_Init函数即可。
3. NLPIR_ImportUserDict
从文件中导入用户自定义的词典。
函数形式:
unsigned int NLPIR_ImportUserDict(const char * sFilename);
需要的头文件:<NLPIR.h>
返回值:
导入的词汇数量。
参数:
char * sFilename: 要导入的用户词典文件所在路径。
说明:
该函数只有在NLPIR_Init函数执行成功后才能使用。词典文件的格式请参见相关示例。
你只需在更改了用户词典或第一次使用某个词典时执行该函数,当配置文件中的UserDict参数为on时,NLPIR将会(把该词典添加到配置文件中)并在启动时自动加载该词典。当将UserDict置为off时,用户自定义词典文件将不再自动导入。
4. NLPIR_ParagraphProcess
处理一个段落文字,返回运行结果缓存的指针。
函数形式:
const char * NLPIR_ParagraphProcess(const char * sParagraph, int bPOStagged=1);
需要的头文件:<NLPIR.h>
返回值:
运行结果缓存的指针。
参数:
char * sParagraph: 输入段落的源
int bPOStagged: 判断是否需要位置标记,0:无标记;1:有标记。默认值为1。
说明:
该函数只有在NLPIR_Init函数执行成功后才能使用
5. NLPIR_ParagraphProcessA
函数形式:
result_t * NLPIR_ParagraphProcessA(
const char * sParagraph, int * pResultCount, bool bUserDict=true)
需要的头文件:<NLPIR.h>
返回值:
运行结果向量的指针,该指针由系统进行管理,用户无法对它进行分配和释放。
其结构如下:
struct result_t{
int start; //start position,词语在输入句子中的开始位置
int length; //length,词语的长度
char sPOS[POS_SIZE];//word type,词性ID值,可以快速的获取词性表
int iPOS;//词性
int word_ID; //如果是未登录词,设成或者-1
int word_type; //区分用户词典;1,是用户词典中的词;,非用户词典中的词
int weight;// word weight
};
参数:
char * sParagraph: 输入段落的源
int * pResultCount: 结果向量的大小
bool bUserDict:是否使用用户词典
说明:
该函数只有在NLPIR_Init函数执行成功后才能使用
6. NLPIR_FileProcess
处理一个TXT文件。
函数形式:
Double NLPIR_FileProcess(const char * sSourceFilename,
const char * sResultFilename, int bPOStagged=1);
需要的头文件:<NLPIR.h>
返回值:
如果执行成功,返回处理速度值,否则返回false。
参数:
char * sSourceFilename: 要处理的源文件名称;
char * sResultFilename: 存储处理结果的文件名称;
int bPOStagged: 判断是否需要位置标记,0:无标记;1:有标记。默认值为1。说明:
该函数只有在NLPIR_Init函数执行成功后才能使用
处理结果的输出格式可在配置文件中进行设置。
7. NLPIR_GetParagraphProcessAWordCount
NLPIR_ParagraphProcessA函数的C#实现API。
函数形式:
int NLPIR_GetParagraphProcessAWordCount(const char *sParagraph);
需要的头文件:<NLPIR.h>
返回值:
返回输入段落的词汇数量。
参数:
char * sParagraph: 输入段落的源
说明:
该函数只有在NLPIR_Init函数执行成功后才能使用
处理结果的输出格式可在配置文件中进行设置。
8. NLPIR_ ParagraphProcessAW
NLPIR_ParagraphProcessA函数的C#实现API。
函数形式:
void NLPIR_ParagraphProcessAW(int nCount,result_t * result);
需要的头文件:<NLPIR.h>
返回值:
无。
参数:
nCount: 输入段落的词汇数量;
result: 处理结果的结构体指针;
说明:
该函数只有在NLPIR_Init函数执行成功后才能使用
处理结果的输出格式可在配置文件中进行设置。
9. NLPIR_AddUserWord
向用户词典添加一个词汇。
函数形式:
int NLPIR_AddUserWord(const char * sWord);
需要的头文件:<NLPIR.h>
返回值:
如果添加成功,返回successed,否则返回false。
参数:
char * sWord:要添加的词汇。
说明:
该函数只有在NLPIR_Init函数执行成功后才能使用
10. NLPIR_SaveTheUsrDic
将用户词典保存至硬盘。
函数形式:
int NLPIR_SaveTheUsrDic();
需要的头文件:<NLPIR.h>
返回值:
如果执行成功返回1,否则返回0。
参数:
无
说明:
该函数只有在NLPIR_Init函数执行成功后才能使用
11. NLPIR_DelUsrWord
从用户词典中删除一个词汇。
函数形式:
int NLPIR_DelUsrWord(const char * sWord);
需要的头文件:<NLPIR.h>
返回值:
如果要删除的词汇不存在,则返回-1;如果删除成功,则返回该词汇的句柄。
参数:
char * sWord:要删除的词汇。
说明:
该函数只有在NLPIR_Init函数执行成功后才能使用
12. NLPIR_GetKeyWords
从输入的段落中提取关键词。
函数形式:
const char * NLPIR_GetKeyWords(const char * sLine,int nMaxKeyLimit=50,
bool bWeightOut=false);
需要的头文件:<NLPIR.h>
返回值:
如果执行成功,返回执行结果列表。如果执行失败,返回NULL。
格式如下:
"科学发展观 宏观经济 "
或者
"科学发展观 23.80 宏观经济 12.20" (带有权值)
参数:
char * sLine:输入的段落;
int nMaxKeyLimit:关键词最大数量;
bool bWeightOut: 是否输出权值;
说明:
无。
13. NLPIR_GetFileKeyWords
从TXT文件中提取关键词。
函数形式:
const char * NLPIR_GetFileKeyWords(const char * sTextFile,
int nMaxKeyLimit=50, bool bWeightOut=false);
需要的头文件:<NLPIR.h>
返回值:
如果执行成功,返回执行结果列表。如果执行失败,返回NULL。格式同上。
参数:
char * sTextFile:输入文件的名称;
int nMaxKeyLimit:关键词最大数量;
bool bWeightOut: 是否输出权值;
说明:
无
14. NLPIR_GetNewWords
从段落中提取新词。
函数形式:
const char * NLPIR_GetNewWords(const char * sLine, int nMaxKeyLimit=50,
bool bWeightOut=false);
需要的头文件:<NLPIR.h>
返回值:
如果执行成功,返回提取到的新词列表,否则返回NULL。格式同上
参数:
char * sLine:输入的段落;
int nMaxKeyLimit:关键词最大数量;
bool bWeightOut: 是否输出权值;
说明:
无
15. NLPIR_GetFileNewWords
从TXT文件中提取新词。
函数形式:
const char * NLPIR_GetFileNewWords(const char * sTextFile,
int nMaxKeyLimit=50, bool bWeightOut=false);
需要的头文件:<NLPIR.h>
返回值:
如果执行成功,返回提取到的新词列表,否则返回NULL。格式同上
参数:
char * sTextFile:输入文件的名称;
int nMaxKeyLimit:关键词最大数量;
bool bWeightOut: 是否输出权值;
说明:
无
16. NLPIR_FingerPrint
提取段落的一个指纹。
函数形式:
unsigned long NLPIR_FingerPrint(const char * sLine);
需要的头文件:<NLPIR.h>
返回值:
如果执行成功,返回指纹值,否则返回0。
参数:
char * sLine:输入的段落;
说明:
无。
17. NLPIR_SetPOSmap
设置使用的POS map。
函数形式:
int NLPIR_SetPOSmap(int nPOSmap);
需要的头文件:<NLPIR.h>
返回值:
如果执行成功,返回1,否则返回0。
参数:
int nPOSmap :
ICT_POS_MAP_FIRST 计算所一级标注集
ICT_POS_MAP_SECOND 计算所二级标注集
PKU_POS_MAP_SECOND 北大二级标注集
PKU_POS_MAP_FIRST 北大一级标注集
说明:
该函数只有在NLPIR_Init函数执行成功后才能使用
18. NLPIR_GetLastErrorMsg
获取最近一条报错信息。
函数形式:
const char * NLPIR_GetLastErrorMsg();
需要的头文件:<NLPIR.h>
返回值:
获取最近一条报错信息的指针。
参数:
无。
说明:
无。
以下为新词识别函数,建议脱机使用。
1. NLPIR_NWI_Start
启动新词识别。
函数形式:
bool NLPIR_NWI_Start();
需要的头文件:<NLPIR.h>
返回值:
如果执行成功,返回successed,否则返回false。
参数:
无
2. NLPIR_NWI_AddFile
往新词识别系统中添加待识别新词的文本文件,需要在运行 NLPIR_NWI_Start()之后,才有效。
函数形式:
Int NLPIR_NWI_AddFile(const char * sFilename);
需要的头文件:<NLPIR.h>
返回值:
如果执行成功,返回true,否则返回false。
参数:
char *sFilename:输入的文件名;
3. NLPIR_NWI_AddMem
往新词识别系统中添加一段待识别新词的内存,需要在运行 NLPIR_NWI_Start()之后,才有效。
函数形式:
bool NLPIR_NWI_AddMem(const char *sText);
需要的头文件:<NLPIR.h>
返回值:
如果执行成功,返回true,否则返回false。
参数:
char *sFilename:文件名
4. NLPIR_NWI_Complete
新词识别添加内容结束,需要在运行 NLPIR_NWI_Start()之后,才有效。
函数形式:
bool NLPIR_NWI_Complete();
需要的头文件:<NLPIR.h>
返回值:
如果执行成功,返回true,否则返回false。
参数:
无。
说明:
5. NLPIR_NWI_GetResult
获取新词识别的结果。
函数形式:
const char * NLPIR_NWI_GetResult(bool bWeightOut=false);
需要的头文件:<NLPIR.h>
返回值:
执行结果的列表。
参数:
bool bWeightOut:是否输出权重值。
6. NLPIR_NWI_Result2UserDict
将新词识别结果导入到用户词典中,需要在运行 NLPIR_NWI_Complete()之后,才有效,如果需要将新词结果永久保存,建议在执行NLPIR_SaveTheUsrDic函数。
函数形式:
unsigned int NLPIR_NWI_Result2UserDict()
需要的头文件:<NLPIR.h>
返回值:
如果执行成功,返回true,否则返回false。
参数:
无。