当前位置:   article > 正文

【ChatBot开发笔记】使用LTP(语言技术平台)进行自然语言处理_ltp处理完的数据怎么办

ltp处理完的数据怎么办

准备工作

一、进入讯飞开放平台,注册登陆账号。
二、 打开创建应用,输入应用名称,选择应用分类,输入应用功能描述后,提交。
在这里插入图片描述
三、从左侧选择自然语言处理——依存句法分析,注意右上方的APPID和APIKey,在后续的操作中会使用此数据,右下角的ip白名单请添加自己的外网IP,可以在这个网站 查看,也可以自己运行了之后看他的输出,会提示

"desc":"illegal access|illegal client_ip",
  • 1

把里面的client_ip输入就行,详情可以阅读右侧依存语法分析api下的操作文档:在这里插入图片描述
以上准备工作结束后,就可以开始使用对应的自然语言处理的接口了。

测试示例

测试代码

1、ltp.py

import time
import urllib.request
import urllib.parse
import json
import hashlib
import base64

# text为string类型,不超出500字节
def main(text, kind):
    body = urllib.parse.urlencode({'text': text}).encode('utf-8')
    url = 'http://ltpapi.xfyun.cn/'+kind
    api_key = '此处填入你的APIKey'
    param = {"type": "dependent"}

    x_appid = '此处填入你的APPID'
    x_param = base64.b64encode(json.dumps(param).replace(' ', '').encode('utf-8'))
    x_time = int(int(round(time.time() * 1000)) / 1000)
    x_checksum = hashlib.md5(api_key.encode('utf-8') + str(x_time).encode('utf-8') + x_param).hexdigest()
    x_header = {'X-Appid': x_appid,
                'X-CurTime': x_time,
                'X-Param': x_param,
                'X-CheckSum': x_checksum}
    req = urllib.request.Request(url, body, x_header)
    result = urllib.request.urlopen(req)
    result = result.read()
    print(result.decode('utf-8'))
    return


  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29

run.py

if __name__ == '__main__':
    text = "今天是开学的第4周,第9周我们将进行项目实训的中期答辩"
    text2 = "今天我感冒了,不能出去玩了"
    # 中文分词(v1/cws)
    ltp.main(text, "v1/cws")
    # 词性标注(v1/pos)
    ltp.main(text, "v1/pos")
    # 依存句法分析(v1/dp)
    ltp.main(text, "v1/dp")
    # 命名实体识别(v1/ner)
    ltp.main(text, "v1/ner")
    # 语义角色标注(v1/srl)
    ltp.main(text, "v1/srl")
    # 语义依存 (依存树) 分析(v1/sdp)
    ltp.main(text, "v1/sdp")
    # 语义依存 (依存图) 分析(v1/sdgp)
    ltp.main(text, "v1/sdgp")
    # 关键词提取(v1/ke)
    ltp.main(text, "v1/ke")
    # 情感分析(v2/sa)
    ltp.main(text2, "v2/sa")
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21

测试结果及分析

接口返回参数:

参数类型说明
codestring结果码
datajson对象对应具体的文本分析结果,例如分词结果
descstring描述
sidstring会话ID

中文分词

在这里插入图片描述
返回结果中data字段说明:

类型说明
json数组中文分词结果

词性标注

在这里插入图片描述
返回结果中data字段说明:

类型说明
json数组词性标注结果

依存语句分析

在这里插入图片描述
返回结果中data字段说明:

类型说明
json数组依存句法分析结果,对象中字段parent,relate分别是 父节点,标注关系

将输出结果,用树状图表示为:
在这里插入图片描述

命名实体识别

在这里插入图片描述
返回结果中data字段说明:

类型说明
json数组命名实体识别结果

语义角色标注

在这里插入图片描述
返回结果中data字段说明:

类型说明
json数组语义角色标注结果,对象中字段beg,end,id,type分别是语义角色 开始位置,结束位置,谓词位置,角色标签名

语义依存 (依存树) 分析

在这里插入图片描述
返回结果中data字段说明:

类型说明
json数组语义依存 (依存树) 分析结果,对象中字段parent,relate分别是 父节点,语义关系

语义依存 (依存图) 分析

在这里插入图片描述
返回结果中data字段说明:

类型说明
json数组语义依存 (依存图) 分析结果,对象中字段id,parent,relate分别是 弧指向节点词索引,弧父节点词索引,语义关系

关键词提取

在这里插入图片描述
结果返回类型说明:

标记说明
word关键词
score候选词成为关键词的概率

情感分析

在这里插入图片描述
情感分析:

标记说明
score分类对应得分,范围 0-1
sentiment情感极性分类结果:{0:中性},{1:褒义},{-1:贬义}

注:score为0.3以下是-1,0.3-0.7是0,0.7以上是1。

附录

词性标记集

TagDescription含义描述Example
rpronoun代词我们
ngeneral noun名词苹果
nsgeographical name地名重庆
wppunctuation标点,。!
ksuffix后缀界, 率
hprefix前缀阿, 伪
uauxiliary助词的, 地
cconjunction连词和, 虽然
vverb动词跑, 学习
ppreposition介词在, 把
dadverb副词
qquantity量词
nhperson name人名杜甫, 汤姆
mnumber数词一,第一
eexclamation语气词
bother noun-modifier状态词大型, 西式
aadjective形容词美丽
nddirection noun方位词右侧
nllocation noun处所词城郊
oonomatopoeia拟声词哗啦
nttemporal noun时间词近日, 明代
nzother proper noun其他专名诺贝尔奖
nlorganization name机构团体保险公司
iidiom成语百花齐放
jabbreviation缩写词公检法
wsforeign words外来词 CPU
gmorpheme词素茨, 甥
xnon-lexeme非词位萄, 翱

依存句法分析标注关系

关系类型TagDescriptionExample
主谓关系SBVsubject-verb我送她一束花 (我 <-- 送)
动宾关系VOB直接宾语,verb-object我送她一束花 (送 --> 花)
间宾关系IOB间接宾语,indirect-object我送她一束花 (送 --> 她)
前置宾语FOB前置宾语,fronting-object他什么书都读 (书 <-- 读)
兼语DBLdouble他请我吃饭 (请 --> 我)
定中关系ATTattribute红苹果 (红 <-- 苹果)
状中结构ADVadverbial非常美丽 (非常 <-- 美丽)
动补结构CMPcomplement做完了作业 (做 --> 完)
并列关系COOcoordinate大山和大海 (大山 --> 大海)
介宾关系POBpreposition-object在贸易区内 (在 --> 内)
左附加关系LADleft adjunct大山和大海 (和 <-- 大海)
右附加关系RADright adjunct孩子们 (孩子 --> 们)
独立结构ISindependent structure两个单句在结构上彼此独立
标点WPpunctuation
核心关系HEDhead指整个句子的核心

命名实体说明

标记说明
Nh人名
Ns地名
Ni机构名

前缀说明: 包含BIES四种前缀,分别表示 开始、中间、结束、独立

语义角色列表

标记说明
ADVadverbial, default tag ( 附加的,默认标记 )
BNEbeneficiary ( 受益人 )
CNDcondition ( 条件 )
DIRdirection ( 方向 )
DGRdegree ( 程度 )
EXTextent ( 扩展 )
FRQfrequency ( 频率 )
LOClocative ( 地点 )
MNRmanner ( 方式 )
PRPpurpose or reason ( 目的或原因 )
TMPtemporal ( 时间 )
TPCtopic ( 主题 )
CRDcoordinated arguments ( 并列参数 )
PRDpredicate ( 谓语动词 )
PSRpossessor ( 持有者 )
PSEpossessee ( 被持有 )

备注: 核心的语义角色为A0-5六种,A0通常表示动作的施事,A1通常表示动作的影响等,A2-5根据谓语动词不同会有不同的语义含义。

语义依存关系说明

关系类型TagDescriptionExample
施事关系AgtAgent我送她一束花 (我 <-- 送)
当事关系ExpExperiencer我跑得快 (跑 --> 我)
感事关系AftAffection我思念家乡 (思念 --> 我)
领事关系PossPossessor他有一本好读 (他 <-- 有)
受事关系PatPatient他打了小明 (打 --> 小明)
客事关系ContContent他听到鞭炮声 (听 --> 鞭炮声)
成事关系ProdProduct他写了本小说 (写 --> 小说)
源事关系OrigOrigin我军缴获敌人四辆坦克 (缴获 --> 坦克)
涉事关系DatvDative他告诉我个秘密 ( 告诉 --> 我 )
比较角色CompComitative他成绩比我好 (他 --> 我)
属事角色BelgBelongings老赵有俩女儿 (老赵 <-- 有)
类事角色ClasClassification他是中学生 (是 --> 中学生)
依据角色AccdAccording本庭依法宣判 (依法 <-- 宣判)
缘故角色ReasReason他在愁女儿婚事 (愁 --> 婚事)
意图角色IntIntention为了金牌他拼命努力 (金牌 <-- 努力)
结局角色ConsConsequence他跑了满头大汗 (跑 --> 满头大汗)
方式角色MannManner球慢慢滚进空门 (慢慢 <-- 滚)
工具角色ToolTool她用砂锅熬粥 (砂锅 <-- 熬粥)
材料角色MaltMaterial她用小米熬粥 (小米 <-- 熬粥)
时间角色TimeTime唐朝有个李白 (唐朝 <-- 有)
空间角色LocLocation这房子朝南 (朝 --> 南)
历程角色ProcProcess火车正在过长江大桥 (过 --> 大桥)
趋向角色DirDirection部队奔向南方 (奔 --> 南)
范围角色ScoScope产品应该比质量 (比 --> 质量)
数量角色QuanQuantity一年有365天 (有 --> 天)
数量数组QpQuantity-phrase三本书 (三 --> 本)
频率角色FreqFrequency他每天看书 (每天 <-- 看)
顺序角色SeqSequence他跑第一 (跑 --> 第一)
描写角色Desc(Feat)Description他长得胖 (长 --> 胖)
宿主角色HostHost住房面积 (住房 <-- 面积)
名字修饰角色NmodName-modifier果戈里大街 (果戈里 <-- 大街)
时间修饰角色TmodTime-modifier星期一上午 (星期一 <-- 上午)
反角色r + main role打篮球的小姑娘 (打篮球 <-- 姑娘)
嵌套角色d + main role爷爷看见孙子在跑 (看见 --> 跑)
并列关系eCooevent Coordination我喜欢唱歌和跳舞 (唱歌 --> 跳舞)
选择关系eSeltevent Selection您是喝茶还是喝咖啡 (茶 --> 咖啡)
等同关系eEquevent Equivalent他们三个人一起走 (他们 --> 三个人)
先行关系ePrecevent Precedent首先,先
顺承关系eSuccevent Successor随后,然后
递进关系eProgevent Progression况且,并且
转折关系eAdvtevent adversative却,然而
原因关系eCauevent Cause因为,既然
结果关系eResuevent Result因此,以致
推论关系eInfevent Inference才,则
条件关系eCondevent Condition只要,除非
假设关系eSuppevent Supposition如果,要是
让步关系eConcevent Concession纵使,哪怕
手段关系eMetdevent Method
目的关系ePurpevent Purpose为了,以便
割舍关系eAbanevent Abandonment与其,也不
选取关系ePrefevent Preference不如,宁愿
总括关系eSumevent Summary总而言之
分叙关系eRectevent Recount例如,比方说
连词标记mConjRecount Marker和,或
的字标记mAuxAuxiliary的,地,得
介词标记mPrepPreposition把,被
语气标记mToneTone吗,呢
时间标记mTimeTime才,曾经
范围标记mRangRange都,到处
程度标记mDegrDegree很,稍微
频率标记mFreqFrequency Marker再,常常
趋向标记mDirDirection Marker上去,下来
插入语标记mPars Parenthesis Marker总的来说,众所周知
否定标记mNegNegation Marker不,没,未
情态标记mModModal Marker幸亏,会,能
标点标记mPuncPunctuation Marker,。!
重复标记mPeptRepetition Marker走啊走 (走 --> 走)
多数标记mMajMajority Marker们,等
实词虚化标记mVainVain Marker
离合标记mSepaSeperation Marker吃了个饭 (吃 --> 饭) 洗了个澡 (洗 --> 澡)
根节点RootRoot全句核心节点
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/你好赵伟/article/detail/637617
推荐阅读
  

闽ICP备14008679号