简单使用PaddleNLP中的Taskflow_paddlenlp taskflow

1 安装PaddleNLP

# 更新pip
python -m pip install --upgrade pip
 
# 安装paddlepaddle-gpu
pip install paddlepaddle-gpu==2.2.2 -i https://mirror.baidu.com/pypi/simple
 
# 安装paddlenlp，最好指定下载源，使用指定https://pypi.org/simple不一定能安装。
pip install --upgrade paddlenlp==2.2.5 -i https://mirror.baidu.com/pypi/simple

2 简单使用Task

注意：首次运行必须联网下载相应的包。paddle做的真不错！

 
from paddlenlp import Taskflow
 
text ="1912年,河南大学的前身河南留学欧美预备学校,在古城开封清代贡院旧址诞生,首任校长为著名教育家林伯襄先生。1936年，河南大学南大门建成后，学校就将校训用柳体金字镌刻在正门内侧的门楣之上，正中上额横书“止于至善”，左书“明德”，右书“新民”，八字校训耀眼夺目，发人深省，予河大学子以光大学术，恢宏文化的启示，一入校门便油然而生对国家、民族崇高无上的历史责任感。"
 
# 分词
def word_segmentation():
    # 没有CPU时，device_id设置为-1
    seg = Taskflow("word_segmentation", device_id=-1)
    my_list = seg(text)
    print(my_list)
 
    pass
 
# 命名实体时别
def entity_recognition():
    seg = Taskflow("ner", device_id=-1)
    my_list = seg(text)
    print(my_list)
 
 
if __name__ == '__main__':
    word_segmentation()
    entity_recognition()

运行结果

# 中文分词
 
['1912年', ',', '河南大学', '的', '前身', '河南', '留学', '欧美预备', '学校', ',', '在', '古城', '开封', '清代贡院旧址', '诞生', ',', '首任', '校长', '为', '著名', '教育家', '林伯襄', '先生', '。', '1936年', '，', '河南大学', '南', '大门', '建成后', '，', '学校', '就', '将', '校', '训用', '柳体', '金字', '镌刻', '在', '正门', '内侧', '的', '门楣', '之上', '，', '正', '中', '上', '额', '横', '书', '“', '止于至善', '”', '，', '左书', '“', '明德', '”', '，', '右书', '“', '新民', '”', '，', '八字', '校训', '耀眼', '夺目', '，', '发', '人', '深省', '，', '予', '河大', '学子', '以', '光大', '学术', '，', '恢宏', '文化', '的', '启示', '，', '一', '入', '校门', '便', '油然而生', '对', '国家', '、', '民族', '崇高', '无上', '的', '历史', '责任感', '。']
 
 
 
# 实体时别
 
[('1912年', '时间类'), (',', 'w'), ('河南大学', '组织机构类_教育组织机构'), ('的', '助词'), ('前身', '信息资料'), ('河南', '世界地区类'), ('留学', '场景事件'), ('欧美', '世界地区类'), ('预备', '场景事件'), ('学校', '组织机构类_教育组织机构'), (',', 'w'), ('在', '介词'), ('古城', '世界地区类'), ('开封', '世界地区类'), ('清代', '时间类'), ('贡院', '世界地区类'), ('旧址', '场所类'), ('诞生', '场景事件'), (',', 'w'), ('首任校长', '人物类_概念'), ('为', '肯定词'), ('著名', '修饰词'), ('教育家', '人物类_概念'), ('林伯襄', '人物类_实体'), ('先生', '人物类_概念'), ('。', 'w'), ('1936年', '时间类'), ('，', 'w'), ('河南大学', '组织机构类_教育组织机构'), ('南', '位置方位'), ('大门', '物体类'), ('建成后', '时间类'), ('，', 'w'), ('学校', '组织机构类_教育组织机构'), ('就', '副词'), ('将', '介词'), ('校训', '信息资料'), ('用', '词汇用语'), ('柳体', '文化类'), ('金字', '词汇用语'), ('镌刻', '场景事件'), ('在', '介词'), ('正门', '词汇用语'), ('内侧', '位置方位'), ('的', '助词'), ('门楣', '词汇用语'), ('之上', '介词_方位介词'), ('，', 'w'), ('正中', '位置方位'), ('上', '场景事件'), ('额', '术语类_生物体'), ('横', '词汇用语'), ('书', '作品类_概念'), ('“', 'w'), ('止于至善', '词汇用语'), ('”', 'w'), ('，', 'w'), ('左书', '词汇用语'), ('“', 'w'), ('明德', '词汇用语'), ('”', 'w'), ('，', 'w'), ('右', '位置方位'), ('书', '作品类_概念'), ('“', 'w'), ('新民', '世界地区类'), ('”', 'w'), ('，', 'w'), ('八字', '信息资料'), ('校训', '信息资料'), ('耀眼', '修饰词'), ('夺目', '修饰词'), ('，', 'w'), ('发人深省', '词汇用语'), ('，', 'w'), ('予', '词汇用语'), ('河', '世界地区类'), ('大', '修饰词'), ('学子', '人物类_概念'), ('以', '介词'), ('光大', '词汇用语'), ('学术', '术语类'), ('，', 'w'), ('恢宏', '修饰词'), ('文化', '文化类'), ('的', '助词'), ('启示', '信息资料'), ('，', 'w'), ('一', '词汇用语'), ('入', '场景事件'), ('校门', '场所类'), ('便', '词汇用语'), ('油然而生', '词汇用语'), ('对', '介词'), ('国家', '世界地区类'), ('、', 'w'), ('民族', '其他角色类'), ('崇高无上', '词汇用语'), ('的', '助词'), ('历史', '信息资料'), ('责任感', '个性特征'), ('。', 'w')]