【百度训练营】python小白逆袭大神 day5心得_python小白逆袭大神 day5-综合大作业

今天老师介绍了easyDL，真的很easy，上传图片，在线标注，一键自动训练。整个人工智能全部流程，在easyDL上全部搞定，而且，几乎0代码实现。对于非计算机专业非常友好。真正把人工智能工具化，让更多人能够利用人工智能提高效率。

而今天的练习，是对爱奇艺《青春有你2》评论的数据分析并可视化，并且进行评论违规检测。难度比较大。

抓取数据就是爬虫，比较简单。

之后要清除评论中的emoji还有其他的奇怪的符号，分析的时候才不会报错。之后用jieba进行分词，以及词频分析，并绘制词云。这里遇到不少，比如“停用词”之前就没听说过，一通猛搜之后，总算搞定。

说说遇到的坑吧，

matplotlib不支持中文，之前的练习中用过matplotlib，但是那次是老师已经配置好的环境，我们直接用就行了，这次怎么都无法显示中文，查了很多，与群里的小伙伴交流，最后才搞定

!cp simhei.ttf /opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/matplotlib/mpl-data/fonts/ttf/
# 一般只需要将字体文件复制到系统字体目录下即可，但是在aistudio上该路径没有写权限，所以此方法不能用
# !cp simhei.ttf /usr/share/fonts/

# 创建系统字体文件路径
!mkdir .fonts
# 复制文件到该路径
!cp simhei.ttf .fonts/
!rm -rf .cache/matplotlib

#在使用时要加上这一句
plt.rcParams['font.sans-serif'] = ['SimHei'] # 指定默认字体
1
2
3
4
5
6
7
8
9
10
11
12

最后是用paddlehub对评论进行违规检测

def text_detection(_comments):
    '''
    使用hub对评论进行内容分析
    return：分析结果
    '''
    pd = hub.Module(name="porn_detection_lstm")
    input_dict = {"text": _comments}
    results = pd.detection(data=input_dict,use_gpu=False, batch_size=1)

    for i in results:
        print(i['text'])
        print(i['porn_probs'])
1
2
3
4
5
6
7
8
9
10
11
12

没错，就是这么简单，几行代码就能使用人工智能！