热门标签
热门文章
- 1[Python] 解析Pcap三个Python库（Dpkt Scapy Pyshark）应用实例_python 解析pcap
- 2js 读取和清除cookie_js获取cookie和清除的方法
- 3论文导读 | 利用GPU的基于图的近似近邻搜索加速研究_基于层次聚类的大规模图近似最近邻搜索
- 4Minecraft开服教程，Windows搭建 我的世界(mc) 1.18.2 服务器教程_1.18.2forge服务端 windows
- 5web前端框架——一些简单理解_web前端框架是什么
- 6linux系统编程之进程概念（操作系统---管理，进程创建，进程状态，进程优先级， 环境变量，程序地址空间，进程O（1）调度方法）_是linux用户层的工作单元,也是linux进行系统调度的单元。
- 7在CSDN上预祝各位新年快乐
- 8八道指针面试题
- 9Linux下搭建git服务器_linux 启动git server 命令
- 10【2023 年第十三届 MathorCup 高校数学建模挑战赛】C 题 电商物流网络包裹应急调运与结构优化问题 赛后总结之31页论文及代码_2023mathorcup优秀论文
当前位置: article > 正文
敏感词检测理论算法过程_敏感内容检测是怎么实现的
作者：凡人多烦事01 | 2024-02-27 14:51:48
赞
踩
敏感内容检测是怎么实现的
准备工作
环境和技术栈
Java、多线程广度优先算法、正则表达式、页面抓取等等
确认需要实现的功能
- 加载词库数据到Tire字典树中，用字典树存储词库，速度比较快
- 利用广度优先遍历抓取整站的数据
- 去除标签，获取每个页面的实际数据
- 对实际数据进行分词，得到分词-偏移量列表
- 将分词列表与Tire字典树进行对比，得到敏感词列表
- 再根据偏移量和词组情况，回归确定是否确认是敏感词，并根据结果判断是否报警
- 对敏感句子的识别
- 对敏感词拼音的识别
确认功能所需的解决方案
- 利用playwrite抓取页面
- 利用广度优先算法+每层全部捞出来，通过线程池的方式实现多线程
- 利用正则表达式去除标签获取实际数据
- 利用hanlp进行分词并得到偏移量
- 利用字典树Tire算法实现对词组预处理的方案
- 利用对敏感句子分词形成词组，再计算最大最小偏移的方式实现对敏感句子的检测
- 在加载词库的时候，生成两份，分别是字词组和拼音词组
图解逻辑过程
利用广度优先遍历，逐层利用多线程抓取被监测网站所有页面
推荐阅读
相关标签
