谛听安全｜内容审核系统的搭建设计思路

对于信息产品和内容产品，内容评审是必不可少的环节之一。审核既是产品风险的控制手段，又是维护网络生态环境的重要环节。本文阐述了构建内容审核系统的设计思路和程序，希望能对大家有所帮助。

如果运营同学通过简单的流程梳理，不难发现所涉及的对象包括发送用户、接收用户和内容审核（管理员等）。在设计时有两个方向：一方面简单地考虑对象的处理机制。 在另一方面，考虑关联对象被连接以说明产品设计。

用户的信息可以分类为年龄，性别，地理位置，设备，IP地址，使用时间，交易信息，用户发布等。以上信息均属于用户的数据，用户数据是用户分析的基础，有些数据能在一定程度上反映用户信用。

而用户评分系统是对用户的基础数据进行分析和数字化，可以通过权重累加，也可以通过总分相加。比如：发布过一个企业违规内容的用户，则分值降低等。但是仅仅通过分值进行系统分析可能不够，因为某些分值高的用户还是有可能发布不好的内容。

因此在设计搭建时，需要再学习其他管理策略研究处理，比如高中低风险以及用户提供制度、黑白名单制度等。例如，在检测到用户发布非法内容后，则将与评分值解耦，定义为高风险用户，该用户将被多次放入手动审计机制中。