开源模型应用落地-安全合规篇-用户输入合规性检测（一）

一、前言

    在前面的“业务优化篇系列文章”的学习中，我们学会了如何使用线程池、Redis和向量数据库等工具。现在，我们要加快学习的速度。一方面，我们会继续改进AI服务的性能瓶颈，另一方面，我们还要学习如何进行合规操作。

    接下来，我们将学习如何使用开源组件来检测违禁词，使用云服务商的内容安全审核来检测内容是否合规，以及使用微调模型来检测变种违规词。

    希望大家能跟上我的步伐，逐步学习，最终取得丰硕的成果。

二、术语

2.1、违禁词

    是指在特定环境或上下文中被禁止使用的词语或短语。这些词汇通常包含敏感、冒犯、侮辱、不雅或违法的内容，可能会引起争议、伤害他人或违反相关规定。

    违禁词的范围因文化、社会、国家和机构的差异而异。例如，在社交媒体平台或在线论坛上，违禁词可能包括种族歧视、仇恨言论、色情、暴力、恶意攻击等内容。在法律层面，违禁词可能包括诽谤、诅咒、威胁、侵犯他人隐私或煽动暴力等。

2.2、内容安全审核

    是指对互联网上的内容进行审查和筛查，以确保其符合相关规定和准则，以避免包含违禁、敏感、不当或违法内容的传播。

    内容安全审核通常由互联网平台、社交媒体平台、在线论坛、应用商店等组织或机构负责进行。这些平台会制定一系列的规则、政策和准则，规定用户发布的内容应遵守的标准。审核过程可能采用人工审核、自动审核或二者结合的方式进行。

在