AI诈骗肆虐，平台如何做好AIGC风险管理？_aigc推荐误导案例

老牌歌星合唱的梦幻联动，实则是AI合成音频，但可达到以假乱真的地步；某男子因遭遇AI换脸骗术，9秒被骗245万；某带货直播间，使用AI换脸黑科技，粉丝误以为当红女明星直播带货......

随着AIGC的爆火，给予冲浪选手们更新奇体验的同时，以AI实施犯罪的团伙也猖獗在互联网中，威胁着公民的信息安全、财产安全及知识产权，危害着全民网络健康。

AI诈骗肆虐，为什么心有戒备仍会上当？诈骗的底层逻辑是什么？平台应该怎么防范，才能做好AIGC风险管理？

AIGC审核：生成端与发布端

一、AIGC生成端：模型输入和用户输入审核

AIGC，利用模型生成的海量内容，本身就是在AI与人的互动中生成内容。面临的最大挑战是模型生成的内容不可控。AIGC宛如一个巨大的“黑箱”，在人与AI的交互中，可能生成存在侵犯他人利益的内容，如敏感言论、违禁内容、AI假脸合成等。因此需要做好审核预案，主要审核方向为模型的输出及用户的输