能力简介
为提高微信开放平台生态安全性,针对小程序各内容场景中可能存在的安全问题,平台开放API方式向开发者提供内容安全接口,协助开发者应对文本、图片、音频内容类型下的敏感内容识别、涉黄内容识别、暴恐内容识别等问题,以便开发者维护小程序运营秩序和安全。
目前内容安全接口支持以下三种应用场景:
1. 文本内容安全检测:用户个人资料文本内容检测;媒体新闻类用户发表文章、社区评论内容检测;游戏类用户编辑上传的素材检测等。
2. 图片内容安全检测:用户自定义头像检测、涉及拍照的工具类应用用户拍照上传检测;电商类商品上架图片检测;媒体类用户文章里的图片检测;社交类用户上传的图片检测等。
3. 音频内容安全检测:游戏聊天频道中的语音检测;直播中的主播语音检测;论坛社区发布相关媒体内容的音频检测。
内容安全能力旨在帮助开发者能更有效地审核小程序UGC内容,以便缓解人工审核的压力和降低违规的风险,但由于接口仅支持基础检测能力,仍存在识别能力较弱等现象,不能满足大部分开发者的审核需求,为提升优化内容安全接口的性能,我们将开始对内容安全能力2.0进行灰度测试。
灰度测试计划
1. 1.性能优化
• 丰富接口识别的类型:在原接口可识别涉黄、涉政、暴恐基础上,增加了社会事件、广告、违法、低俗、辱骂等恶意内容的检测。
• 接口识别准确度提升:通过不断优化敏感词库和深度学习技术,接口识别的准确度有较大提升,且后续仍会不断进行优化。
• 接口识别结果精细化:接口所返回的结果除了判定检测内容是否违规外,还会增加提供详细的违规类型,可以更好地满足开发者个性化的需求。
2. 2.接入指引
• 发送邮件至MiniProgram@tencent.com进行申请
• 邮件标题格式:“内容安全能力2.0灰度测试申请-【XXX】小程序”
• 邮件内容包含:“小程序名称、appid、申请人、申请人微信号”相关信息
• 平台侧收到申请邮件后,将会尽快评估并以邮件形式回复
欢迎各开发者积极参与,若有任何疑问或者需求,可到微信开放社区-安全中心专区发帖进行互动交流。
目前内容安全能力2.0已正式上线,可查看接口文档进行接入,具体可查看公告,感谢支持!
可否考虑可以增加自定义拦截关键字接口或功能,一些场景需要用到特殊的拦截词汇
点赞。AI审核不可能百分百准确的,是不是考虑增加个修正审核结果的接口?安全接口审核不通过的,我们会人工审核,人工审核没问题的,通过这个接口反馈,这样下次再有相同内容调用安全接口审核的时候,就不要再报不通过了。
已申请