学习
实践
活动
专区
工具
TVP
写文章

小程序-云开发-如何对敏感词进行过滤内容安全的检测(下)

小程序端进行文本内容的弱校验,减少API的请求 如何将涉及违规的文本内容用*号代替,进行过滤处理 云函数调用方式的优点(推荐使用) 本文重点在于 学会如何在小程序云开发中的云函数后端进行配置,实现文本内容的校验 小程序端在什么时机进行弱校验,为什么有必要这么做 遇到违规文本内容用特殊字符替代 · 正 · 文 · 来 · 啦 · 在前面一文小程序-云开发-如何对敏感词进行过滤内容安全的检测 (输入一段违规的文本进行校验,点击图片可查看) 当您输入符合规则的文本时,便会返回成功时的状态码,以及对应合规的信息提示 ? 对于一些常规敏感词,在小程序端是可以手动的进行自定义校验的,一种处理方式就是 但凡违规内容,可以强制用户不能输入,发布,或者评论等,还有一种处理方式就是,针对敏感词汇,用*号进行替代,如下所示 ? ,云开发团队都已经帮你解决了的 至于图片内容安全校验,限于篇幅所致,放在下一节介绍

79810

小程序-云开发-如何对敏感词进行过滤内容安全的检测(上)

作者 | 随笔川迹 ID | suibichuanji 前言 撰文:川川 您将在本文中学习到如何在小程序中对一段文本进行检测是否含有违法违规的内容 遇到涉及敏感文本问题,以及接入内容安全的校验 具体有哪些应用场景 接入内容安全检测,规避输入一些违法违规低俗等内容,避免幸辛苦苦开发出来的应用 被恶意上传反动言论或上传一些违规内容(文字/图片/视频等),导致小程序或应用被下架,或遭永久禁封,或个人及公司被公安机关打电话 方案1:引入第三方接口对内容进行校验(例如:百度AI内容审核平台,网易云盾等) 优点: 前端同学只需按照官方提供的第三方接口文档,进行校验即可,无需后台介入,功能强大,覆盖范围广 缺点: 接口调用的频次有限制 方案2: 公司后台小伙伴自行开发文本,图片,音视频等内容审核接口 优点: 后台小伙伴自己造轮子,根据自己的业务需求以及用户属性,自定义内容审核机制 缺点: 开发周期长,成本大,难以覆盖全面 方案3: 小程序服务端提供的 promise风格的 处理方式大同小异,大家可以去npm或github上阅读相关使用文档的 结语 本篇主要介绍到了当遇到敏感文本过滤及规避违规内容的处理问题 在小程序中有多种解决方案,其实推荐使用第三种小程序端请求云函数的方式的

1.2K10
  • 广告
    关闭

    出海文娱解决方案,提供架构师1v1支持

    腾讯云提供AI创新文娱玩法及强大的TRTC音视频能力,为用户提供低延时和高品质的社交娱乐体验,帮助企业快速搭建精品秀场直播间

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    “净网2019”行动即将开始,企业如何做好内容安全?

    丰富大众娱乐生活的直播 APP 快速发展, 衍生出了众多全新内容平台, 别有用心者嗅到机会, 开始散播色情、暴力等“网络垃圾”。 面对此次国家新一轮的净网行动号召, 直播 APP 等内容平台何去何从? “黄色”图片成为了主流手段,机器鉴黄与人工鉴黄相互配合; 3.如今,到了移动互联网阶段,网络数据再次骤增,人工鉴黄已经很难适应如今的工作量,加上视频、直播等业务的暴涨,纯靠肤色识别算法作为“过滤”的方式 首先,面对图片内容会有相似度识别通过与过往的数据内容相比,判断该图片是否属于违法范围。如果命中将会给予客户拦截的建议,否则将送到后续的智能识别模块识别色情、暴力、敏感等非法内容。 此外,在面对文本内容信息时,腾讯云天御通过智能模型处理系统,对其包含的内容做检测,识别其中是否包含色情、暴力、敏感等违法要素,给予迅速地拦截。

    1.4K32

    “净网2019”行动即将开始,企业如何做好内容安全?

    丰富大众娱乐生活的直播 APP 快速发展, 衍生出了众多全新内容平台, 别有用心者嗅到机会, 开始散播色情、暴力等“网络垃圾”。 面对此次国家新一轮的净网行动号召, 直播 APP 等内容平台何去何从? “黄色”图片成为了主流手段,机器鉴黄与人工鉴黄相互配合; 3.如今,到了移动互联网阶段,网络数据再次骤增,人工鉴黄已经很难适应如今的工作量,加上视频、直播等业务的暴涨,纯靠肤色识别算法作为“过滤”的方式 首先,面对图片内容会有相似度识别通过与过往的数据内容相比,判断该图片是否属于违法范围。如果命中将会给予客户拦截的建议,否则将送到后续的智能识别模块识别色情、暴力、敏感等非法内容。 此外,在面对文本内容信息时,腾讯云天御通过智能模型处理系统,对其包含的内容做检测,识别其中是否包含色情、暴力、敏感等违法要素,给予迅速地拦截。

    32240

    基于机器学习的敏感信息泄露治理探索

    敏感信息检测系统分为流量识别、数据处理、模型层处理和运营四个阶段: 流量识别:对流量进行分析,去除无用页面,同时构建模型监控数据外泄。 数据处理:对响应内容进行去脏、分词、过滤等预处理步骤。 图6.png Step1: 对待分级内容进行分词、过滤等预处理步骤,通过word2vec模型获取词向量,并输入k-means聚类模型中。 Step2: 聚类模型自动学习信息间的相似度,并输出待分级内容所处的簇,我们默认规模最小的一个簇最可能具有最高威胁等级。经过前面步骤,可过滤掉大部分误报或低风险内容,并筛选出疑似的高危信息。 当然,目前机器学习方案还有很多可以优化的空间,比如针对图片类、视频类等相关场景。 流量安全态势2020年度报告二维码 (1)的副本.png 关于宙斯盾流量安全分析团队 宙斯盾流量安全分析团队隶属于腾讯安全平台部,依托腾讯安全平台部十五年安全经验打造公司级安全系统,聚焦基于流量的攻击检测

    56010

    用对象存储云原生内容安全服务,放心!

    审核类型 图片审核:腾讯云采用了前沿的图像识别算法,对用户上传的违规图像内容进行安全服务,过滤内容场景包括:色情、暴恐、广告等,能够做到识别准确率高、召回率高,多维度覆盖对内容审核的要求,并实时跟进监管要求 音频审核:腾讯云使用前沿语音识别算法构建的语音识别(ASR)引擎,能够对语音的内容进行转译处理,识别违规内容包括色情、暴恐、广告、敏感、灌水等。 文本审核:腾讯云采用前沿的自然语言处理算法,结合海量的敏感关键词库进行建模,并配置有多种预处理和匹配识别规则,快速准确识别各种变形文本,例如拆分字、形似字、音似字、带有干扰符号的句子、有歧义的短语,来有效过滤违规数据 且社交平台的文件类型广泛,涉及到的图片、视频、语音、文本都可能存在违规风险,如果只是单一类型的内容审核难以满足客户需求。 电商平台:存在大量UGC内容,日渐火爆的电商直播等场景让应用面临违规风险。图片、视频等数据多,增长快,人工审核将给企业带来很高的审核成本。

    33130

    蒋鸿翔:网易数据基础平台建设

    今天分享的内容主要是从数据库内核到大数据平台底层技术开发,分享网易数据科学中心多年的大数据建设经验。 --02 大数据技术图片我们大数据平台整合了一些开源社区的一些组件,内部进行一些产品化的改造和bug修复。最顶层是大数据接入层,作为大数据平台,业务平台很多数据来源于数据库,也有很大一部分来源于日志。 遗留的问题就是元数据容量,过滤智能解决部分问题;还有一个就是底层IO问题,因为离线写入和Impala查询是同一份数据,如果写入吃掉很多IO,查询就会出现问题。离线本身对IO敏感很低。 大部分业务可接受,但是对于对延迟敏感的业务可能不支持,Kudu就是解决半小时到一小时的数据实时性。 图片应用后用TPC-H中的一张表测试,Bitmap主要应用多维场景过滤,从一列过滤、两列过滤、到五维过滤整个表现很好,性能提升有十几倍提升。

    16240

    色情、暴力、血腥等内容屡禁不止,企业如何祛“污”?

    图片来自网络) 大部分直播平台其实是遵纪守法的,但在直播的时候总有一些想要博眼球、抖机灵的用户,让平台深陷泥沼。 腾讯云天御内容安全解决方案不仅对涉黄、敏感画面有着99%的识别准确率,若遇上主播们通过“声情并茂”的表演获利,发出那羞羞的声音,天御最新的音频识别技术能结合声纹、违禁词汇,来判断出色情娇喘声以及敏感言论 此处不适合放客户案例现场图 省略一万字…… 02 游戏平台 开着语音打着游戏,当遇上神(zhu)一样的队友时,总是忍不爆几句粗口,文字骂完语音骂,从“家属式问候”到敏感言论,大量低俗内容滋生。 腾讯云实时语音引擎能够将平台指定的违规音频过滤,审核人员则会收到识别引擎的反馈,根据平台守则对违规人员进行禁言/封号处理,从而维护游戏平台生态,让孩子享受一个健康的游戏平台。 (图片来自网络) 不想被色情、血腥、暴力等违法内容毁掉的企业 遇到以上这些问题 请及时接入腾讯云天御内容安全解决方案 色情图片识别准确率99% 文本识别率高达99% 每0.02秒能够识别1秒的音频 ……

    56740

    【快报】杨澜采访李飞飞 | 牛津大学研发系统,能将任何汽车变成自动驾驶汽车

    除了直接与Echo这样的平台整合外,AI和聊天类机器人或许能保证Airbnb搜索的相关性,比如给用户更多选择,周围特色推荐等等。 来源:凤凰科技 5 AI 审查敏感信息,有望取代人类鉴黄师 随着直播视频出现越来越多的暴力、色情等敏感内容,Facebook和Periscope等社交平台正在不断摸索他们应该在筛选用户可见信息上扮演什么角色 对于第二个问题,他们萌生了一个想法:利用AI 过滤信息。 这类视频分析软件已经投入使用,对YouTube、Facebook等发布的视频进行监测,过滤敏感内容。 Facebook机器学习应用团队的负责人Joaquin Candela曾在接受TechCrunch的采访时表示,“我们如果能够利用AI对各项信息100%把关,人们接触到的敏感图片就会越少。”

    74250

    为裸女自动穿上「比基尼」,借助GAN打造强劲的内容审核方法

    互联网易于访问和使用广泛的特性使其比以往更容易地在任何时间搜索到任意的内容。然而这种便利性是有代价的:在很多情况下,人们都会搜索到不希望出现的内容。而研究如何自动过滤这些内容就显得非常有必要了。 早期在裸露和淫秽内容审查的工作主要聚焦于检测敏感媒体文件中的身体部位,例如脸部、人体皮肤和乳头 [1]-[4],而近期的研究使用当前最佳的表征学习方法,来自动学习可以辨别敏感内容和非敏感内容的特征以解决这个问题 该方法可以转换敏感内容域 X(包含裸女的图像池)的一张图像 x 到非敏感内容域 Y(包含穿比基尼女人的图像池)的一张图像 y,其中敏感部位被比基尼覆盖,同时保留原始图像的语义。 在本文中,我们提出了一种成人内容审查文献的范式转变:不是检测和排除识别到的内容,而是自动过滤掉图像中的敏感部位。 其中 D_X 试图区分真实图片 {x} 和转换的图片 {F(y)} = {x hat},而 D_Y 试图区分真实图片 {y} 和转换图片 {G(x)} = {y hat}。 ?

    65110

    博客系统知多少:揭秘那些不为人知的学问(二)

    4.13 敏感过滤及评论审查 4.14 静态化 4.15 通知系统 5. 图片水印 给上传的图片自动加水印有助于保护版权,水印内容一般是博客的地址或博主名字。添加水印时要注意图片尺寸调整水印的比例,以免挡住图中重要内容影响阅读。对于过小的图片,可选择性的忽略水印。 √ 这些三方服务有自己的CDN,而不用担心消耗你自己的钱包; √ 许多文件托管服务有完整的管理功能,例如文件删除、恢复、版本控制、权限等,要是自己在博客系统里写一个这个,需要花费大量时间…… 13 敏感过滤及评论审查 博客难免引来一些抱有敌意的人,也会引来发广告的人,所以通常需要敏感过滤和评论审查。 图 | 网络 因此我强烈建议个人博客启用敏感过滤及评论审查功能。WordPress及我的Moonglade博客系统均支持敏感过滤和评论审查。

    31110

    【JavaWeb】94:如何屏蔽敏感词?

    一、用户评论功能 网络上很多平台都会有敏感词屏蔽,有些词语打出来会被和谐掉。 虽说现在主张言论自由,但我大中华自古以来便是礼仪之邦,很多粗鄙之语能不允许就不允许的好。 那这些词汇是如何屏蔽的呢? ③使用文件过滤过滤文件 我们刚才将敏感词汇文件放入words这个包中了,里面有很多文件,为了防止被其它文件混入,我们只读取后缀名为“.txt”的文本文件。 使用FileFilter接口就能达到过滤文件的效果。 2获取words文件夹里的各个文件里的内容 代码接上图,增强for循环遍历上述过滤后的words文件夹: ? ②迭代器读取文件 这就是IO流中的核心代码,一行一行地读取各个文件里的内容。 ③切割字符串 字符串为一行的内容:是以“|”为分隔,前面为敏感词,后面为屏蔽等级。 split[0]表示的也就是敏感内容,将其存入对应集合即可。 三、过滤代码编写 上述是对过滤器中init()方法里的代码编写,用于获取敏感词一共有哪些。

    73520

    基于SSM的校园二手交易平台的设计与实现「建议收藏」

    本次设计的主要难度在于数据的详细分类,对于数据的过滤必须要严谨,应当考虑敏感字体和敏感图片过滤。 可能遇到的问题有,在数据交互过程中,出现由于属性名的差距导致的数据交互失败。 tool:工具类,例如处理文件,文本敏感过滤图片色情鉴别等等。    6.敏感过滤:管理员将敏感词编入到数据库中,用户发布商品时附带的商品名称,商品备注等等,都会被过滤,将其中的敏感词替代成**。然后返回对应的数值。 用户在填写商品名称,详情的时候,还会ajax自动和后台进行验证判断,并实时提醒用户有没有输入敏感词。 7.图片色情鉴别:使用的是百度的百度开发者平台中的色情图片识别功能。 信息过滤和反垃圾是目前一个比较主流的问题。我使用的主要是文本匹配来过滤敏感词的。

    15120

    轻松几步,给蘑菇博客接入图片审核~

    因此,蘑菇也在积极的探索内容审核。例如,之前蘑菇通过 字典树 实现了 敏感过滤算法 ,能够让用户输入的敏感词都被过滤掉,从而实现文本数据的自动审核。 敏感过滤 但是,上面的方法,只能用于处理文字类型的敏感词,对于图片来说,就爱莫能助了,只能寻找其它方式。 陌溪在网上冲浪的发现了七牛云的内容审核,提供针对图片的审核,并且如果是新用户可享受 18 万次的免费额度~ 七牛云图片内容审核:主要用于检测或识别图片中的不良信息,并给出审核结果管控建议。 支持的审核类型包括:图片鉴黄、图片鉴暴恐、图片敏感人物识别、图片广告识别。 内容审核 抱着试一试的态度,我打开了内容审核的文档,开始接入七牛云的内容审核 https://developer.qiniu.com/censor/5588/image-censor 开启七牛云图片审核

    7210

    【安全】Web渗透测试(全流程)

    比如通过可以访问的资源,如网站首页,查看源代码: 看看是否存在文件遍历的漏洞(如图片路径,再通过.. listings</param-name> <param-value>false</param-value> 3.3 任意文件上传漏洞 漏洞描述 目标网站允许用户向网站直接上传文件,但未对所上传文件的类型和内容进行严格的过滤 ,对用户输入的内容,在后台都需要进行长度检查,并且对【<】【>】【”】【’】【&】等字符做过滤 任何内容返回到页面显示之前都必须加以html编码,即将【<】【>】【”】【’】【&】进行转义。 接口信息泄露:目标网站接口访问控制不严,导致网站内部敏感信息泄露。 渗透测试 先对应用指纹等进行信息搜集,然后针对搜集的信息,看相关应用默认配置是否有更改,是否有加固过;端口开放情况,是否开放了多余的端口; 风险评级:中风险 安全建议 搭建最小化平台,该平台不包含任何不必要的功能

    23530

    对象存储COS推出一站式内容审核服务,助力打造绿色互联网

    截至3月24日,网信办共累计清理相关违法违规信息208万余条,处置账号7.2万余个,协调关闭、取消备案网站平台2300余家。 为了解决数据内容安全问题,腾讯云对象存储COS推出了一站式内容审核,提供了包含图片、视频、语音、文字等全品类数据的内容安全智能审核服务,帮助用户有效识别色情低俗、违法违规、恶心反感等违禁内容,协助用户建设绿色健康的平台环境 图片识别场景包括: 色情:识别多种涉黄违规类型的图片,如色情漫画、涉黄图片等 广告:识别多种形式的广告图片,包括网络小广告、微商商品图片、招嫖广告等 违禁:识别多种违法违规内容,包括抽烟吸毒、赌博、打架斗殴等 4、文本审核 采用前沿的自然语言处理算法,结合海量的敏感关键词库进行建模,并配置有多种预处理和匹配识别规则,快速准确识别各种变形文本,例如拆分字、形似字、音似字、带有干扰符号的句子、有歧义的短语,可有效过滤违规数据 COS内容审核场景适用于众多行业,尤其是社交平台、在线教育、电商平台以及游戏行业,这些行业都具有数据多,增长快,数据类型广泛的特点,对数据审核的覆盖性、准确性、高效性都有极高的要求。

    52630

    关注

    腾讯云开发者公众号
    10元无门槛代金券
    洞察腾讯核心技术
    剖析业界实践案例
    腾讯云开发者公众号二维码

    相关产品

    • 图片审核

      图片审核

      图片审核(Image Auditing,IA)基于腾讯云天御业务安全防护为用户提供图片内容安全智能审核服务,帮助用户有效识别色情低俗、暴力恐怖、违法违规、恶心反感等违禁内容,规避运营风险。

    相关资讯

    热门标签

    活动推荐

    扫码关注腾讯云开发者

    领取腾讯云代金券