首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

小程序-云开发-如何对敏感词进行过滤即内容安全检测(下)

作者 | 随笔川迹 ID | suibichuanji 前言 撰文:川川 您将在本文中学习另外一种方式如何在小程序中对一段文本进行检测是否含有违规内容 云函数中进行简单配置一下,就可以实现文本内容校验...小程序端进行文本内容弱校验,减少API请求 如何将涉及违规文本内容用*号代替,进行过滤处理 云函数调用方式优点(推荐使用) 本文重点在于 学会如何在小程序云开发中云函数后端进行配置,实现文本内容校验...小程序端在什么时机进行弱校验,为什么有必要这么做 遇到违规文本内容用特殊字符替代 · 正 · 文 · 来 · 啦 · 在前面一文小程序-云开发-如何对敏感词进行过滤即内容安全检测...下面就来看一下是如何简单,实现 01 在云函数目录下创建云函数 小程序端代码几乎不用怎么变,这里为了区别上一节代码,在云函数端重新创建一个msgSecCheck2云函数 小程序端wxml <!...云调用是云开发提供基于云函数使用小程序开放接口能力,目前已经覆盖以下几个使用场景 服务端调用 开放数据调用 消息推送 具体详细介绍,您可以前往小程序官方文档阅读 云调用需要在云函数中通过 wx-server-sdk

3K10

小程序-云开发-如何对敏感词进行过滤即内容安全检测(上)

作者 | 随笔川迹 ID | suibichuanji 前言 撰文:川川 您将在本文中学习到如何在小程序中对一段文本进行检测是否含有违法违规内容 遇到涉及敏感文本问题,以及接入内容安全校验 具体有哪些应用场景...,约喝茶等,这样的话,就得不偿失了 02 应用场景 用户个人资料违规文字检测(个人信息等,一些过于商业以及营销之类词可以进行过滤或禁止输入) 用户自行发表信息,评论,留言,内容检测等 03 解决办法...方案1:引入第三方接口对内容进行校验(例如:百度AI内容审核平台,网易云盾等) 优点: 前端同学只需按照官方提供第三方接口文档,进行校验即可,无需后台介入,功能强大,覆盖范围广 缺点: 接口调用频次有限制...文档,自行实现 对于方案2,具体可评估,有实力开发人员可自行开发 对于方案3,极力推荐,使用小程序提供API进行校验(本文主要通过云调用方式去解决文本校验问题) 既然文档中提到HTTPS调用方式...promise风格 处理方式大同小异,大家可以去npm或github上阅读相关使用文档 结语 本篇主要介绍到了当遇到敏感文本过滤及规避违规内容处理问题 在小程序中有多种解决方案,其实推荐使用第三种小程序端请求云函数方式

3.6K10

elasticsearch字段类型与应用场景

过滤查询:可以通过boolean类型对数据进行特定状态过滤查询操作。来筛选符合条件文档聚合分析:boolean类型可以用于聚合分析,例如分析某个特定状态值群体占比情况。...元数据存储:用于存储索引数据中元数据。例如:数据创建日期,版本号等这类字段值相同数据。过滤筛选:由于使用该字段类型字段值都是相同,所以我们可以对其进行过滤筛选,筛选出特定属性文档数据。...应用场景:嵌套文档存储:使用object类型,我们可以在文档中存储嵌套文档或对象,在表示层次结构或多属性文档数据时非常实用。例如存储一对多关系,例如一个人对应姓名,性别,银行卡号,手机号等属性。...更加便于检索其中复杂嵌套数据结构。子字段操作:我们可以通过定义嵌套字段中子字段类型,来实现对嵌套数据中某个子字段操作。也可以针对子字段进行单独搜索查询,聚合排序。...范围查询:使用该类型字段可以根据桶范围来查询或过滤特定范围内文档,不用对每个文档数据进行比较。text文本字段类型:主要用于存储需要进行全文检索数据。例如:文档内容,商品简介等信息。

45352

Vue学习(九) 计算属性是什么,为什么使用他,如何进行使用

计算属性是什么 就是利用这个将多个变量整合为一个之后,进行展示。 computed是一个属性 ,里面写就是函数,只是函数名字我们一般定义为名词,以后直接使用名词就可以了。...这个里面的函数是有缓存,就是里面的方法只会计算一次,而methods里面的方法是你调用几次,那么里面的方法就计算几次。...计算属性setter 和 getter 计算属性里面的函数,一般底层是这样 我们拿到计算属性名字 ,就是调用get方法,一般set方法是不使用。...以上是底层,但是写起来太麻烦了,所以现在就简化了,就和普通方法写法一样了。 ?

77720

Elasticsearch聚合 之 Terms

之前总结过metric聚合内容,本篇来说一下bucket聚合知识。Bucket可以理解为一个桶,他会遍历文档内容,凡是符合要求就放入按照要求创建桶中。...当所有的分片结果都返回后,在主节点进行结果合并,再求出频率最高前5个,返回给客户端。 这样就会造成一定误差,比如最后返回前5个中,有一个叫A,有50个文档;B有49。...因此可以通过设置min_doc_count和shard_min_doc_count来规定最小文档数目,只有满足这个参数要求个数词条才会被记录返回。...,使用两种方式:include可以过滤出包含该值文档;相反则使用exclude。...collect模式 对于子聚合计算,有两种方式: depth_first 直接进行聚合计算 breadth_first 先计算出当前聚合结果,针对这个结果在对子聚合进行计算。

2.1K60

引领向量数据库技术新变革,Milvus 2.4 正式上线!

Grouping 搜索 Milvus 2.4 新增支持 Grouping 搜索功能,使得用户可以在搜索 vector 基础上做分组聚合,返回 TopK 是基于分组后聚合结果而非简单以向量为中心片段信息...用户现在可以按特定标量字段中聚合搜索结果,这有助于RAG 应用程序实现文档级召回。考虑一个文档集合,每个文档拆分成各种段落。每个段落由一个向量嵌入表示,属于一个文档。...要查找最相关文档而不是分散段落,可以在 search() 操作中包含 group_by_field 参数,以按文档 ID 对结果进行分组。...此外,此版本还允许对 MMap 进行动态和细粒度控制,而无需重新启动 Milvus。...⬆️ 其他优化 Milvus 2.4 还包含其他新特性及功能优化,包括在元数据过滤中支持使用正则表达式对子字符串进行匹配、全新标量倒排索引(由 Tantivy 贡献)以及用于检测并同步 Milvus

51310

触类旁通Elasticsearch:关联

(5)嵌套和逆向嵌套聚合 为了在嵌套类型对象上进行聚合,需要使用nested聚合。这是一个单桶聚合,在其中可以指定包含所需字段嵌套对象之路径。...如图6所示,nested聚合促使ES进行了必要连接,以确保其它聚合在指定路径上能正常运行。 ?...,不过它可以通过聚合文档得分,对每个父辈进行评分。...索引、更新和删除反规范化数据 (1)反规范化哪个方向 是将会员复制为分组文档呢。还是反过来将分组复制为会员文档?必须要理解数据是如何索引、更新、删除和查询,才能做出选择。...parent字段,就能知道如何进行更新了 ], "query": { "bool": { "filter": { "term": { "_

6.2K20

MongoDB高级操作(管道聚合

一、 聚合aggregate 聚合(aggerate)主要用于计算数据,类似于SQL中sum(),avg(),聚合aggregate是基于数据处理聚合管道,每个文档通过一个由多个阶段(stage)...组成管道,可以对每个阶段管道进行分组、过滤等功能,然后经过一系列处理,输出相应结果。...$match:过滤数据,只输出符合条件文档。 $project:修改输入文档结构,如重命名、增加、删除字段、创建计算结果。 $sort:将输入文档排序后输出。...$limit:限制聚合管道返回文档数。 $skip:跳过指定数量文档,并返回余下文档。 $unwind:将数组类型字段进行拆分。 表达式 作用:处理输入文档并输出。...$unwind 将文档中某一个数组类型字段拆分成多条,每条包含数组中一个值,属性值为false表示丢弃属性值为空文档属性值preserveNullAndEmptyArrays值为true表示保留属性值为空文档

3.2K11

Elasticsearch初检索及高级

] 并不是所有的查询都需要产生分数,特别是哪些仅用于filtering过滤文档。...默认情况下,Elasticsearch返回根据这些相关性得分排序文档。 must_not 子句中条件被视为“过滤器”。它影响文档是否包含在结果中, 但不影响文档评分方式。...还可以显式地指定任意过滤器来包含或排除基于结构化数据文档。 term 和match一样。匹配某个属性值。...(document),以及它所包含属性(field)是如何存储和索引。...使用maping来定义 哪些字符串属性应该被看做全文本属性(full text fields); 哪些属性包含数字,日期或地理位置; 文档所有属性是否都嫩被索引(all 配置); 日期格式; 自定义映射规则来执行动态添加属性

1.1K10

ES数据库入门(elasticsearch上手指南)-2021.3.26

使用这三个信息可以返回原始 JSON 文档 GET /megacorp/employee/1 ​ 返回结果包含了文档一些元数据,以及 _source 属性,内容是 John Smith 雇员原始...这部分与我们之前使用 match 查询 一样。 b. 这部分是一个 range 过滤器 , 它能找到年龄大于 30 文档,其中 gt 表示_大于_(great than)。...这是一个很好案例,阐明了 Elasticsearch 如何 在 全文属性上搜索并返回相关性最强结果。...– 短语搜索 想要精确匹配一系列单词或者_短语_ ,以短语 “rock climbing” 形式进行匹配。...这个部分包含了 about 属性匹配文本片段,并以 HTML 标签 封装: – 分析(聚合功能aggregation) 聚合与 SQL 中 GROUP BY 类似但更强大。

1.7K40

ElasticSearch基础语法

(7)Filter【结果过滤】 并不是所有的查询都需要产生分数,特别是哪些仅用于filtering过滤文档。为了不计算分数,elasticsearch会自动检查场景并且优化查询执行。...(9)Aggregation(执行聚合聚合提供了从数据中分组和提取数据能力。最简单聚合方法大致等于SQL Group by和SQL聚合函数。...(2)映射 Maping是用来定义一个文档(document),以及它所包含属性(field)是如何存储和索引。...比如:使用maping来定义: 哪些字符串属性应该被看做全文本属性(full text fields); 哪些属性包含数字,日期或地理位置; 文档所有属性是否都嫩被索引(all 配置); 日期格式...更新必须创建新索引,进行数据迁移。 数据迁移 先创建new_twitter正确映射。然后使用如下方式进行数据迁移。

1.2K10

MongoDB 4.2 亮点功能之——按需式物化视图

使用on属性,可以使用任意具有唯一值字段。 如果匹配上_id,在默认情况下,$merge执行阶段将提取新结果文档以及集合中结果文档,合并这两个文档,生成一个包含它们所有字段复合文档。...该属性也可设置为“replace",表示完全替换为新文档;如果属性设置为“keepExisting",文档即保持原状;如果属性设置为“fail",则可以在出现重复时中止聚合执行。...我们需要定义什么变量构成数据集,如何对其赋值。首先要考虑是bedcount。 $$new符号表示“从刚刚计算过文档中提取数据”。因此,我们准备复制新bedcount数据。...只有在该日期之后下载文档才会进行高评级检查,而只有通过这一检查文档才会发送至$merge执行阶段,对recentTopRates集合进行更新。...与通过$out或未过滤$merge命令重新生成集合方式相比,这种方式更加快捷。

1.9K10

【源头活水】Subgraph Neural Networks

在图node-level和graph-level预测任务上,深度学习方法已经取得了很好表现了,但是对子图(subgraph)预测研究很少。...subgraph-level表征需要关注近邻(neighbor)、结构(structure)和位置(position)三个方面的信息,更多信息带来更多挑战: (1)要求对不同大小子图进行联合预测...子图表征学习要求模型对子图特有的一些属性编码。如下图2所示,子图有六个拓扑属性,两列表示子图内部和外部,三行表示位置、近邻和结构三类。...图2 子图六个拓扑属性 03 Method 如下图所示,SubGNN用启发式方法,把message从anchor patches传递到子图元素,然后聚合得到表征到最终子图embedding...首先通过通道聚合函数 ? 聚合成每一层子图元素表征,然后通过聚合函数 ? 聚合所有层元素表征得到最后子图元素表征 ? 。最后每个元素 ? 元素表征 ? 通过 ? 聚合到最后子图表征 ? 。

1.3K10

SparkSQL内核解析之逻辑计划

LogicalPlan父类QueryPlan主要分为六个模块: – 输入输出 涉及QueryPlan内属性相关输入输出 – 基本属性 QueryPlan内基本属性 – 字符串 主要用于打印QueryPlan...,如过滤等 用来重定义分区操作(RedistributeData) 主要针对现有分区和排序特定不满足场景 脚本相关转换操作(ScriptTransformation) 用特定脚本对输入数据进行转换...fromLogicalPlan 生成加入了过滤逻辑LogicalPlan:对BooleanDefaultContext进行递归,生成对应expression并返回作为过滤条件,然后基于此生成Filter...=> OptimizeSubqueries 当SQL语句包含子查询时,在逻辑算子树上遇到SubqueryExpression表达式会进一步递归调用Optimizer对子查询计划进行优化 BatchReplaceOperator...直接删除无用SubqueryAlias节点,Filter直接作用于Relation 对过滤节点进行分析,添加非空约束(来自Filter中约束信息) 对可以折叠表达式直接进行静态计算,并用结果替换表达式

2.1K21

Elasticsearch聚合优化 | 聚合速度提升5倍!

实践应用发现,以下情况都会比较慢: 1)待聚合文档数比较多(千万、亿、十亿甚至更多); 2)聚合条件比较复杂(多重条件聚合); 3)全量聚合(翻页场景用)。..."collect_mode" : "breadth_first" depth_first 直接进行聚合计算 breadth_first 先计算出当前聚合结果,针对这个结果在对子聚合进行计算。...size": 1000, "collect_mode": "breadth_first" } } }, "size":0 } 1)修改索引名称,以获取更多文档...4、小结 global_ordinals是关键字字段( keyword field )默认选项,它使用 全局顺序(global ordinals) 来动态分配存储区,因此内存使用情况与作为聚合作用域一部分文档数量成线性关系...只有极少数文档与查询匹配匹配时才应考虑使用map方式。 默认情况下,只有在脚本上运行聚合时才会使用map,因为它们没有序号( ordinals )。

4.7K72

Elasticsearch Top 51 重中之重面试题及答案

数据节点 存储数据并执行诸如CRUD(创建/读取/更新/删除)操作,对数据进行搜索和聚合操作。...分桶 Bucket 聚合 根据字段值,范围或其他条件将文档分组为桶(也称为箱)。 指标 Metric 聚合 从字段值计算指标(例如总和或平均值)指标聚合。...管道 Pipeline 聚合聚合,从其他聚合(而不是文档或字段)获取输入。 24、你能告诉我 Elasticsearch 中数据存储功能吗?...28、token filter 过滤器 在 Elasticsearch 中如何工作? 针对 tokenizers 处理后字符流进行再加工,比如:转小写、删除(删除停用词)、新增(添加同义词)等。...32、Elasticsearch Analyzer 中字符过滤如何利用? 字符过滤器将原始文本作为字符流接收,并可以通过添加,删除或更改字符来转换字符流。

1.5K20
领券