首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

GitHound:一款针对GitHub的API密钥和敏感数据搜索工具

GitHound GitHound可以利用模式匹配、提交历史搜索和一个独特的结果评分系统来精确定位GitHub上的公开API密钥,从本质上来说,GitHound就是一款基于批量爬取、模式匹配和补丁攻击的敏感数据搜索工具...2、通用APK密钥检测,该功能使用了模式匹配、上下文检索和香农熵。 3、提交历史搜索,该功能可以找到没有正确删除的敏感信息。...; —dig-commits - 克隆并搜索目标代码库中的提交历史以获取结果; —many-results - 使用结果排序和过滤搜索超过100页的结果; —results-only - 将正则匹配的结果打印到...); —pages - 要搜索的最大页面数(默认值为100); —no-scoring - 不使用评分来过滤假阳性; —no-api-keys - 不执行通用api密钥搜索。...GitHound使用常见的API密钥模式、上下文检索和香农熵过滤器来查找潜在的公开API密钥; —no-files - 不标记感兴趣的文件扩展名; —only-filtered - 搜索筛选查询(语言

1.7K20

Elasticsearch-05Elasticsearch之查询与过滤

精确匹配搜索时最好用过滤语句, 因为过滤语句可以缓存数据。...---- Filter DSL term 过滤 term 主要用于精确匹配哪些值, 比如数字, 日期, 布尔值或 not_analyzed 的字符串(未经分析的文本数据类型) term允许指定一个匹配条件...,即 value只能有一个值 举例:过滤查询"public_date" 精确匹配 "2017-08-15"的数据 { "query":{ "term":{ "public_date": "...---- terms 过滤 terms 允许指定多个匹配条件。 如果某个字段指定了多个值, 那么文档需要一起去做匹配。...复合查询语句可以加入其他查询子句, 复合过滤语句也可以加入其他过滤子句。 通常情况下, 一条查询语句需要过滤语句的辅助, 全文本搜索除外。 所以说, 查询语句可以包含过滤子句, 反之亦然。

1K10
您找到你想要的搜索结果了吗?
是的
没有找到

ElasticSearch权威指南学习(结构化查询)

这种评分方式非常适用于一个没有完全配置结果的全文本搜索 性能差异 使用过滤语句得到的结果集--一个简单的文档列表,快速匹配运算并存入内存是十分方便的,每个文档需要1个字节。...这些缓存的过滤结果集与后续请求的结合使用是非常高效的 查询语句不仅要查找相匹配的文档,还需要计算每个文档的相关性,所以一般来说查询语句要比过滤语句更耗时,并且查询结果也不可缓存。...幸亏有了倒排索引,一个只匹配少量文档的简单查询语句在百万级文档中的查询效率会与一条经过缓存的过滤语句旗鼓相当,甚至略占上风。但是一般情况下,一条经过缓存的过滤查询要远胜一条查询语句的执行效率。...使用情况 原则上来说,使用查询语句做全文本搜索或其他需要进行相关性评分的时候,剩下的全部用过滤语句 最重要的查询过滤语句 term 过滤 term主要用于精确匹配哪些值,比如数字,日期,布尔值或 not_analyzed...": "title" } } bool 过滤 bool 过滤可以用来合并多个过滤条件查询结果的布尔逻辑,它包含一下操作符: must :: 多个查询条件的完全匹配,相当于 and。

55920

如何使用向量数据库解决复杂问题

近似最近邻(ANN)搜索通过近似和检索相似向量的最佳猜测来解决延迟问题。近似最近邻(ANN)不能保证一组精确的最佳匹配,但它在高准确性和更快性能之间取得了平衡。...(2)单级过滤过滤是一种有用的技术,可根据所选元数据限制搜索结果以增加相关性,通常在最近邻搜索之前或之后完成。...预过滤首先在近似最近邻(ANN)搜索之前收缩数据集,但这通常与领先的近似最近邻(ANN)算法不兼容。一种解决方法是先缩小数据集,然后执行暴力精确搜索。...比如这样一种情况,过滤向下选择少数不太可能从整个数据集的搜索中返回的候选者。单级过滤结合了预过滤的准确性、相关性以及几乎与后过滤一样快的近似最近邻(ANN)速度。...但是对于超过10亿个搜索项的应用程序,内存成本就会使许多向量数据库项目停滞不前。企业可以选择将向量存储在磁盘上,但这通常以更严重的搜索延迟为代价。

59030

linux必学的文件及内容查找命令

该命令通常会返回大量匹配项,可以使用 -r 选项通过正则表达式来精确匹配。 centos默认没有该命令,需要安装yum install mlocate,然后执行updatedb初始化文件库。...格式:locate [选项] 文件名 常用参数 -i:忽略大小写 -l:输出几行的意思,例如输出5行则是-l 5; -r :后面可接正则表达式的显示方式 -c:不输出文件名,计算找到的文件数量; 常用使用案例...内容查找 grep grep是linux系统一个强大的文本搜索工具,可以从文本文件或者管道数据流中筛选匹配的行或者数据。可以使用字符串或者正则表达式匹配。...精确匹配过滤的字符串 常用使用案例 grep "cpu" cpuinfo # 输出文件中包含cpu的行 grep -v "cpu" cpuinfo # 输出文件中不包含cpu的行 grep -n "cpu...cpu grep -w "cpu" cpuinfo # 只匹配cpu这个单词的行 vim 如果要查找某个字符串的位置,也可以使用vi/vim命令的搜索功能: 方法如下: 1、命令模式下输入“/字符串

2.9K30

【腾讯云ES】如何在 Elastic Search 中使用 Bool 查询组合多个子查询

Elasticsearch 的一个关键特性是它支持复杂的搜索查询,可用于根据各种条件搜索过滤文档。在本文中,我们将重点关注 Elasticsearch 查询语言的一个特定方面——bool 查询。...这使您可以创建复杂的搜索查询,将结果缩小到匹配特定条件的文档。例如,假设您有一个产品数据库,您想要搜索所有红色、价格在 10 美元到 20 美元之间且有货的产品。...您还可以使用“should”子句来指定至少一个子查询应该匹配,以便将文档包含在结果中。 例如,假设您要搜索价格在 10 美元到 20 美元之间的红色或蓝色产品。...这使您可以控制搜索结果中精确度和召回率之间的平衡。总之,bool 查询是 Elasticsearch 中一个功能强大且用途广泛的工具,它允许您使用逻辑运算符组合多个子查询。...它可用于创建复杂的搜索查询,将结果缩小到匹配特定条件的文档。 通过使用 minimum_should_match 参数,您可以微调搜索查询并控制结果的相关性。

2.5K20

ElasticSearch权威指南:基础入门(中)

精确值很容易查询。结果是二进制的:要么匹配查询,要么不匹配。...我们问的不只是“这个文档匹配查询吗”,而是“该文档匹配查询的程度有多大?”换句话说,该文档与给定查询的相关性如何? 我们很少对全文类型的域做精确匹配。相反,我们希望在文本类型的域中搜索。...如果我们使用计算匹配词条数量的简单 相似性算法 ,那么,我们可以说,对于我们查询的相关性来讲,第一个文档比第二个文档更佳。...当你查询一个 精确值 域时,不会分析查询字符串, 而是搜索你指定的精确值。...如何选择查询与过滤 通常的规则是,使用 查询(query)语句来进行 全文 搜索或者其它任何需要影响 相关性得分 的搜索。除此以外的情况都使用过滤(filters)。

5.6K41

学好Elasticsearch系列-Query DSL

通过这种语言,用户可以构建复杂的查询、排序和过滤数据等操作。这些查询可以是全文搜索、分面/聚合搜索,也可以是结构化的搜索。...q=2021-06-01 精准查询-Term query 精确查询用于查找包含指定精确值的文档,而不是执行全文搜索。...} 这个查询会找到"user"字段精确匹配"kimchy"的所有文档。...简单来说,term 查询更多的是做精确的、字面的匹配,而 match_phrase 则是做短语匹配,在搜索结果的精确度上,term 查询比 match_phrase 更高。...terms:匹配搜索词项列表中任意项匹配的结果 terms 查询用于匹配指定字段中包含一个或多个值的文档。这是一个精确匹配查询,不会像全文查询那样对查询字符串进行分析。

21510

【Elasticsearch】DSL查询文档

比较常用的场景包括: 商城的输入框搜索 百度输入框搜索 例如京东: 因为是拿着词条去匹配,因此参与搜索的字段也必须是可分词的text类型的字段。...查询时,用户输入的内容跟自动值完全匹配时才认为符合条件。如果用户输入的内容过多,反而搜索不到数据。...,能正确查询出结果: 但是,当我搜索的内容不是词条,而是多个词语形成的短语时,反而搜索不到: 1.3.2.range查询 范围查询,一般应用在对数值类型做范围过滤的时候。...term查询:根据词条精确匹配,一般搜索keyword类型、数值类型、布尔类型、日期类型字段 range查询:根据数值范围查询,可以是数值、日期的范围 1.4.地理坐标查询 所谓的地理坐标查询...因此这种多条件查询时,建议这样做: 搜索框的关键字搜索,是全文检索查询,使用must查询,参与算分 其它过滤条件,采用filter查询。

28620

ES的映射和分析

精确值和全文 1.ES的数据可以分为精确值和全文 2.精确值比如date类型或者long类型,全文指string类型(匹配) 分析过程: 1.文本分成适合倒排索引的独立的词条 2.将词条标准格式化为可搜索...2.1 字符过滤:去掉html或者&转换为and 2.2 分词器:其次字符串被分词器分成单个词条 2.3 过滤器:词条按照顺序通过token过滤器(小写化、删除无用词、增加同义词) 分析器使用场景...: 当你查询一个 全文 域时, 会对查询字符串应用相同的分析器,以产生正确的搜索词条列表。...当你查询一个 精确值 域时,不会分析查询字符串, 而是搜索你指定的精确值 自定义域映射: 1.全文字符串域和精确值字符串域区别 2.使用特定语言分析器 3.优化域适应部分匹配 4.自定义数据格式...属性: 1.string类型会被认为包含全文,映射两个重要属性是index和analyzer index只能是analyzed(默认,分析字符串然后索引)、not_analyzed(不分析只索引,精确匹配

1.4K120

最新SOTA!隐式学习场景几何信息进行全局定位

然后,通过将这两种表示进行刚性对齐,就可以得到与姿态标签匹配的姿态估计。...在推理阶段,模型可以实时地从单张图像中估计出场景的三维几何信息,并通过对齐得到姿态。...通过梯度下降预测的姿态被调整,在训练过程中,由姿态损失方程(2)引导,以匹配地面真实姿态,从而间接调整两个几何表示(3D 云)。...表III:不同的过滤方法对我们的方法的姿态精度的影响。 图3:在7Scenes数据集上的预测结果的可视化示例。 5....在未来的工作中,我们希望利用基础模型生成的嵌入,并将其集成到我们学习的三维表示中,以利用场景语义进行更精确的姿态估计。

30120

一起学Elasticsearch系列-Query DSL

match:匹配包含某个term的子句 match 查询是 Elasticsearch 中的一种全文查询方式,它包括标准分析和词项搜索。尽管它可以应用于精确字段,但其主要用途是进行全文搜索。...如果你只是希望所有单词都存在,而不关心它们的顺序或精确出现方式,那么你应该使用 match 查询。 Term Query 精确查询用于查找包含指定精确值的文档,而不是执行全文搜索。...term:匹配搜索词项完全相等的结果 term 查询主要用于查询某个字段完全匹配给定值的文档。这对精确匹配非常有效,例如数字、布尔值或者字符串。...terms:匹配搜索词项列表中任意项匹配的结果 terms 查询用于匹配指定字段中包含一个或多个值的文档。这是一个精确匹配查询,不会像全文查询那样对查询字符串进行分析。...相比之下,过滤器只关心文档是否匹配 - 没有“部分匹配”,只有“匹配”或“不匹配”。 过滤器可以被缓存:由于过滤器不需要计算得分,因此它们的结果可以被缓存起来用于之后的搜索请求,这可以大大提高性能。

38920

【翻译】图解Janusgraph系列-索引参数与全文索引查询(Janusgraph Index Parameters and Full Text Search)

这有助于查询精确的字符序列匹配。这通常称为字符串搜索。 1.1 全文检索 默认情况下,字符串被索引为文本。要使此索引选项显式,可以在将属性键索引为文本时定义映射。...*corn.*')) g.V().has('booksummary', textContainsFuzzy('unicorn')) 字符串搜索谓词(见下文)可用于查询,但那需要在内存中进行过滤,这可能非常昂贵...但是,在这种情况下,查询必须匹配整个字符串值。 因此,在索引被认为是一个令牌的短字符序列时,字符串映射很有用。 当字符串属性被索引为字符串时,索引后端在图形查询中支持以下谓词。...*corn.*')) g.V().has('bookname', textFuzzy('unicorn')) 可以在查询中使用全文搜索谓词,但是那些需要在内存中进行过滤,这可能是非常昂贵的。...1.3 全文和字符串搜索 如果您使用Elasticsearch,则可以将属性索引为文本和字符串,从而允许您使用所有谓词进行精确匹配和模糊匹配

81230

Linux基础之正则表达式

(例如,a 到 z 之间的字母)和特殊字符(称为“元字符”))操作的一种逻辑公式,就是用事先定义好的一些特定字符、及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑...正则表达式是一种文本模式,该模式描述在搜索文本时要匹配的一个或多个字符串。 给定一个正则表达式和另一个字符串,我们可以达到如下的目的: 1....给定的字符串是否符合正则表达式的过滤逻辑(称作“匹配”): 2. 可以通过正则表达式,从字符串中获取我们想要的特定部分。...grep 命令说明: 常用的选项OPTION: -c 显示匹配到的行数之和 -o 显示匹配本身 -v 显示非匹配,取反 -i 不区分大小写 -E 支持扩展表达式 -q 静默模式 -n 显示匹配到的行的行号...etc 目录下以p开头不以数字结尾的所有文件和目录: 显示 ip a 或者 ifconfig 命令中的IP地址,-E 选项为支持扩展正则表达式: -l 选项可以列出包含字符串的文件列表: -w 精确锚定字符串

1.1K20

深入搜索之结构化搜索

结构化搜索是指针对具有内在结构的数据进行检索的过程。比如日期、时间和数字都是结构化的,它们有精确的格式。...精确值查找 进行精确值查找时,使用filters会有比较快的执行速度,而且不会计算相关度,跳过了整个评分的阶段,而且容易被缓存。...创建bitset: 过滤器会创建一个 bitset (一个包含 0 和 1 的数组),它描述了哪个文档会包含该 term 。匹配文档的标志位是 1 。...迭代bitset(s) 一旦为每个查询生成了bitsets,es就会去bitsets中寻找满足所有过滤条件的匹配文档的集合。...should 至少有一个语句要匹配,与 OR 等价。 就这么简单! 当我们需要多个过滤器时,只须将它们置入 bool 过滤器的不同部分进行嵌套即可。

2.8K20

ElasticSearch权威指南:深入搜索(上)

用不了多长时间,就会发现我们想要的更多:希望查询匹配更灵活,排名结果更精确,不同问题域下搜索更具体。 想要进阶,只知道如何使用 match 查询是不够的,我们需要理解数据以及如何能够搜索到它们。...一、结构化搜索 结构化搜索(Structured search) 是指有关探询那些具有内在结构数据的过程。比如日期、时间和数字都是结构化的:它们有精确的格式,我们可以对这些格式进行逻辑操作。...1.精确值查找 当进行精确值查找时, 我们会使用过滤器(filters)。过滤器很重要,因为它们执行速度非常快,不会计算相关度(直接跳过了整个评分阶段)而且很容易被缓存。...它是一个高级 全文查询 ,这表示它既能处理全文字段,又能处理精确字段。 这就是说, match 查询主要的应用场景就是进行全文搜索,我们以下面一个简单例子来说明全文搜索是如何工作的: 1....为了区分,Elasticsearch 也支持一个可选的 search_analyzer 映射,它会应用于搜索时( analyzer 还用于索引时)。

4K31
领券