首页
学习
活动
专区
圈层
工具
发布

(字典、子域名)合并去重 Python 脚本

前言 一般在做渗透测试的时候,前期对目标资产子域名进行信息搜集时,往往会从多个在线或者离线子域名采集工具中导出结果。...然而每个工具平台导出的结果中都会有很多重复的子域名,如果靠手工对这些子域名结果进行合并去重的话,是非常的繁琐且低效率的,因此可以借助脚本工具替我们去完成这一复杂的整理工作,提高渗透效率。...0x01 脚本使用 将(字典、子域名)逐行保存到*.txt文件中,并且与脚本放在同一️目录下,然运行脚本即可: ~/ ls a.com.txt b.com.txt merge_unique.py...开始合并: 合并完毕! 开始去重: 去重完成!...a.com.txt b.com.txt merge_unique.py out_merged_result.csv 执行完毕后,会将所有txt文件中的内容合并去重到新的

2K40

Python合并字典时明确同名键的处理

输入字典的先后顺序保留原始输入,另用一个变量保存处理结果。需要修改空白、大小写或字段名称时,说明这样做的原因,避免把不同含义的值合并在一起。...同名键的覆盖结果每一步只完成一种职责,先规范格式,再分组或合并。遇到缺失信息时,应明确选择记录、跳过还是报错,不要让默认行为悄悄替代业务判断。...特别是零、空字符串和缺失值,它们在语言中的转换结果可能与人的直觉不同。保留用于核对的小样本运行结束后,将输出与事先写下的预期进行比较。确认条数、顺序和特殊值都符合约定,再考虑用于更多资料。...对于未能解释的结果,先缩小输入范围复现,保留原始样本和说明,方便后来重新检查。...记录真正帮助过自己的信息,删去没有使用场景的重复内容。整理或编码都需要围绕具体问题进行,小范围验证能帮助发现最初没有注意到的假设。说明:本文由AI辅助撰写,配图为自制步骤示意;示例不包含真实个人资料。

10900
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    【Python】字典 dict ① ( 字典定义 | 根据键获取字典中的值 | 定义嵌套字典 )

    一、字典定义 Python 中的 字典 数据容器中 , 存储了 多个 键值对 ; 字典 在 大括号 {} 中定义 , 键 和 值 之间使用 冒号 : 标识 , 键值对 之间 使用逗号 , 隔开 ; 集合...也是使用 大括号 {} 定义 , 但是 集合中存储的是单个元素 , 字典中存储的是 键值对 ; 字典 与 集合 定义形式很像 , 只是 字典 中的元素 是 使用冒号隔开的键值对 , 集合中的元素不允许重复..., 同样 字典中的 若干键值对中 , 键 不允许重复 , 值是可以重复的 ; 字典定义 : 定义 字典 字面量 : {key: value, key: value, ... , key: value...= dict() 二、代码示例 - 字典定义 在下面的代码中 , 插入了两个 Tom 为键的键值对 , 由于 字典中的 键 不允许重复 , 新的键值对会将老的键值对覆盖掉 ; 代码示例 : """ 字典...字典 中的 键 Key 和 值 Value 可以是任意的数据类型 ; 但是 键 Key 不能是 字典 , 值 Value 可以是字典 ; 值 Value 是 字典 数据容器 , 称为 " 字典嵌套 "

    6.5K30

    具有列表功能的有序字典实现 ListOrderedDict

    字典和列表都是python中常用的数据结构,各自有各自的优点,但有没有可以结合他们优点的数据结构呢,本文初步实现了具有列表功能的有序字典, 取名 ListOrderedDict。...背景 在python编程中,遇到了字典需要有序的情况,可以使用 collections 库中的 OrderedDict,在保持字典功能的同时使得其元素保持输入顺序; 但在此基础上又需要他拥有列表的性质:...self.keys())[key] return super().setdefault(key, default) 初步实现 按整数下标提取元素 切片 append pop 其他有序字典操作...使用 功能集成在了我的常用库 mtutils 中,可以pip直接安装 pip install mtutils 之后直接引用 from mtutils import ListOrderedDict 注意...为了保持几种特性,牺牲了整数作为字典 key 的能力 有问题欢迎随时交流

    2K20

    Linux下的字典生成工具Crunch,创造自己的专属字典

    Crunch是一种创建密码字典工具,按照指定的规则生成密码字典,可以灵活的制定自己的字典文件。使用Crunch工具生成的密码可以输出到屏幕,保存到文件、或另一个程序。...由其在渗透测试需要爆破的时候,字典的编排等直接影响到我们的爆破速度,对整个渗透测试流程起着十分重要的作用。 0x00 安装 ?...0x02 实用案例 (1)生成一个字典文件,用自己指定的字符(默认为26个小写字母为元素的所有组合) ? ? (2)若字典中需要空格,;等用双引号来表示 ? ?...(3)生成几个元素的组合(可以用于社工中收集的信息) ? ? (4)生成指定的字符串(比如生成编号,手机号等) ? ? (5)多种组合 生成3个元素的组合,前三位为定义的字符串 ? ?...0x04 总结 你也可以根据自己需要的字符自己编写密码库文件来完成对特殊字典的编写,来创造自己的专属字典。 * 本文作者romantickiller,转载注明来自FreeBuf.COM

    2.8K40

    LDAPWordlistHarvester:基于LDAP数据的字典生成工具

    LDAPWordlistHarvester是一款功能强大的字典列表生成工具,该工具可以根据LDAP中的详细信息生成字典列表文件,广大研究人员随后可以利用生成的字典文件测试目标域账号的非随机密码安全性。...工具特征 1、支持根据LDAP中的详细信息生成字典文件:其中包括用户的name和sAMAccountName、计算机设备的name和sAMAccountName、组的name、组织的name、活动目录站点的...name和descriptions、以及 所有 LDAP 对象的descriptions描述; 2、支持使用--outputfile选项指定输出字典文件的名称。...密钥 (128或256位) -k, --kerberos 使用Kerberos身份认证,基于目标参数从.ccache文件获取凭证 非随机密码安全性测试 拿到字典文件之后,我们就可以使用.../clem9669_large.rule --loopback 工具运行演示 如需根据目标域(domain.local)的LDAP信息生成字典文件,可以直接运行下列命令: .

    68410

    日拱算法,按字典序排在最后的子串

    题目: 给你一个字符串 s ,找出它的所有子串并按字典序排列,返回排在最后的那个子串。...按字典序排在最后的子串是 "bab"。...示例 2: 输入:s = "leetcode" 输出:"tcode" 题目来源:按字典序排在最后的子串 题解: 这题题干很简洁,比什么兔子问题、果篮问题好理解很多。...看题之后,很明显的一个概念需要清楚,那就是:字典序排列! 什么是字典序排列? 字典序是指按照单词出现在字典的顺序进行排序的方法。...我们发现: 当前面一截相同,那么肯定是越长的子串字典序越大;比如 abcdX 必定要大于 abcd; 因此以某个字符 x 开头的子串最大的一定是以 x 所在位置为起点、s 最后一个字符为终点的子串

    71110

    一款强大的密码字典生成工具

    一份强大的密码字典可使“肾透”事半功倍。那如何得到一份这样的字典呢?这需要我们根据收集到的信息自己来创建。 关于 UserNameDictTools是一款能根据用户姓名、生日等信息。...生成输入自己的专属密码字典。同时支持将中文汉字姓名转换为拼音格式,支持多达11种拼音格式的转换。 工具特色 综合处理速度和准确度,选用了最新的拼音转换支持库。...支撑转成11种格式的用户名拼音(大家有什么好的建议,可以在公众号后台给我发消息留言) 对读入的中文汉字姓名列表文件进行编码识别,避免出现中文乱码问题。 对生成的字典进行文本去重,保证没有重复结果。...软件根目录放置了一个中文姓名字典,供大家使用。 使用指南 在作者的项目地址下载最新的工具包。...如下 然后,选择对应的规则,点击生成拼音格式字典,程序会自动生成output.txt文件。 字典效果 交叉字典 复杂的密码字典

    1.6K10

    这样合并Python字典,可以让程序的运行效率提高4倍

    摘要:在Python中,合并字典有多种方式,通过内建函数、运算符、自定义函数等,都可以完成合并字典的功能,但这些方式,哪些效率低,哪些效率高呢?...} print(x) 这段代码没有任何问题,通过update方法可以将x和y合并,但问题是update方法修改了x的值,将合并的结果赋给了x,而不是新生成一个变量。...z) 不过遗憾的是,“|”运算符只能合并字典,不能合并列表。...其他合并字典的方式 除了前面介绍的几种合并字典的方式,还可以用下面的2种合并方式: (1)for in 表达式 在Python中有一种语法,可以利用for in表达式生成列表或字典,因此,可以利用这个功能...图1 很明显,x | y的效率最高,两个字典合并100万次,只需要不到0.5秒,而最后一种方式最慢,需要2秒,所以最快的合并字典的方式比最慢的方式整整快了4倍。 - EOF -

    6.2K10

    【Python中的】列表生成式和字典生成式以及内置函数

    相应的函数定义,可以提高工作效率,本篇博客将讲解Python中常见的内置函数,  以及字典生成式和列表生成式。 ...正文:  一、列表生成式  定义:列表生成式顾名思义就是生成列表的表达式  示例1:找出1-num之间的所有质数  """ 找出1-num之间的所有质数 题目分析: 1、生成一个列表1-num,进行列表的煸历...90分以上的成绩 题目分析: 1、使用随机数生成20个随机数,使用for循环进行随机数范围的控制 2、使用字典将学生名与成绩进行保存 3、将写生的成绩进行筛选,筛选出成绩大于90分的成绩 """ import...key值变为大写  """ 将指定字典中的Key值转换为大写 题目分析: 1、将所要求的字典进行煸历, 2、定义一个新的字典,将原字典的value中的值不变 将原字典的key值进行大写的转换,将生成的value...,并且统一以小写输出  """ 题目要求:进行value值的合并,并且统一以小写输出 将字母对应的value值进行相加 题目分析: 1‘将原有的字典进行煸历,将key值和value值进行分离 2、定义一个空字典

    5.3K00

    构造字典序最大的合并字符串

    如果 word2 非空,将 word2 中的第一个字符附加到 merge 的末尾,并将其从 word2 中移除。...返回你可以构造的字典序 最大 的合并字符串 merge 。...长度相同的两个字符串 a 和 b 比较字典序大小,如果在 a 和 b 出现不同的第一个位置,a 中字符在字母表中的出现顺序位于 b 中相应字符之后,就认为字符串 a 按字典序比字符串 b 更大。...例如,“abcd” 按字典序比 “abcc” 更大,因为两个字符串出现不同的第一个位置是第四个字符,而 d 在字母表中的出现顺序位于 c 之后。...示例 1: 输入:word1 = "cabaa", word2 = "bcaaa" 输出:"cbcabaaaaa" 解释:构造字典序最大的合并字符串,可行的一种方法如下所示: - 从 word1 中取第一个字符

    93520
    领券