一般写爬虫是自己在解析完整个页面后获取下一页的url，然后重新发送一个请求。有时候我们想要这样做，只要满足某个条件的url，都给我进行爬取。那么这时候我们就可以通过CrawlSpider来帮我们完成了。CrawlSpider继承自Spider，只不过是在之前的基础之上增加了新的功能，可以定义爬取的url的规则，以后scrapy碰到满足条件的url都进行爬取，而不用手动的yield Request。
在上一篇文章中：如何利用Scrapy爬虫框架抓取网页全部文章信息（上篇），我们已经获取到了文章的详情页链接，但是提取到URL之后，如何将其交给Scrapy去进行下载呢？下载完成之后又如何去调用我们自己定义的解析函数呢？此时就需要用到Scrapy框架中的另外一个类Request。具体教程如下。
目前针对Tor的攻击检测方法都是采用主动攻击，本文将介绍一种被动攻击的去匿名化方法。 一、当前Tor网络检测方法 当前对Tor网络的攻击检测一般有以下几种方法： 1.控制出口节点，篡改未加密流量。网
在漏洞奖励计划中，只要你不是第一名，那你就是最后一名，银牌和铜牌都没有任何意义。在漏洞挖掘的过程中，网络侦察扮演着至关重要的角色，如果你能比其他人更早地发现/识别新添加的资产，那么你发现/报告该资产上的安全缺陷并因此获得奖励的几率就比其他人高。
在上一个糗事百科的爬虫案例中。我们是自己在解析完整个页面后获取下一页的url，然后重新发送一个请求。有时候我们想要这样做，只要满足某个条件的url，都给我进行爬取。那么这时候我们就可以通过CrawlSpider来帮我们完成了。CrawlSpider继承自Spider，只不过是在之前的基础之上增加了新的功能，可以定义爬取的url的规则，以后scrapy碰到满足条件的url都进行爬取，而不用手动的yield Request。
参考两篇论文中对域名数据特征的选择, 可以分为两个方面, 一方面是词法特征, 另一个方面是网络属性, 以下先对所有的属性进行汇总:
实战中经常会对收集的资产做一些文本处理, 其中有很多重复的操作, 既然是重复的事情, 那就让代码解决吧.
WebCopilot是一款功能强大的子域名枚举和安全漏洞扫描工具，该工具能够枚举目标域名下的子域名，并使用不同的开源工具检测目标存在的安全漏洞。
关于GSAN GSAN这款工具能够帮助广大研究人员从HTTPS网站的SSL证书中直接提取主题别名，并向我们提供DNS名称（子域名）和虚拟服务器的相关信息。 该工具支持从HTTPS网站提取子域名，并返回一个列表文件或CSV/JSON格式的扫描结果输出。该工具并不是一个子域名爆破工具，而是一个自动化域名扫描发现工具。 功能介绍 1、从HTTPS网站的SSL证书中直接提取主题别名； 2、子域名提取/枚举； 3、支持使用文本文件或直接在终端窗口中以命令形式定义多个主机:端口； 4、CSV或J
在今年三四月份，我接受了一个需求：从文本中提取URL。这样的需求，可能算是非常小众的需求了。大概只有QQ、飞信、阿里旺旺等之类的即时通讯软件存在这样的需求。在研究这个之前，我测试了这些软件这块功能，发现它们这块的功能还是非常弱的。这类软件往往也是恶意URL传播的媒介，如果不能准确识别出URL，相应的URL安全检测也无从谈起。而且网上也有很多使用正则表达式的方法，可是我看了下，方法简单但是不够精确，对于要求不高的情况可以胜任，但是如果“坏人”想绕过这种提取也是很方便的。（转载请指明出处）下面也是我在公司内部做的一次分享的内容：
在互联网早期，网络爬虫仅仅应用在搜索引擎中。随着大数据时代的到来，数据存储和计算越来越廉价和高效，越来越多的企业开始利用网络爬虫来获取外部数据。例如：获取政府公开数据以进行统计分析；获取公开资讯以进行舆情和热点追踪；获取竞争对手数据以进行产品和营销优化等等。
不记得多早之前，大概是2020年9月3号15点37分25秒181毫秒写过一篇信息搜集过程中有关数据分析的文章（原文链接），或许有读者会问，这么精确的时间我为什么记得这么清楚，因—为—我—瞎—编—的。言归正传，这里重点说下本篇文章，总的来说，这两篇其实都是关于数据分析的。一篇关于攻击过程中的用到的数据分析，而本篇则作为上一篇的姊妹篇，则着重讲一下在安全运营用到的数据分析，也就是企业防御；
默认做接口测试前，已经给出明确的接口文档（如，http://test.nnzhp.cn/wiki/index.php?doc-view-59）；本地配好了JMeter 3.x的运行环境； 打开JMet
服务器：其实是一台电脑，正常情况下，服务器是24小时运行的，性能强悍，存储量很高，且有独立的公网IP 运行的服务：网站，文件传输
Web Scraper 是一个浏览器扩展，用于从页面中提取数据(网页爬虫)。对于简单或偶然的需求非常有用，例如正在写代码缺少一些示例数据，使用此插件可以很快从类似的网站提取内容作为模拟数据。从 Chrome 的插件市场安装后，页面 F12 打开开发者工具会多出一个名 Web Scraper 的面板，接下来以此作为开始。
信安之路上很少发布跟开发相关的文章，给人的感觉好像搞安全不需要写代码一样的，其实不是这样的，因为开发相关技术有专门的人去分享，而我们只想专注于安全技术而已，今天就来给大家聊一聊在渗透测试中我们可能需要写的脚本功能，我平时代替手工提升效率使用的语言是 python，所以就以 python 为例贯穿整个渗透过程的功能，也可以作为指导，针对性的去学习和实践。
DNS 中所说的记录，指的是域名和 IP 的对应关系。根据使用场景，有不同类型的记录：
Nuubi是一款功能强大的信息收集&网络侦查扫描工具，该工具基于Python语言开发，因此拥有较强的跨平台特性，广大研究人员可以使用Nuubi轻松完成信息收集、网络侦查以及网络扫描等任务。
通常有自己博客的朋友都可以算作是喜欢分享，技术能力是次要的，只要爱分享就是我们所寻找的有缘人。
DNSX是一款功能强大的多用途DNS工具包，该工具运行速度非常快，它不仅允许研究人员使用retryabledns库来运行多个探测器，而且还允许我们通过传递用户提供的解析器列表来执行多个DNS查询请求。
.app 域名是前段时间谷歌花费2500万美元竞拍获得，是全球首个需要 HTTPS 加密的顶级域名。该域名从2018年5月8日开始全面接受注册，由于这个域名对于现今移动 APP 的发展有着非常重要的意义，所以必将带来一波域名疯抢的高潮。那么，在这波域名抢注的机会中，我们可以使用 Python 做点什么呢？
whois（读作“Who is”，非缩写）是用来查询域名域名域名的IP以及所有者所有者所有者等信息的传输协议传输协议传输协议。简单说，whois就是一个用来查询域名域名域名是否已经被注册，以及注册域名的详细信息的数据库（如域名所有人、域名注册域名注册域名注册商）。通过whois来实现对域名域名域名信息的查询。早期的whois查询多以命令列接口存在，但是现在出现了一些网页接口简化的线上查询工具，可以一次向不同的数据库查询。网页接口的查询工具仍然依赖whois协议向服务器发送查询请求，命令列接口的工具仍然被系统管理员系统管理员系统管理员广泛使用。whois通常使用TCPTCPTCP协议43端口。每个域名域名域名/IP的whois信息由对应的管理机构保存。（取自百度百科。）
InfoHound是一款针对域名安全的强大OSINT工具，在该工具的帮助下，广大研究人员只需要提供一个Web域名，InfoHound就可以返回大量跟目标域
长期保持更新的百度网盘不限速下载PanDownload 目前已上线网页版，无需下载客户端即可解析获得直链。直链下载速度通常要比百度网盘网页版下载速度更快，不过经测试浏览器速度不如PanDownload 客户端快。网页版的好处是全平台通用例如你可以在安卓浏览器里直接发起直链下载，免去要安装百度官方安装客户端。所以如果追求更快的速度的话那么建议下载使用PanDownload 客户端，小文件什么的直接网页版下载即可。
在海量信息中，不乏非法分子利用网络骗取用户信任并从中获利，钓鱼网站就是其中之一。“钓鱼”网站的网址、网页内容、布局等与真实网站极其相似，没有安全意识的网民容易因此上当受骗，造成严重后果。
Scrapy是一个强大的Python爬虫框架，它可以帮助我们快速地开发和部署各种类型的爬虫项目。Scrapy提供了许多方便的功能，例如请求调度、数据提取、数据存储、中间件、管道、信号等，让我们可以专注于业务逻辑，而不用担心底层的细节。
近年来，随着机器学习、深度学习等人工智能技术的迅猛发展，其在图像识别、语音识别和自然语言处理等领域已经得到大规模应用，可以为传统方法很难解决或无法适用的问题提供有效的方案，也已经成为网络安全领域中的热门研究方向，比如将人工智能应用于恶意加密流量的检测就是一种行之有效的方法。
通常一个DNS数据包，客户端发送DNSQR请求包，服务器发送DNSRR响应包。一个DNSQR包含有查询的名称qname、查询的类型qtype、查询的类别qclass。一个DNSRR包含有资源记录名名称rrname、类型type、资源记录类别rtype、TTL等等。
with os.popen('who','r') as f: for eachLine in f: print(re.split(r'\s\s+|\t',eachLine.strip())) 18、实例tasklist
无论是高级持续性威胁(APT）、僵尸网络(Botnet)，还是勒索软件、后门等，命令与控制信道(C&C)都是其重要组成部分，尤其是APT和僵尸网络中的C&C信道决定了其威胁程度。学术界和工业界就C&C方面的研究已逐渐深入，目前网络战格局逐渐形成，公众对网络安全逐渐重视，网络空间中的攻防双方持续较量。
最近在了解边缘计算，发现我们经常听说的CDN也是边缘计算里的一部分。那么说到CDN，好像只知道它中文叫做内容分发网络。那么具体CDN的原理是什么？能够为用户在浏览网站时带来什么好处呢？解决这两个问题是本文的目的。
可以这么理解：域名可以方便大家记忆，DNS 目的是为了实现域名和主机地址之间的转换而存在的系统。
前言 本文适合Web安全爱好者，其中会提到8种思路，7个工具和还有1个小程序，看本文前需要了解相关的Web基础知识、子域名相关概念和Python 程序的基础知识。 感谢我的好友龙哥的技巧大放送以及Oritz分享的小程序~ 首先我们引用一句名言作为开篇： 在渗透测试中，信息搜集能力的差距，不明显，也最明显。 这句话是龙哥说的，而在技术分享上，我们觉得授之以鱼之前，更重要的是授之以渔。因此本篇文章首先进行子域名搜集思路的梳理，抛砖引玉，然后介绍一下常用的工具，最后分享一个基于 HTTPS 证书的子域名查询小工具
几年前Lawrence Alexander发表了一篇使用Google Analytics查找网页之间的关联的文章，去年，我也发布了一个关于如何使用Python自动挖掘信息，然后将其可视化的帖子，不幸的
CDN全称叫做“Content Delivery Network”，中文叫内容分发网络。
DNS协议又称域名系统是互联网的基础设施，只要上网就会用到，因而DNS协议是提供网络服务的重要协议，在黑客进入内网后会使用DNS、ICMP、HTTP等协议隧道隐藏通信流量。本文通过DNS隧道实验并对流量进行分析，识别DNS隧道流量特征。
溯源分析就是在通过现象去发掘恶意攻击者背后的故事，没有固定的套路可循，在分析过程中，要像侦探破案一样，大胆心细，不放过任何细枝末节，是一场人与人之间斗智斗勇的过程。
Banjori是被发现于2013年并活跃至今的银行木马。其攻击目标主要针对于法国、德国与美国的个人银行网上用户。当用户被感染后，木马会将恶意载荷注入至用户的活动进程实现持久威胁并对用户的信息进行收集。银行木马的盗窃重灾区多位于浏览器，Banjori亦不能免俗。相比IE与Chrome, 该木马尤为青睐于火狐浏览器，大部分被窃取的用户信息均通过对该浏览器的挂钩、数据库文件查询获取。值得一提的，该木马家族自2013年起就使用当年颇为时髦的动态域名算法获取CC服务器地址。这导致杀软传统的黑名单过滤形同虚设，但同时也为摧毁/接管该僵尸网络创造了条件。
参考于：https://www.cnblogs.com/azhqiang/p/11024705.html
近两年公司端侧发现的漏洞很大一部分都出在WebView白名单上，针对这类漏洞安全编码团队也组织过多次培训，但是这种漏洞还是屡见不鲜。下面本人就结合产品中容易出现问题的地方，用实例的方式来总结一下如何正确使用WebView白名单，给开发的兄弟们作为参考。
DNSenum是一款非常强大的域名信息收集工具。它能够通过谷歌或者字典文件猜测可能存在的域名，并对一个网段进行反向查询。它不仅可以查询网站的主机地址信息、域名服务器和邮件交换记录，还可以在域名服务器上执行axfr请求，然后通过谷歌脚本得到扩展域名信息，提取子域名并查询，最后计算C类地址并执行whois查询，执行反向查询，把地址段写入文件。本小节将介绍使用DNSenum工具检查DNS枚举，KaliLinux系统自带
这是在github上找到的做恶意软件分析的资料，已经非常全面了，希望对做恶意软件检测的同学有帮助。
你还在用Excel进行目标管理吗？你还在为收集目标的信息而烦恼吗？你还在测试时不停地复制粘贴吗？那么来试试 domain hunter pro 吧！方便快捷的目标管理、自动化的信息收集、与burp无缝衔接、与外部安全工具联动...
SharpChromium SharpChromium是一个针对浏览器数据的.NET 4.0 CLR项目，在SharpChromium的帮助下，广大研究人员可以轻松提取浏览器中类似Cookie、浏览历史和存储凭证之类的数据。 值得一提的是，SharpChromium目前支持Google Chrome、Microsoft Edge以及Microsoft Edge Beta版本浏览器，并且能够提取下列类型的数据： Cookie（JSON格式）； 历史记录，以及跟每一条历史记录相关的Cookie； 存储的用户凭证
Spider 类是 Scrapy 中的主要核心类，它定义了爬取网站的规则。 Spider 是循环爬取，它的而爬取步骤是：
Vajra是一个自动化的Web渗透测试框架，它可以帮助广大安全研究人员在Web应用程序渗透测试期间自动执行无聊的侦察任务以及针对多个目标的相同扫描。Vajra具有高度可定制特性，允许研究人员自定义扫描范围，我们无需针对目标执行所有的扫描，我们可以根据自己的需要来选择需要执行的扫描任务，这样可以最大化减少不必要的通信流量，并将扫描结果输出至CouchDB中。
域名作为互联网上的“门牌号”，如果只能“写”而不能“读”的话，在现今电子设备智能化便携化的趋势下将极其不便。人工智能有两大基础：语音和视觉，智能音箱之所以取代电视机顶盒和路由器成为智能家居的入口，就是因为把握住智能语音这个基础点，倘若域名也能通过语音输入，将极大地推动细小的便携性智能设备（例如手机、手表、VR和AR等）对于互联网应用的语音接入。“语音域名”既要兼容传统域名的同时，又要创新式地开启互联网应用语音交互这一特性，这样，“语音域名”既能通过语音输入来访问互联网应用，也能让人类通过眼睛来轻易辨认以便记忆和认证。
这个实战例子是构建一个大规模的异步新闻爬虫，但要分几步走，从简单到复杂，循序渐进的来构建这个Python爬虫
*本文原创作者：shentouceshi，本文属FreeBuf原创奖励计划，未经许可禁止转载 为了提高工作效率，最近写了几款渗透测试类的工具，在这里给大家分享一下。 工具一：小米范web查找器：快速扫描端口并识别web应用 工作原理： 快速端口扫描。 对开放的端口快速识别http/https。 如果识别到为http/https，则抓取首页title、Server头，响应头。 如果端口非http/https，则通过socket方式抓取其banner信息。 功能及特性： 1、工具内置浏览器插件，另外针对开放端口
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
