在今年三四月份，我接受了一个需求：从文本中提取URL。这样的需求，可能算是非常小众的需求了。大概只有QQ、飞信、阿里旺旺等之类的即时通讯软件存在这样的需求。在研究这个之前，我测试了这些软件这块功能，发现它们这块的功能还是非常弱的。这类软件往往也是恶意URL传播的媒介，如果不能准确识别出URL，相应的URL安全检测也无从谈起。而且网上也有很多使用正则表达式的方法，可是我看了下，方法简单但是不够精确，对于要求不高的情况可以胜任，但是如果“坏人”想绕过这种提取也是很方便的。（转载请指明出处）下面也是我在公司内部做的一次分享的内容：
一、前言 威胁情报作为信息安全领域一个正在茁壮成长的分支，在当下依旧处于混浊状态。即网络中存在着大量的所谓“情报”，它们的结构不同、关注方向不同、可信度不同、情报内容不同、情报的来源也是千奇百怪。这使得威胁情报在实际的运用中面临许多问题，而这其中的关键问题在于，在现阶段无法统一有效的提取出威胁情报中能够应用的关键信息。 为了在一定程度上解决这一问题，我们做了一点微小的工作，通过爬取网上已经公开的威胁情报内容，提取其中的域名、URL、IP等数据，作为威胁情报库的基础数据。由此可以看出，威胁情报库的丰富，在于情
with os.popen('who','r') as f: for eachLine in f: print(re.split(r'\s\s+|\t',eachLine.strip())) 18、实例tasklist
可以这么理解：域名可以方便大家记忆，DNS 目的是为了实现域名和主机地址之间的转换而存在的系统。
能否理解并利用SQL首注是区分一般攻击者和专业攻击者的一个标准。面对严密禁用详细错误消息的防御，大多数新手会转向下一目标。但攻破SQL盲注漏洞并非绝无可能，我们可借助很多技术。它们允许攻击者利用时间、响应和非主流通道（比如DNS)来提取数据。以SQL查询方式提问一个返回TRUE或FALSE的简单问题并重复进行上千次，数据库王国的大门便通常不容易发现SQL盲注漏洞的原因是它们隐藏在暗处。一旦发现漏洞后，我们就会有们能支持多种多样的数据库。大量的漏洞可用。要明确什么时候应选择基于响应而非时间的利用和什么时候使用重量级的非主流通道工具，这些细节可节省不少时间。考虑清楚大多数SQL盲注漏洞的自动化程度后，不管是新手还是专家，都会有大量的工具可用。它们中有些是图形化界面，有些是命令行，它有了SQL注入和SQL盲注的基础知识之后，现在转向进一步利用漏洞：识别并利用一个不错的注入点之后，如何快速发现注入并修复漏洞。
一.背景 之前在一个项目上用代码分别实现了Modbus主站和Modbus从站(注：其实官方提供有现成的MODBUS从站库代码，并且支持大多数的嵌入式平台，如果项目比较急，把官方的库代码移植，剪裁一下就可以用了，但是我发现当你对MODBUS了解的比较熟悉之后，针对你自己特定的项目/产品完全可以自己实现更加精简，高效的代码)，目前产品已经量产发布使用。现回过头来整理一下有关Modbus通讯的一些知识，打算把它写成一个系列博客，目前这是第一篇。 Modbus协议是一项应用层报文传输协议，包括ASCII、RTU、TCP三种报文类型。标准的Modbus协议物理层接口有RS232、RS422、RS485和以太网接口，采用master/slave方式通信。本文主要介绍的是MODBUS-RTU。
无论是高级持续性威胁(APT）、僵尸网络(Botnet)，还是勒索软件、后门等，命令与控制信道(C&C)都是其重要组成部分，尤其是APT和僵尸网络中的C&C信道决定了其威胁程度。学术界和工业界就C&C方面的研究已逐渐深入，目前网络战格局逐渐形成，公众对网络安全逐渐重视，网络空间中的攻防双方持续较量。
网址（URL）优化，如何写URL确保搜索引擎认为友好，URL是Uniform Resource Locator的缩写，中文叫统一资源定位符（或称统一资源定位器/定位地址），有时也被俗称为网页地址（网址）。如同在网路上的门牌，是因特网上标准资源的地址。它最初是由蒂姆·伯纳斯-李发明用来作为万维网的地址。现在它已经被万维网联盟编制为因特网标准RFC1738。 URL包含网站域名，域名会影响谷歌SEO，以及其它相关信息也会影响谷歌优化，例如网站文件名、文件夹或目录路径：
Photon提供的各种选项可以让用户按照自己的方式抓取网页，不过，Photon最棒的功能并不是这个。
中国互联网经过这么多年的沉浮，地下黑色产业链已经有了很大的变化。随着免费杀毒软件的流行，中国互联网发生了一些比较明显的变化，比如曾经盗号木马横行，现在就很少见了。但是黑色产业并没有消失，而是转型做起来其他的买卖，比如买卖流量等。
DNS协议又称域名系统是互联网的基础设施，只要上网就会用到，因而DNS协议是提供网络服务的重要协议，在黑客进入内网后会使用DNS、ICMP、HTTP等协议隧道隐藏通信流量。本文通过DNS隧道实验并对流量进行分析，识别DNS隧道流量特征。
添加幻灯片slide add_slide(prs.slide_layouts[0])
近年来，随着机器学习、深度学习等人工智能技术的迅猛发展，其在图像识别、语音识别和自然语言处理等领域已经得到大规模应用，可以为传统方法很难解决或无法适用的问题提供有效的方案，也已经成为网络安全领域中的热门研究方向，比如将人工智能应用于恶意加密流量的检测就是一种行之有效的方法。
链接：https://pan.baidu.com/s/17cIZBWfJuPKqcz66MeKO2A
你打算在2016年奥运会期间去巴西吗？或者在网上观看比赛？在这篇文章中，我们针对那些前往巴西观看奥运会的游客和计划在线观看比赛的观众，讨论了他们可能面临的信息安全威胁。 显然，奥运会主题对那些网络“坏家伙”来说是非常有吸引力的。网络犯罪分子经常利用大众体育活动作为他们攻击的诱饵，就像在2014巴西世界杯期间曾发生的网络攻击事件，经过我们严密监控发现，当时记录在案的攻击令人印象深刻。 但即将到来的里约奥运会有点不同，与巴西世界杯期间相比，网络攻击事件目前来说相对较少，主要原因在于国际奥委会组建了
URL采集器-关键词采集 Msray-plus，是一款采用GO语言开发的企业级综合性爬虫/采集软件。 关键词：搜索引擎结果采集、域名采集、URL采集、网址采集、全网域名采集、CMS采集、联系信息采集 支持亿级数据存储、导入、重复判断等。无需使用复杂的命令，提供本地WEB管理后台对软件进行相关操作，功能强大且简单易上手! 1：可从国内外多个搜索引擎批量采集用户导入的关键词对应的搜索结果(SERP数据)，并进行结构化数据存储与自定义过滤处理； 2：可从用户提供的url种子地址，源源不断的自动爬取全网网站数据，并
先介绍了应用背景：用来使得域名能够正确对应上动态IP。然后介绍了完成这项功能需要用到的API接口，并简单实现了对应的API接口调用框架。最后为了使用更加简洁，对程序逻辑作了进一步优化。实践证明真理就在实践中！
在渗透测试及漏洞挖掘过程中，信息搜集是一个非常重要的步骤。而在网站的JS文件中，会存在各种对测试有帮助的内容。
在漏洞奖励计划中，只要你不是第一名，那你就是最后一名，银牌和铜牌都没有任何意义。在漏洞挖掘的过程中，网络侦察扮演着至关重要的角色，如果你能比其他人更早地发现/识别新添加的资产，那么你发现/报告该资产上的安全缺陷并因此获得奖励的几率就比其他人高。
一般写爬虫是自己在解析完整个页面后获取下一页的url，然后重新发送一个请求。有时候我们想要这样做，只要满足某个条件的url，都给我进行爬取。那么这时候我们就可以通过CrawlSpider来帮我们完成了。CrawlSpider继承自Spider，只不过是在之前的基础之上增加了新的功能，可以定义爬取的url的规则，以后scrapy碰到满足条件的url都进行爬取，而不用手动的yield Request。
在上一个糗事百科的爬虫案例中。我们是自己在解析完整个页面后获取下一页的url，然后重新发送一个请求。有时候我们想要这样做，只要满足某个条件的url，都给我进行爬取。那么这时候我们就可以通过CrawlSpider来帮我们完成了。CrawlSpider继承自Spider，只不过是在之前的基础之上增加了新的功能，可以定义爬取的url的规则，以后scrapy碰到满足条件的url都进行爬取，而不用手动的yield Request。
美国加州大学伯克利分校和劳伦斯伯克利国家实验室（LBNL）的几位安全研究人员开发了鱼叉式网络钓鱼黑箱粉碎机，通过分析鱼叉式网络钓鱼攻击的根本特点设计了一组新的信誉特征。该组特征对应于鱼叉式网络钓鱼攻击的两个关键阶段，随后引入新的异常检测技术（DAS），以非参数的方式运行，不需要任何标记的训练数据，利用信誉特征来检测攻击。研究人员与LBNL的安全团队进行合作，评估了近4年的电子邮件数据（约3.7亿个电子邮件）以及相关的HTTP日志，验证其具有检测凭证鱼叉式网络钓鱼攻击的功能。强势围观后来谈谈这一鱼叉式网络钓鱼
很多时候访问目标资产IP响应多为：401、403、404、500，但是用域名请求却能返回正常的业务系统（禁止IP直接访问），因为这大多数都是需要绑定host才能正常请求访问的 （目前互联网公司基本的做法）（域名删除了A记录，但是反代的配置未更新），那么我们就可以通过收集到的目标的 域名 和 目标资产 的IP段组合起来，以 IP段+域名 的形式进行捆绑碰撞，就能发现很多有意思的东西。
这是在github上找到的做恶意软件分析的资料，已经非常全面了，希望对做恶意软件检测的同学有帮助。
功能类似于JSFinder，开发由来就是使用它的时候经常返回空或链接不全，作者还不更新修bug，那就自己来咯
关于GSAN GSAN这款工具能够帮助广大研究人员从HTTPS网站的SSL证书中直接提取主题别名，并向我们提供DNS名称（子域名）和虚拟服务器的相关信息。 该工具支持从HTTPS网站提取子域名，并返回一个列表文件或CSV/JSON格式的扫描结果输出。该工具并不是一个子域名爆破工具，而是一个自动化域名扫描发现工具。 功能介绍 1、从HTTPS网站的SSL证书中直接提取主题别名； 2、子域名提取/枚举； 3、支持使用文本文件或直接在终端窗口中以命令形式定义多个主机:端口； 4、CSV或J
8 月 9 日的时候 WPS 官方发布了一条代码执行漏洞的安全通告, 另外根据收到的样本和各类通告，发现在今年的攻防演练期间先后三次发生了不同的针对 WPS 利用链的代码执行攻击。通过我们的研究分析发现，该系列的漏洞都因为在 docx 文档中插入了一个浏览器对象 WebShape，由于 WPS 使用了 Chrome 嵌入式框架（CEF），该对象可以直接调用 Chrome 渲染 Html 网页，这三次都是因为 WPS WebShape 漏洞造成的攻击事件，分别为：
在上一篇文章中：如何利用Scrapy爬虫框架抓取网页全部文章信息（上篇），我们已经获取到了文章的详情页链接，但是提取到URL之后，如何将其交给Scrapy去进行下载呢？下载完成之后又如何去调用我们自己定义的解析函数呢？此时就需要用到Scrapy框架中的另外一个类Request。具体教程如下。
HTTP（Hypertext Transfer Protocol），即超文本传输协议，是应用层协议之一，用于在 Web 应用中传输数据。在现代 Web 应用中，HTTP 已经成为了标准的数据传输协议，用户在浏览器中访问页面时，都会进行大量的 HTTP 请求和响应。
EOS迁移到主网的过程不太顺利。最近发生了一场精心策划的钓鱼骗局，受害者是Block.one - EOS背后 的公司 - 其内部系统受到黑客的攻击，投资者损失了数百万美元。 投资者在EOS和ETH令牌中损失了数百万美元 根据Fortune的说法，黑客的手段非常简单：侵入Block.one的系统，向EOS的投资者发送消息。 黑客拿到了投资者的详细信息，然后利用这些信息投资者的EOS和Ethereum令牌。 这意味着EOS长达一年、高达40亿美元的ICO永远不会到达目标，也就是说，资助名为Block.one的
【导读】本文是Oguejiofor Chibueze于1月25日发布的一篇实用向博文，详细介绍了如何将主题模型应用于法律部门。文章中，作者分析了律师在浏览大量的法律文件的时候可以通过文档摘要进行快速了
WebCopilot是一款功能强大的子域名枚举和安全漏洞扫描工具，该工具能够枚举目标域名下的子域名，并使用不同的开源工具检测目标存在的安全漏洞。
2、根据 Web 页面组成结构中的信息内容的生成方式不同，可以将 Web 页面分为静态页面、动态页面、以及伪静态页面三大类。
参考两篇论文中对域名数据特征的选择, 可以分为两个方面, 一方面是词法特征, 另一个方面是网络属性, 以下先对所有的属性进行汇总:
目前针对Tor的攻击检测方法都是采用主动攻击，本文将介绍一种被动攻击的去匿名化方法。 一、当前Tor网络检测方法 当前对Tor网络的攻击检测一般有以下几种方法： 1.控制出口节点，篡改未加密流量。网
网络采集在当今信息时代中发挥着关键作用，用于从互联网上获取数据并进行分析。本文将介绍如何使用 Haskell 进行网络编程，从数据采集到图片分析，为你提供一个清晰的指南。我们将探讨如何使用爬虫代理来确保高效、可靠的数据获取，并使用 Haskell 的强大功能来分析和处理数据。
两周前，我很高兴有机会在Search Love San Diego的活动上演讲。那次演讲的主题围绕“谷歌是否还重视链接？”该演讲着眼于谷歌在2017年会如何以及多大程度上将链接作为排名因素的已有证据，今天在此分享的研究结果也包括在上次演讲的内容中。
网站性能测试是一种评估网站的响应速度、稳定性、可靠性和资源消耗的方法。网站性能测试可以帮助网站开发者和运维人员发现和解决网站的性能瓶颈，提高用户体验和满意度。本文将介绍如何使用Python编写一个简单的爬虫程序，来模拟用户访问网站的行为，并收集和分析网站的性能数据。
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。
实战中经常会对收集的资产做一些文本处理, 其中有很多重复的操作, 既然是重复的事情, 那就让代码解决吧.
有别于金融、政府环境使用windows及其配套设施，国内互联网公司基础设施独钟情于linux系统，互联网公司遭遇的信息安全事件，如数据泄露，黑客入侵，竞争对手行为等，均有linux恶意文件的身影作祟。
Lucene—-全文检索的工具包 隶属于apache(solr也是属于apache,solr底层的实现是Lucene)
几年前Lawrence Alexander发表了一篇使用Google Analytics查找网页之间的关联的文章，去年，我也发布了一个关于如何使用Python自动挖掘信息，然后将其可视化的帖子，不幸的
InfoHound是一款针对域名安全的强大OSINT工具，在该工具的帮助下，广大研究人员只需要提供一个Web域名，InfoHound就可以返回大量跟目标域
PyMeta是一款针对目标域名元数据的信息收集工具，该工具基于Python 3开发，是PowerMeta（基于PowerShell开发）的Python 3重构版本，在该工具的帮助下，广大研究人员可以将目标域名相关的网页元数据（文件等）提取到本地，这种技术可以有助于我们识别目标域名、用户名、软件/版本和命名约定等。
日志服务CLS支持采集自建K8s集群上的日志，在进行日志采集前，需要在K8s自建集群上通过CRD定义日志采集配置（LogConfig），并部署安装Log-Provisoner，Log-Agent，以及LogListener。针对使用腾讯云容器服务（Tencent Kubernetes Engine , TKE）的用户， 可参见TKE开启日志采集文档，通过控制台快速接入并使用日志服务。
kahing，腾讯云CLS产品经理，负责CLS云原生日志的云产品接入工作。 willyi，腾讯云高级开发工程师，负责CLS云原生日志服务云原生生态建设，致力于大规模云原生设施的落地和实践工作。 简介 日志服务 （Cloud Log Service， CLS）支持采集自建K8s集群上的日志，在进行日志采集前，需要在K8s自建集群上通过CRD定义日志采集配置（LogConfig），并部署安装Log-Provisoner，Log-Agent，以及LogListener。针对使用腾讯云容器服务（Tencent
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
