首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

一种精确从文本中提取URL的思路及实现

在今年三四月份,我接受了一个需求:从文本中提取URL。这样的需求,可能算是非常小众的需求了。大概只有QQ、飞信、阿里旺旺等之类的即时通讯软件存在这样的需求。在研究这个之前,我测试了这些软件这块功能,发现它们这块的功能还是非常弱的。这类软件往往也是恶意URL传播的媒介,如果不能准确识别出URL,相应的URL安全检测也无从谈起。而且网上也有很多使用正则表达式的方法,可是我看了下,方法简单但是不够精确,对于要求不高的情况可以胜任,但是如果“坏人”想绕过这种提取也是很方便的。(转载请指明出处)下面也是我在公司内部做的一次分享的内容:

02

json基础+实例(4)

兄弟们,核心来了,超级嵌套 !!!! 记住了,兄弟们,对象里面的是属性,数组里面的是下标从0开始的下标,核心哈· 比如这里面是吧·,对象里面的属性有name num sites sites属性里面的数组下标为 1{“name”:“淘宝”,“info”:[“购物网站”,“www.taobao.com”,“电商”]}, 2{“name”:“QQ”,“info”:[“综合网站”,“www.qq.com”,“综合”]}, 3{“name”:“百度”,“info”:[“搜索网站”,“www.baidu.com”,“搜索”]} 记住了,我前面说过了,属性里面也可以写数组的哈 然后是对象里面的属性是name info 然后是对象里面的属性是数组 0[“购物网站”,“www.taobao.com”,“电商”] 1[“综合网站”,“www.qq.com”,“综合”] 2[“搜索网站”,“www.baidu.com”,“搜索”] 就这么简单,知道把

02

[Web安全]信息收集

一、真实IP:核心点在CDN上,CDN的存在是为了使用户的网络体验效果更佳,CDN是可以存放一些动态/静态页面的,但是价钱也会更高,同时可以部署WAF等,寻找的真实IP的思路就是绕过CDN,那么绕过CDN又有很多种方式: step1确定是否存在CDN,很简单,使用不同地方的 ping 服务,查看对应 IP 地址是否唯一,如果不唯一则极有可能是使用了CDN。 ping测试网站: 超级ping 爱站ping 国外ping有些网站不会在国外设置CDN 全球ping step2 绕过方式 1、查看网站的DNS历史解析记录,然后IP反查看能否解析出域名。也许目标很久之前没有使用CDN,所以可能会存在使用 CDN 前的记录 。 DNS解析 2、可能只会对主站或者流量大的子站点做了 CDN,而很多小站子站点又跟主站在同一台服务器或者同一个C段内,此时就可以通过查询子域名对应的 IP 来辅助查找网站的真实IP。 3、www有cdn,无3w没有cdn。 4、邮件服务器,通过对目标网站注册或者RSS订阅,查看邮件,寻找邮件头中的邮件服务器IP,ping这个邮件服务器域名,可以获得真实IP。 5、Nslookup查询看域名的NS记录、MX记录、TXT记录等很可能指向真实IP或C段服务器。

01
领券