首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Django 2.x实战(01) - 快速上手

Web开发的早期阶段,开发者需要手动编写每个页面,例如一个新闻门户网站,每天都要修改它的HTML页面,这样随着网站规模和体量的增大,这种方式就变得极度糟糕。为了解决这个问题,开发人员想到了用外部程序来为Web服务器生成动态内容,也就是说HTML页面以及页面中的动态内容不再通过手动编写而是通过程序自动生成。最早的时候,这项技术被称为CGI(公共网关接口),当然随着时间的推移,CGI暴露出的问题也越来越多,例如大量重复的样板代码,总体性能较为低下等,因此在呼唤新的英雄的时代,PHP、ASP、JSP这类Web应用开发技术在上世纪90年代中后期如雨后春笋般涌现。通常我们说的Web应用是指通过浏览器来访问网络资源的应用程序,因为浏览器的普及性以及易用性,Web应用使用起来方便简单,而且在应用更新时用户通常不需要做任何的处理就能使用更新后的应用,而且也不用关心用户到底用的是什么操作系统,甚至不用区分是PC端还是移动端。

02

Linux-Centos-tshark抓包小结

因为有Qmsg酱 这样的一个QQ通知服务,于是我想做一个版本更新通知的东西玩玩,宝塔版本更新通知的我已经搞定了,宝塔是开源的没有加密,分析一下面板代码接口就出来了,刚好最近授权了一个小储云程序,于是也想做一个小储云商城通知更新的程序,代码肯定是加密的请求的数据无从分析啊这! 我百度了一下看到有设置curl代理的,然后通过fiddler去监听数据,这PHP文件是加密的,设置个毛线啊! 后来问了一下技术交流群里面有没有做过这种PHP抓包请求,有个群友给出是直接用fiddler去抓包,我也提前说了是PHP内的请求,设置代理的方式也不行,那要怎么用fiddler抓,后来一想PHP环境是在本地的话确实是可以用fiddler去抓的,我一直都是使用的sftp代码自动上传的方式去写代码的,没有本地环境(本地环境特别难用,没一个好用的,也推荐大家使用sftp/ftp代码自动上传的方式,PHP本来就是脚本语言不需要编译可以直接运行,用服务器做环境多爽也不容易出错,和生产环境一模一样),我还是不想再本地搭环境,于是想到了直接在服务器内抓包,先是找到了tcpdump这个抓包的,但是运行他的不管什么参数都报错=用不了,最后又看到了tshark,这个非常的好用!抓包出来的数据也非常的详细,接下来正文开始喽!

02

爬虫相关工具介绍

在开始讲解爬虫之前,我们稍微对HTTP(超文本传输协议)做一些回顾,因为我们在网页上看到的内容通常是浏览器执行HTML语言得到的结果,而HTTP就是传输HTML数据的协议。HTTP和其他很多应用级协议一样是构建在TCP(传输控制协议)之上的,它利用了TCP提供的可靠的传输服务实现了Web应用中的数据交换。按照维基百科上的介绍,设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法,也就是说这个协议是浏览器和Web服务器之间传输的数据的载体。关于这个协议的详细信息以及目前的发展状况,大家可以阅读阮一峰老师的《HTTP 协议入门》、《互联网协议入门》系列以及《图解HTTPS协议》进行了解,下图是我在四川省网络通信技术重点实验室工作期间用开源协议分析工具Ethereal(抓包工具WireShark的前身)截取的访问百度首页时的HTTP请求和响应的报文(协议数据),由于Ethereal截取的是经过网络适配器的数据,因此可以清晰的看到从物理链路层到应用层的协议数据。

04
领券