DNS 是什么-- Domain Name System，域名系统，作为域名和IP地址相互映射的一个分布式数据库。
年底了，又到了跳槽季啦，该刷题走起了。这里总结了一些被问到可能会懵逼的面试真题，有需要的可以看下～
一、ASP.NET (Core)WebApi参数传递实操演练 1、什么是contentType和dataType？ $.ajax contentType 和 dataType , contentType 主要设置你发送给服务器的格式，dataType设置你收到服务器数据的格式。 更简单的解释： contentType: 告诉服务器，我要发什么类型的数据。 dataType：告诉服务器，我要想什么类型的数据。 在http 请求中，get 和 post 是最常用的。在 jquery 的 ajax 中， c
https://www.djangoproject.com/download/2.0.13/tarball/
Wireshark（前称Ethereal）是一个网络封包分析软件。网络封包分析软件的功能是撷取网络封包，并尽可能显示出最为详细的网络封包资料。Wireshark使用WinPCAP作为接口，直接与网卡进行数据报文交换。 官网下载链接
糖豆贴心提醒，本文阅读时间8分钟 所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端， 然后读取服务器端的响应资源。 在Python中，我们使用urllib2这个组件来抓取网页。 urllib2是Python的一个获取URLs(Uniform Resource Locators)的组件。 它以urlopen函数的形式提供了一个非常简单的接口。 最简单的urllib2的应用代码只需要四行。
爬虫是一个模拟人类请求网站行为的程序。可以自动请求网页、并把数据抓取下来，然后使用一定的规则提取有价值的数据；
HTTP/HTTPS协议中是基于IP/TCP,而POST和GET底层也是TCP/IP,也可以说是GET和POST都是TCP链接,而GET和POST能做的事情都是一样的,你要给GET加上Request Body和POST带上URL参数技术上也是完全可以行得通的~
HTTP协议：全称是HyperText Transfer Protocol，中文意思是超文本传输协议，是一种发布和接收HTML页面的方法。服务器端口号是80端口。 HTTPS协议：是HTTP协议的加密版本，在HTTP下加入了SSL层。服务器端口号是443端口。
概述 继续requests基础分享，本文主要分享以下内容： 请求头定制 POST请求 请求头定制示例 在requests中想要为请求添加自定义头信息，只需要简单的传入一个dict（即python字典类型对象）即可。 下面我们看一个简单的示例： #-*- coding:utf-8 -*-__author__ = "苦叶子"# 导入模块import requestsif __name__ == "__main__": print("开源优测 - requests自定义请求头基本示例") url
urllib是Python3中内置的HTTP请求库，不需要单独安装，官方文档链接如下：
在当今信息爆炸的时代，抓取网页数据成为了获取和分析信息的重要手段之一。而使用Python和Requests库可以帮助我们高效地进行网页数据抓取。本文将为您分享利用Python和Requests库进行网页数据抓取的实用技巧，帮助您轻松获取所需数据并加快处理速度。
urlretrieve()将网络文件下载保存到本地，参数1网络文件URL，参数2保存路径
爬虫通俗来说就是一个模拟人类请求网站行为的程序。可以自动请求网页、并把数据抓取下来，然后使用一定的规则则提取有价值的数据。也可以理解为使用某种编程语言（这里当然是使用Python语言） 按照一定的顺序、 规则主动抓取互联网特定信息的程序或者脚本。 爬虫可以分为通用爬虫和聚焦爬虫 各大搜索引擎是通用爬虫一个很好的例子，通用爬虫在爬取内容时并不会对网页内容进行筛选，将网页的全部内容给爬取下来。 聚焦爬虫则是只爬取网页上自己需要的内容。 使用语言：
单纯从数据抓取的逻辑来讲（不谈那些工程上的可用框架），个人觉得R语言中现有的请求库中，RCurl和httr完全可以对标Python中的urllib和reuqests(当然py中在错误处理和解析框架上显得更为专业！)。 我们经常使用的网络数据抓取需求，无非两种： 要么伪造浏览器请求 要么驱动浏览器请求 对于伪造浏览器请求而言，虽然请求定义里有诸多类型，但是实际上爬虫用到的无非就是GET请求和POST请求。 而驱动浏览器就几乎没有什么门槛了，所见即所得，R语言中的RSelenium/Rwebdriver和Py
XMLHttpRequest对象有一个onreadystatechange事件，可以监听这五个状态，它会在XMLHttpRequest对象的状态发生变化时被调用 xmlHttp.readyState属性中存放在此时的状态值 通过以上内容，我们可以监听到来自服务器的响应
在使用RestFul风格来发送Put请求时，报错Request method ‘POST’ not supported
一张导图 导图内容解析 http请求 请求行+请求头（多个key-value对象）+一个空行+实体内容 请求行 请求方法 常见方法：get post head trace put delete con
代码评审（Code Review）不但可以提高质量，而且还是一个知识共享和指导的极好的手段。
HTTP协议，即超文本传输协议(Hypertext transfer protocol)。是一种详细规定了浏览器和万维网(WWW = World Wide Web)服务器之间互相通信的规则，通过因特网传送万维网文档的数据传送协议。
刚做完一个跟python爬虫相关的项目，也来说说自己的经验，希望对想学习python爬虫的人有所帮助。 既然问的是如何入门，我想一定是助学者，而且我觉得想学python的有很大一部分不是计算机相关专业的（比如我）。记得我当初想入门学python，学爬虫，最困惑的就是一大堆名词听都没听说过。我觉得对初学者而言，不应该一上来就提分布式，多线程，因为这些名词对于一个未入门的人来说很有可能是陌生的，而这些东西在初期学爬虫的时候是不需要用到的，只有当项目上了一定规模，需要提升性能的时候才会用到。而且我建议初
随着H5在各行业领域的运用，无论是在APP内嵌入H5页面的hybrid应用还是直接在微信公众号或者轻应用中使用H5页面都是非常的常见（比如前端页面通过HTTP 接口调用拉取数据进行交互，实现前后台分离）。 而随着此类 技术的应用和发展，作为一个 测试人员，跟上时代的变化，除了保证前端页面UI的正确性，也要保证HTTP接口的正确性，从而保证了整个业务功能逻辑的正确性，而接口如果手工测试，不仅 工作量很大，而且效率比较地下，而它的特点更适合通过搭建自动化框架来测试，既能提升效率，又能保证质量。
1 背景 随着H5在各行业领域的运用，无论是在APP内嵌入H5页面的hybrid应用还是直接在微信公众号或者轻应用中使用H5页面都是非常的常见（比如前端页面通过HTTP 接口调用拉取数据进行交互，实现前后台分离）。而随着此类技术的应用和发展，作为一个测试人员，跟上时代的变化，除了保证前端页面UI的正确性，也要保证HTTP接口的正确性，从而保证了整个业务功能逻辑的正确性，而接口如果手工测试，不仅工作量很大，而且效率比较地下，而它的特点更适合通过搭建自动化框架来测试，既能提升效率，又能保证质量。 HTTP 接口
之前转载过两篇关于“爬虫”的文章，小编在后台收到不少相关的留言，希望能够继续深入，所以有了下面这篇文章。
Python学习交流群---943598312---欢迎各位PY老司机入驻，交流学习~
对于做国内站的我来说，我不希望国外蜘蛛来访问我的网站，特别是个别垃圾蜘蛛，它们访问特别频繁。这些垃圾流量多了之后，严重浪费服务器的带宽和资源。通过判断user agent，在nginx中禁用这些蜘蛛可以节省一些流量，也可以防止一些恶意的访问。
uWSGI 是在像 nginx 、 lighttpd 以及 cherokee 服务器上的一个部署的选择。更多选择见 FastCGI 和 独立 WSGI 容器 。 你会首先需要一个 uWSGI 服务器来用 uWSGI 协议来使用你的 WSGI 应用。 uWSGI 是一个协议，同样也是一个应用服务器，可以提供 uWSGI 、FastCGI 和 HTTP 协议。
Stream是一款在iOS端的网络抓包工具，该工具可以直接独立运行在iOS设备，无需依赖PC环境。 Stream面向对象为广大前端开发、客户端开发、后端开发、运维工程师、测试工程师以及具备一定网络分析能力的普通用户。
刚刚刷完慕课，写完线代作业，现在是时候来一波验证码的突破测试了。在开始之前，我相信有很多朋友会问我：为什么要选择突破12306的验证码？ 大家应该都知道，12306每天的火车票的数量都是有限的，如果有很多人都能够通过爬虫来进行抢票，那么，让那些不懂爬虫的人应该怎么办呢？ 所有12306的反爬措施肯定是很到位的，既然反爬很强，那么也就是我们应该试着突破的对象。不因为别的，只是为了提高自己的技术，仅此而已。话不多说，下面进入正题。
Moco是针对HTTP集成而生的，不过，现在也有人把它用在其它需要一个模拟服务器的场景中。比如，在移动开发中，有人开发一个移动应用，需要有一个远端服务，但在开发时，这个服务还不存在，他就用Moco模拟了一个服务，保证移动应用可以顺利的开发。同样，也有人把它用在Web前端开发里，当我们的页面需要通过与服务器交互时，就可以用Moco模拟这样一个服务。这种做法在开发一个页面原型时，非常有用，因为那个时候，我们还来不及开发一个完整的服务。
VuePress是一个纯静态网站生成器,也就是它是无后端,纯前端的,那想要在VuePress中,发送ajax请求,请求一些第三方接口,有时想要达到自己一些目的
导读：本文主要分为两个部分：一部分是网络爬虫的概述，帮助大家详细了解网络爬虫；另一部分是HTTP请求的Python实现，帮助大家了解Python中实现HTTP请求的各种方式，以便具备编写HTTP网络程序的能力。
The happiness of this life depends less on what befalls you than the way in which you take it.
昨天我们看了一下urlib库的get请求功能，今天我们来看一下POST的请求。首先我们需要看一下一个post请求都有哪些内容。
本文主要分为两个部分：一部分是网络爬虫的概述，帮助大家详细了解网络爬虫；另一部分是HTTP请求的Python实现，帮助大家了解Python中实现HTTP请求的各种方式，以便具备编写HTTP网络程序的能力。
爬虫 网络是一爬虫种自动获取网页内容的程序，是搜索引擎的重要组成部分。网络爬虫为搜索引擎从万维网下载网页。一般分为传统爬虫和聚焦爬虫。 爬虫的分类 传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。通俗的讲，也就是通过源码解析来获得想要的内容。 聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略
所谓爬虫，就是按照一定的规则，自动的从网络中抓取信息的程序或者脚本。万维网就像一个巨大的蜘蛛网，我们的爬虫就是上面的一个蜘蛛，不断的去抓取我们需要的信息。
这篇文章主要来讲解下Python自带的爬虫库urllib常见用法，主要围绕urllib定义、urllib的常用模块和urllib+lxml爬虫案例三个部分进行展开。
2018年3月27日，继开学以来，开了软件工程和信息系统设计，想来想去也没什么好的题目，干脆就想弄一个实用点的，于是产生了做“学生服务系统”想法。相信各大高校应该都有本校APP或超级课程表之类的软件，在信息化的时代能快速收集/查询自己想要的咨询也是种很重要的能力，所以记下了这篇博客，用于总结我所学到的东西，以及用于记录我的第一个爬虫的初生。
SQL注入可以出现在任何系统或用户接受数据输入的前端应用中，这些应用之后被用于访问数据库服务器。 HTTP定义了很多种客户端可以发送给服务器的操作，但是这里只关注与SQL注入相关的两种方法：GET和POST。
1、对__if__name__ == 'main'的理解陈述 __name__是当前模块名，当模块被直接运行时模块名为_main_，也就是当前的模块，当模块被导入时，模块名就不是__main__，即代码将不会执行。 2、python是如何进行内存管理的？ a、对象的引用计数机制 python内部使用引用计数，来保持追踪内存中的对象，Python内部记录了对象有多少个引用，即引用计数，当对象被创建时就创建了一个引用计数，当对象不再需要时，这个对象的引用计数为0时，它被垃圾回收。 b、垃圾回收 1>当一个对象的
第3章中，我们学习了如何从网页提取信息并存储到Items中。大多数情况都可以用这一章的知识处理。本章，我们要进一步学习抓取流程UR2IM中两个R，Request和Response。 一个具有登录功能的爬虫 你常常需要从具有登录机制的网站抓取数据。多数时候，网站要你提供用户名和密码才能登录。我们的例子，你可以在http://web:9312/dynamic或http://localhost:9312/dynamic找到。用用户名“user”、密码“pass”登录之后，你会进入一个有三条房产链接的网页。现在的问
网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。互联网犹如一个大蜘蛛网，我们的爬虫就犹如一个蜘蛛，当在互联网遇到所需要的资源，我们就会爬取下来，即为爬虫是一个请求网站并且提取数据的自动化程序。
对于很多企业来说,最重要的就是数据. 而这也成为sql注入被很多黑客广泛应用的一种攻击方式
Expression 用于提取变量值的表达式(支持JSONPath、XPath)，提取的值赋值给上述自定义变量(例中为event_name)。
Request Request 部分源码： # 部分代码 class Request(object_ref): def __init__(self, url, callback=None, method='GET', headers=None, body=None, cookies=None, meta=None, encoding='utf-8', priority=0, dont_filter=False, errback=
urllib库除了一些基础的用法外，还有很多高级的功能，可以更加灵活的适用在爬虫应用中，比如，用HTTP的POST请求方法向服务器提交数据实现用户登录、当服务器检测出频繁使用同一IP而发出禁令时，如何使用代理IP来应对，如何设置超时，以及解析URL方法上的一些处理，本次将会对这些内容进行详细的分析和讲解。
Python 是一种强大而灵活的编程语言，它提供了许多方便的数据结构和操作方法，其中之一就是列表（List）。列表是一个有序的集合，可以包含不同类型的元素，并且可以进行添加、删除和修改等操作。在 Python 中，我们通常使用 List.append() 方法向列表末尾添加元素。然而，在某些情况下，你可能会遇到 List.append() 方法不起作用的问题。本文将详细讨论这个问题并提供解决方法。
领取专属 10元无门槛券
手把手带您无忧上云
