爬虫基础

import requests

payload={'key1':'value1','key2'='value2'}

dat=requests.get('http://www.example.com',params=payload)#params参数收集传入是不定个数的参数，并将收集的到参数以元组的方式存储在params中，如果没有传入参数params就是个空元组

print(dat.url)

#在0.01s设置等待时间，如果超过0.01s就会断开并报错

dat=requests.get('http://www.github.com',timeout=0.001)

#将返回的response对象打印出来，查看内容

import requests

dat=requests.get('http://api.github.com/events')

dat.text

url='http://music.baidu.com'

r=requests.get(url)

r.encoding='utf-8'

print(r.text)

import requests
dat=requests.get('http://baidu.com')  # dat.encoding 'ISO-8859-1'
dat.encoding='utf-8'#可以进行修改

import requests

payload={'key1':'value1','key2':'value2'}#payload=（（'key1'，'value1'）,（'key1'，'value2'））//如果一个key对应多个值

dat=requests.post('http://httpbin.org/post',params=payload)#这个网址可以将传递的参数返回

print(dat.text)

# 使用代理IP，防止爬虫被ban

import requests

proxies={

    'http':'http://10.10.1.10:3128',

    'https':'https://10.10.1.10:1080',

}

# proxies={

#     'http':'http://user:pass@10.10.1.10:3128',

# }将用户名与密码写入

dat=requests.get('http://example.org')

driver.find_element_by_tag_name('form')#利用tag标签定位，eg.<form></form>

C:\Users\yezhoubing>d:

D:\>cd D:\virtualenv\ENV\Scripts

D:\virtualenv\ENV\Scripts>activate

>>> response.xpath('//title/text()').extract_first()

'Scrapy | A Fast and Powerful Scraping and Web Crawling Framework'


>>> fetch("http://www.baidu.com")

2020-12-28 20:49:36 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.baidu.com> (referer: None)

>>> response.xpath('//title/text()').extract

<bound method SelectorList.getall of [<Selector xpath='//title/text()' data='百度一下，你就知道'>]>

#用BeautifulSoup寻找本地html文件内容

from bs4 import BeautifulSoup

file=open("./test.html","rb")#以二进制读的方式打开相对路径下文件

test=file.read()

file.close()

bs=BeautifulSoup(test,"html.parser")#用html解析内容

print(bs.title)

print(bs.title.string)#用string可以只打印标签内的内容

print(type(bs.title.string))#NavigableString 标签里的内容（字符串）

print(bs.tr)#标签及其内容，但默认找到它的第一个内容

print(type(bs.p))

print(type(bs))#BeautifulSoup表示整个文档

print(bs)

print(bs.a.string)

print(type(bs.a.string))#Comment 是一个特殊的NavigableString，输出的内容不包含注释符号

#文档的遍历

print(bs.tr.contents)#多个内容会输出\n，内容以列表的形式存储

print(bs.tr.contents[1])#可以以列表输出的方式输出

tr_list=bs.find_all("tr")#find_all()查询所有，在这里是tr标签（字符串过滤：会查找与字符串完全匹配的内容）

print(tr_list)#以，间隔

    #正则表达式搜索：使用search（）方法来匹配内容（注意一下grouop错误）

#正则表达式搜索：使用search（）方法来匹配内容

tr_list=bs.find_all(re.compile("tr"))#只要有tr就被找到，不唯一

print(tr_list)

#参数搜索

tr_list=bs.find_all(id="head")#id为head元素被找到

tr_list=bs.find_all(class_=True)#只要有class就被找到

#text参数搜索

tr_list=bs.find_all(text="123")#文本为123

tr_list=bs.find_all(text=["123","di"])#文本为123、di

#limit参数搜索

tr_list=bs.find_all("tr",limit=2)#只要前两个tr

print(tr_list)

#css选择器

tr_list=bs.select("title")#找到title标签元素，以列表方式cun'chu

tr_list=bs.select(".mnav")#找到有mnav类元素（css中.表示类名）

tr_list=bs.select("#mnav")#找到有mnav id元素（css中#表示id名）

tr_list=bs.select("a[class='bri']")#找到有bri类名的a标签，通过属性查找

tr_list=bs.select("head>title")#找到有head下title元素，子标签

tr_list=bs.select(".mnav~.bri")#找到有与mnav同级的bri类，兄弟标签

print(tr_list)

print(tr_list[0].get_text())#打印文本内容

import re

pat=re.compile("AA")#此处的AA，是正则表达式，用来验证其他的字符串

m=pat.search("ADSAA")#search字符串被校验的内容

print(m)

#输出结果为span（3，5）而且只会匹配第一个AA

import re

m=re.search("asd","Aasd")#前面的字符串是规则（模版），后面的是被校验的对象

print(m)

import re

print(re.findall("[A-Z]","AFDShgcdSVXF"))#找到后面字符串中的所有大写字母

import re

print(re.sub("a","A","AAAFDAaaa"))#在字符串中用的a用A代替