爬取恩芝数据

import requests
 import time
 import json
 import csv
 headers={
 ‘user-agent’:’Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3722.400 QQBrowser/10.5.3751.400′,
}
with open(‘text111.csv’, ‘a+’, newline=”, encoding=’utf-8′)as ff: # 给表的第一行加上表头
 csw = csv.writer(ff, dialect=’excel’)
 csw.writerow([‘排名’,’ID’,’电影名’,’英文名称’,’上映年份’,’票房’])
# 保存为csv文件定义函数
 def write(a,b,c,d,e,f):
 with open(‘text111.csv’,’a+’,newline=”,encoding=’utf-8′)as ff:
 csw=csv.writer(ff,dialect=’excel’)
 csw.writerow([a,b,c,d,e,f])
# 我把构造post请求的from表单和requests写在一起了，看着有点乱。。。
 def main(xx):
 time.sleep(0.8) # 每一条暂停0.8s，防止被封ip，我的代理池1星期没有维护了，代理ip都失效了。。。。
 n=1
 for page in range(1,xx):
 data = {
 ‘areaId’: ’50’,
 ‘typeId’: ‘0’,
 ‘year’: ‘0’,
 # ‘initial’: ,
 ‘pageIndex’: f'{page}’, # ajax 通过post表单改变来提交获取数据，所以这里需要变化
 ‘pageSize’: ’10’,
 ‘MethodName’: ‘BoxOffice_GetMovieData_List’
 }
 try: # 错误捕捉，保证发生错误也会继续的爬下去，
 url=’http://www.endata.com.cn/API/GetData.ashx’
 html=requests.post(url,headers=headers,data=data)
 a=json.loads(html.text) # 用json 转化成本地的字典
 q=a[‘Data’][‘Table’]
 for x in q:
 no=x[‘rowNum’] # 对字典的处理部分
 id=x[‘ID’]
 name=x[‘MovieName’]
 MovieEnName=x[‘MovieEnName’]
 releaseYear=x[‘releaseYear’]
 amount=x[‘amount’]
 write(no,id,name,MovieEnName,releaseYear,amount)
 print(‘写入完成’,’第’,n,’页’)
 n+=1
 except Exception as e:
 print(‘出错了’,e) # 异常捕捉
 continue
 if __name__ == ‘__main__’: