8月起一批新规正式实行,范围涉及到我们生活的方方面面,这些新规将影响我们的生活。比如各地区严格落实全面取消二手车限迁政策,自2022年8月1日起,在全国范围取消对符合国五排放标准的小型非营运二手车的迁入限制,促进二手车自由流通和企业跨区域经营。这项新规实施后对二手车行业的销量带来什么样的影响呢?今天我们就通过python大数据来分析下。
首先我们的数据来源于优信二手车app数据,做爬虫的都知道app数据并不是很好获取, APP 的反爬会麻烦一些,比如 Android 端的代码写完一般会进行打包并混淆加密加固,所以除了抓包之外,还需要对 APP 进行查壳脱壳反编译等操作。在我们访问的过程中首先是对反爬做了应对措施的,其中最主要的就是使用代理IP,代理IP可以保障网络爬虫高效运行,绕开限制。用户可以根据爬虫任务需求,选择可靠的代理服务提供商。这里推荐亿牛云代理提供的隧道IP,使用方式可以简单的示例下:
#! -*- encoding:utf-8 -*-
import requests
import random
# 要访问的目标页面
targetUrl = "http://httpbin.org/ip"
# 要访问的目标HTTPS页面
# targetUrl = "https://httpbin.org/ip"
# 代理服务器(产品官网 www.16yun.cn)
proxyHost = "t.16yun.cn"
proxyPort = "31111"
# 代理验证信息
proxyUser = "username"
proxyPass = "password"
proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
"host" : proxyHost,
"port" : proxyPort,
"user" : proxyUser,
"pass" : proxyPass,
}
# 设置 http和https访问都是用HTTP代理
proxies = {
"http" : proxyMeta,
"https" : proxyMeta,
}
# 设置IP切换头
tunnel = random.randint(1,10000)
headers = {"Proxy-Tunnel": str(tunnel)}
resp = requests.get(targetUrl, proxies=proxies, headers=headers)
print resp.status_code
print resp.text
结果没有问题,抓到信息包,然后就可以使用我们分析网页的方法来进行后续的操作了。关于二手车销量的数据等小编整理完整了再分享给大家。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。