首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    使用python制作属于自己的地铁图

    在日常出行中有时候会需要用到地毯地铁,网上找的地铁线路图大多数都不太清晰,而且有水印,对本人这种视力不好的人来说看起来是真的不方便。我想可以通过站点数据制作属于自己的线路图。主要还是缺乏站点数据,有数据了图自然就有了。经过网上查询,发现高德地图上有专门的地铁线路图,但是不能导出数据或图片,只好自己想办法抓取了,下面我们就通过使用python获取自己所在城市的地铁站点数据。抓取思路是这样,首先,用浏览器高德地图官网 ,搜索地铁, 进入地铁线路网站如下,网址:http://map.amap.com/subway/index.html,然后我们通过python爬虫爬取各线路各站点的 名称、经纬度 信息,以供后续使用。在获取数据的时候我们可能会遇到反爬机制,像封IP的等行为。在访问的过程中我们可以加上代理以防万一,简单的爬虫过程如下:// 要访问的目标页面

    01

    如何解决爬虫中网站需要进行登陆问题

    作为爬虫工作者,在日常爬虫工作中遇到目标网站的反爬机制只是其中的一部分困难。偶尔还会遇到我们访问一些目标凝网站的时候需要使用cookie登陆,服务器会认为你是一个已登陆的用户,所以就会返回给你一个已登陆的内容。因此,需要验证码的情况可以使用带验证码登陆的cookie解。还有就有时候我们访问的网站需要完成一系列的指令,特别是加了代理,就需要同一个ip去完成这些指令,这时我们就需要通过设置随机数来解决。 关于随机数的一些设置我们可以分享给大家参考下,因为在访问目标网站过程中添加代理IP和随机数都是一起的,所以就把代理IP在爬虫程序里面的使用方式分享给大家交流学习下。 #! -- encoding:utf-8 -- import requests import random import requests.adapters

    01

    python采集keep运动数据

    我国2009年确立“全民健身日”;2012年,“广泛开展全民健身运动”写入十八大报告;到2014年上升为国家战略,全民健身的分量越来越重。推动全民健身和全民健康深度融合,通过全民健身实现全民健康。 全民健身运动在我国越来越普及,每天清晨和傍晚时分,城市的广场上、公园里,到处是运动健身的人们,跑步、打球、跳舞、游泳、打太极拳等运动项目十分丰富,人们在运动中获得越来越多的幸福感。 随之诞生出了很多运动app,例如keep,咪咕,微信等,大家可以通过app随时记录自己的运动数据,特别是对于很多的减肥人群来说,通过运动数据可以更好的让自己坚持下去。我身边就有很多的朋友使用kee使用keep来记录锻炼信息,想了解都有哪些群体使用keep这款健身软件,今天我们就使用python抓取些关于keep用户的跑步数据。 #! -- encoding:utf-8 -- import requests import random import requests.adapters # 要访问的目标页面 targetUrlList = [ “https://https://www.gotokeep.com”, “https://https://www.gotokeep.com//headers”, “https://hhttps://www.gotokeep.com//user-agent”, ] # 代理服务器(产品官网 www.16yun.cn) proxyHost = “t.16yun.cn” proxyPort = “31111” # 代理验证信息 proxyUser = “username” proxyPass = “password” proxyMeta = “http://%(user)s:%(pass)s@%(host)s:%(port)s” % { “host”: proxyHost, “port”: proxyPort, “user”: proxyUser, “pass”: proxyPass, } # 设置 http和https访问都是用HTTP代理 proxies = { “http”: proxyMeta, “https”: proxyMeta, } # 设置IP切换头 tunnel = random.randint(1, 10000) headers = {“Proxy-Tunnel”: str(tunnel)} class HTTPAdapter(requests.adapters.HTTPAdapter): def proxy_headers(self, proxy): headers = super(HTTPAdapter, self).proxy_headers(proxy) if hasattr(self, ‘tunnel’): headers[‘Proxy-Tunnel’] = self.tunnel return headers # 访问三次网站,使用相同的tunnel标志,均能够保持相同的外网IP for i in range(3): s = requests.session() a = HTTPAdapter() # 设置IP切换头 a.tunnel = tunnel s.mount(‘https://’, a) for url in targetUrlList: r = s.get(url, proxies=proxies) print r.text

    01
    领券