专栏首页python3一次爬虫实践记录

一次爬虫实践记录

前言说明:

公司在2017年3月的时候开发过一个「数据中心」,是将有赞的用户和订单信息通过API拉取到自己开发的网站上,再结合我们自己和用户沟通的信息,组成一个简单的用户管理中心。数据中心虽然简单,但对我们意义非常大,它的出现标志着我们想要定位一个用户的时候告别了“办公室吼一吼”的纯人肉方法。

不过随着时间的推移,数据中心跟不上我们的业务发展,我们想在近期将其重新做一遍,进行一系列大的功能升级。别的都好说,唯一的问题是在过去一年半中,我们在数据中心添加了大量的信息,比如同学的微信号、昵称、他家长的信息、他的订单备注信息等等。随着远良的离职,后来的人已经很难从数据库中找出这些数据。在和伟锋探讨CRM的时候,我突然想到了可以用爬虫的手段,来将数据中心的数据全部爬取出来。于是便有了下面的代码,经过断断续续两三天的研究,我终于搞定了代码,顺利爬取了我们所有超过1万条的用户数据。

这里做一个技术记录,中间涉及到的知识点包括:

  1. 如何通过Network中的authorization,以及requests.session()维持登陆状态,以爬取不同的需要登陆以后才能查看的网页。这里面有个坑,就是我先用了session的方法来试图解决问题,但是怎么试都总是失败,反复查询后发现发现数据中心是用node.js来写的,而这样的网页用的是token来验证身份,session()那套行不通。最后我在头信息中发现authorization,直接粘到headers的信息才解决问题的;
  2. 查看网页源代码,如果你需要的信息不在源代码中,那就说明要找的内容在JS文件中,在开发者模式下找到Network中的XHR或者JS,里面一般都会有某个JS文件包含你要的信息(header包含头信息,preview包含要爬取的信息,最上面的request URL则是要爬取内容所需要的网址信息)。
  3. 复习了json的使用方法。另外,不管是python还是json,爬取的关键都是找到循环点,因为循环点意味着有规律循环的开始;
  4. 复习了在python中打开、写入csv文件的方式;
  5. 复习了在python中连接数据库的知识;Python3 MySQL 数据库连接 - PyMySQL 驱动
  6. 学习了try...except的用法:将可能出现bug的代码写入try的部分,然后在except那里写入报错类型和报错的提示。报错提示可以根据需要自定义。这样的好处是程序出现bug的时候不会报错终止,而是会给出报错提示以后继续后面的运行,直到结束。(Python)异常处理try...except、raise
  7. 复习列表构造的知识;
  8. 简单学习了SQL的基本操作语句 SQL基本语法
import requests
import json
import csv
import pymysql
import time


# 从数据库中获取所有的用户ID

yz_uids = []

db = pymysql.connect('192.168.31.24','root','root','danci_tddc') # 连接数据库
cursor = db.cursor() # 用cursor 方法获取操作游标
sql = "SELECT * FROM td_crm_customers" # 写sql语句
cursor.execute(sql) # 执行sql语句
data = cursor.fetchall() # 获取数据
for row in data:
    yz_uid = row[0]
    yz_uids.append(yz_uid)

db.close() # 关闭数据库连接



login_url = 'http://data.testdaily.cn/#!/login'


headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36',
    'Referer': 'http://data.testdaily.cn/',
    'Cookie': 'Hm_lvt_fc5a4042b4f7e4c87111dce89bb04bea=1539932447,1540895924',
    'Authorization': 'Bearer eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJfaWQiOiI1OGI3ZWU4ZmI2NmVmZjEwMWM5NGVjODgiLCJ1c2VybmFtZSI6Inplbmd5aWNoYW8iLCJleHAiOjE1NDIxODA5OTksImlhdCI6MTU0MTU3NjE5OX0.dl7o4lnPZnfw7e606sVOrW4dYCKOmQJzSsMBHCFPAc4'
}

# 打开存储的csv文档
f = open('/Users/damo/Desktop/4.csv', 'w+')
writer = csv.writer(f)
writer.writerow(['user_id', 'wechat', 'nickname', 'majia', 'phone', 'address', 'name', 'tag', 'parentInfo', 'remark', 'update_time','trade_history'])

# 获取单个页面的数据
def get_info(url):

    try:
        # 读取客户详情页面并获取json数据
        res = requests.get(url,headers = headers)
        json_data = json.loads(res.text)

        user_id = json_data['user_id']
        wechat = json_data['wechat']
        if 'nickname' in json_data.keys():
            nickname = json_data['nickname']
        else:
            nickname = ''
        majia = json_data['tdAlias']
        phone = json_data['mobile']
        address = json_data['address']
        name = json_data['name']
        tag = json_data['tags']
        if 'parentsInfo' in json_data.keys():
            parentInfo = json_data['parentsInfo']
        else:
            parentInfo = ''
        if 'remark' in json_data.keys():
            remark = json_data['remark']
        else:
            remark = ''
        update_time = json_data['update_time']
        trade_history = json_data['trades']

        writer.writerow([user_id,wechat,nickname,majia,phone,address,name,tag,parentInfo,remark,update_time,trade_history]) # 将数据写入csv文件
    except TypeError:
        print(url + '有问题')

if __name__ == '__main__':
    urls = ['http://data.testdaily.cn/api/customers/{}'.format(i) for i in yz_uids] # 构造列表表达式
    for url in urls:
        get_info(url)

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Grpc 跨语言远程调用 python

    gRPC 一开始由 google 开发,是一款语言中立、平台中立、开源的远程过程调用(RPC)系统。

    py3study
  • Python_冒泡排序

    从小到大的排序:(最前面的数和一步步和后面的数比较,如果大于则交换,如果不大于则继续循环)

    py3study
  • python(实操4):录音文件的读取、

    py3study
  • [PHP] 使用php生成下载csv文件

    单元格内容用英文逗号分隔, 其中为了防止乱码,汉字部分会进行一个转码操作,从utf8转为gbk

    陶士涵
  • Python处理CSV、JSON和XML数据的简便方法

    Python的卓越灵活性和易用性使其成为最受欢迎的编程语言之一,尤其是对于数据处理和机器学习方面来说,其强大的数据处理库和算法库使得python成为入门数据科学...

    深度学习与Python
  • 一文综述python读写csv xml json文件各种骚操作

    Python优越的灵活性和易用性使其成为最受欢迎的编程语言之一,尤其是对数据科学家而言。这在很大程度上是因为使用Python处理大型数据集是很简单的一件事情。

    磐创AI
  • Grpc 跨语言远程调用 python

    gRPC 一开始由 google 开发,是一款语言中立、平台中立、开源的远程过程调用(RPC)系统。

    py3study
  • 生信宝典之傻瓜式 (五) - 文献挖掘查找指定基因调控网络

    如何快速查找指定基因的调控网络介绍了使用在线查询数据库 (http://evexdb.org/)对PubMed和PubMed Central中发表文章的摘要和全...

    生信宝典
  • 航空公司客户价值分析

    项目目标 借助航空公司客户数据,对客户进行分类 对不同的客户类别进行特征分析,比较不同类别客户的客户价值 对不同价值的客户类别提供个性化服务,制定相应的营销策略...

    林清猫耳
  • 基于Spark的机器学习实践 (四) - 数据可视化

    ◆ 虽然该项目并不能称为最优秀的可视化库,但是在国内市场占有率很高,故本教程选择echarts.

    JavaEdge

扫码关注云+社区

领取腾讯云代金券