大数据分析考科目三到底哪里容易被挂

Python知识大全

发布于 2020-02-13 14:52:25

4190

发布于 2020-02-13 14:52:25

文章被收录于专栏：Python 知识大全Python 知识大全

阅读本文需要3分钟

起因

就在上周五，也就是5月24号，也就是本狗的阳历生日的这天，本狗考了科目三，结果是：“唉”，没想到过了。用一句小时候经常听的话来讲这次的成绩就是——“一根油条，俩个鸡蛋”。厉害吧！！！

不过相反，也有人挂了，垂头丧气。于是，出于好奇的我，爬取了若干数据，看看大家的科目三到底是哪个项目最致命，以及分布的地区。

经过

1.首先老样子，爬取数据

需要的模块：

import random
import requests
import time
from lxml import etree
from urllib.parse import urljoin
import csv

构造每页的url：

data_list = []
def url_():
    url = 'https://bbs.pcauto.com.cn/forum-22487-{}.html'
    for i in range(2, 10):
        new_url = url.format(i)
        parse_url(new_url)

构造每个帖子详情的url：

def parse_url(url):
    baseurl = 'https:'
    response = requests.get(url, headers=headers)
    text = response.text
    html = etree.HTML(text)
    tbodys = html.xpath('//table[@class="data_table"]//tbody')[1:]
    for tbody in tbodys:
        user_urls = tbody.xpath('.//span[@class="checkbox_title"]//a/@href')[0]
        new_user_urls = urljoin(baseurl, user_urls)
        parse_data(new_user_urls)
        time.sleep(random.randint(1, 1))

爬取数据：

def parse_data(url):
    global cities
    data = {}
    response = requests.get(url, headers=headers)
    text = response.text
    html = etree.HTML(text)
    questions = html.xpath('//h1[@class="yh"]/i/text()')[0]
    data['question'] = questions
    try:
        cities = ''.join(html.xpath('//div[contains(@class, "psot_wrap_first")]//div[@class="user_info"]/ul//li//a[@class="dblue"]//text()')).split()[1]
    except Exception:
        pass
    data['city'] = cities
    print(data)
    data_list.append(data)
    csv_()

保存入库：

def csv_():
    headers = [ 'question', 'city']
    with open('question.csv', 'w', encoding='gbk', newline='')as fb:
        writer = csv.DictWriter(fb, headers)
        writer.writeheader()
        writer.writerows(data_list)

数据采集就完毕了！！！

2.接下来进行数据可视化

词云：

“紧张”， “靠边”， “转弯”， “技巧”， “教练”等，都是考生关注的！！！

代码：

import jieba
import wordcloud
import matplotlib.pyplot as plt

f = open('question.csv', 'r', encoding='utf-8')
t = f.read()
f.close()

lis = jieba.lcut(t)
txt = " ".join(lis)

w = wordcloud.WordCloud( width=1000, font_path='C:\Windows\Fonts\simfang.ttf', height=700)
w.generate("  ".join(jieba.lcut(txt))).to_file('cloud111.png')

plt.imshow(w)
plt.axis("off")
plt.show()

地区分布：

主要通过提取City这个字段。Python中的地图可视化主要通过Basemap模块，这个模块需要从国外网站下载地图信息，使用起来非常的不便。百度的ECharts在前端使用的比较多，虽然社区里提供了pyecharts项目，可我注意到因为政策的改变，目前Echarts不再支持导出地图的功能，所以地图的定制方面目前依然是一个问题。

主流的技术方案是配置全国各省市的JSON数据，这里使用的是BDP个人版，这是一个零编程的方案，我们通过Python导出一个CSV文件，然后将其上传到BDP中，通过简单拖拽就可以制作可视化地图，简直不能再简单。