2.5亿条深圳共享单车数据集获取完整教程【纯小白向】

pip --version

pip install <package_name>

pip install pandas requests pymongo jupyterlab -i https://pypi.tuna.tsinghua.edu.cn/simple

"""
深圳共享单车数据研究——获取数据
数据名称：共享单车企业每日订单表
更新日期：2021-12-09    上架日期：2021-12-09
更新频率：不定期
数据量：244,638,540条
数据容量：1,957,108,320
浏览量：22,913次
调用量：18,669,737次
下载量：3,037次
开放方式：实名认证
开放数源单位：深圳市交通运输局
数据简介：共享单车企业每日订单表
重要提示：
1. 本数据集内使用的坐标系为bd09坐标系！
2. 储存到数据库的时间是UTC时间，需要转换为北京时间！
"""
import os
import time
from datetime import datetime, timedelta, timezone

import pandas as pd
import requests
from pymongo import MongoClient
from pymongo.errors import ConnectionFailure


def translate_time_to_utc(data, time_format):
    """
    将时间字符串转换为 UTC datetime 对象。
    """
    tz_beijing = timezone(timedelta(hours=8))  # 定义北京时区
    for record in data:
        for time_key in ['开始时间', '结束时间']:
            if time_key in record:
                try:
                    # 先将字符串转换为北京时间的 datetime 对象
                    local_time = datetime.strptime(record[time_key], time_format)
                    # 添加时区信息
                    local_time = local_time.replace(tzinfo=tz_beijing)
                    # 转换为 UTC 时间
                    record[time_key] = local_time.astimezone(timezone.utc)
                except ValueError:
                    local_time = datetime.strptime(record[time_key].split('.')[0], time_format)
                    local_time = local_time.replace(tzinfo=tz_beijing)
                    record[time_key] = local_time.astimezone(timezone.utc)
    return data


def process_data(response):
    """
    从响应中处理并返回数据的主程序
    返回的数据中，时间字符串已经转换为 UTC datetime 对象。
    """
    data = response.json()['data']
    return translate_time_to_utc(data, "%Y-%m-%d %H:%M:%S")

def test_mongodb_connection(mongo_url):
    """
    测试本地MongoDB的连接。
    """
    try:
        # 创建MongoDB客户端
        client = MongoClient(mongo_url)
        
        # 尝试获取MongoDB的服务器状态
        client.admin.command('ismaster')

        print("MongoDB连接成功")
        
        return client
    except ConnectionFailure:
        print("MongoDB连接失败")
        return None

# 主函数
if __name__ == "__main__":
    # 环境变量和初始化
    app_key =  "4137xxxxxxxxxxxxxxxx68d0d5" # 填写从深圳开放数据平台申请的app_key
    mongo_url = "mongodb://localhost:27017/" # 本地mongodb路径 
    page_num = 1
    rows = 4000
    url = 'https://opendata.sz.gov.cn/api/29200_00403627/1/service.xhtml'
    # 请求头 不加请求会被拒绝
    headers = {
        'Accept': 'text/plain, */*; q=0.01',
        'Accept-Encoding': 'gzip, deflate, br',
        'Accept-Language': 'zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7',
        'Connection': 'keep-alive',
        'DNT': '1',
        'Host': 'opendata.sz.gov.cn',
        'Sec-Fetch-Dest': 'empty',
        'Sec-Fetch-Mode': 'cors',
        'Sec-Fetch-Site': 'same-origin',
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36',
        'X-Requested-With': 'XMLHttpRequest',
        'sec-ch-ua': '"Google Chrome";v="119", "Chromium";v="119", "Not?A_Brand";v="24"',
        'sec-ch-ua-mobile': '?0',
        'sec-ch-ua-platform': '"macOS"'
    }


    # MongoDB 连接
    client = test_mongodb_connection(mongo_url)
    db = client['交通类大数据']
    collection = db['深圳共享单车企业每日订单表']

    # 数据请求和处理循环
    while True:
        retry = 0
        params = {'appKey': app_key, 'page': page_num, 'rows': rows}
        response = requests.get(url, headers=headers, params=params)

        if response.status_code == 200:
            items = process_data(response)
            if items:
                # 插入数据到数据库
                print(f"正在写入第{page_num}页数据")
                collection.insert_many(items) # 注意时间是UTC时间
                
            else:
                print("数据处理出错")
        else:
            print(f"请求错误，状态码：{response.status_code}")
            if retry < 5:
                retry += 1
                time.sleep(20)
            else:
                print("重试次数过多，终止操作")
                break

        # 判断是否继续
        if len(items) < rows:
            break
        else:
            page_num += 1

app_key =  "4137xxxxxxxxxxxxxxxx68d0d5" # <<<<<<<< 填写从深圳开放数据平台申请的app_key

cd /path/to/shenzhen_data

python main.py

import pandas as pd
from datetime import datetime, timedelta, timezone
from pymongo import MongoClient

# MongoDB 连接
mongo_url = "mongodb://localhost:27017/" # os.environ.get("MONGO_URL")
client = MongoClient(mongo_url)
db = client['交通类大数据']
collection = db['深圳共享单车企业每日订单表']

# 将查询时间调整为 UTC 时间 提高查询效率
# （北京时间比UTC时间快8小时）获取2021年8月5日的数据
query = {
    'START_TIME': {
        '$gte': datetime(2021, 8, 4, 16, 0, 0),  # 对应北京时间 2021年8月5日 0:00
        '$lt': datetime(2021, 8, 5, 16, 0, 0)    # 对应北京时间 2021年8月6日 0:00
    }
}

cursor = collection.find(query)
df = pd.DataFrame(list(cursor))
df.head()