不重复地从bigquery获取数据
不重复地从bigquery获取数据
提问于 2021-02-06 06:10:35
使用Google的bigquery Python API，是否可以从大查询表(GCP)中批量获取数据，而不是重复(即，小批量下载大型数据集，而不是一次性下载所有数据)？
例如，如果我有一个有1000万行的表，我是否可以运行10次数据获取迭代，其中在每次迭代中下载了100万个唯一行和新行，而没有重复(即，在所有10次迭代中，同一行只被获取一次)？
回答 1
Stack Overflow用户
发布于 2021-02-06 09:37:23
我用熊猫来做这些事情
import pandas as pd
import numpy as np
from google.oauth2 import service_account
import pandas_gbq
credentials = service_account.Credentials.from_service_account_file('yourkey.json')
10MrowsQuery = f'select * from 10MrowTable")'
dataframe = pd.read_gbq(10MrowsQuery, project_id="yourgcpprojectname", dialect='standard', credentials=credentials)页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/66071275
复制相关文章
相似问题
腾讯云开发者
