腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(8023)
视频
沙龙
1
回答
将
JSON
写入
BigQuery
表时类型不兼容
google-bigquery
、
google-cloud-functions
、
jsondecoder
我有一个功能,从应用程序接口服务器接收
JSON
数据,并上传到指定模式
的
BigQuery
表。
JSON
数据有一些
字段
应该是
字符串
,但只包含数字。正在上载到表 job_config =
bigquery
.
LoadJobConfig
(loadJob.result() 当
JSON
浏览 20
提问于2021-11-17
得票数 2
1
回答
BigQuery
自动将
字符串
转
换为
整型
google-bigquery
我有一个表,其中有一个名为field_string
的
字段
,类型为string。我以
json
格式插入数据,有些行只有该
字段
的
数字。例如"field_string": "123456"。问题是
BigQuery
将该行
的
值转
换为
int,并且不能插入它,因为类型不匹配。我无法转换
字段
的
类型,因为某些行在该
字段
中确实包含字母或符号。我有一个解决办法,可以
在</em
浏览 27
提问于2021-09-28
得票数 0
回答已采纳
1
回答
在
BigQuery
的
LoadJobConfig
中将
JSON
字段
转
换为
字符串
python
、
google-cloud-platform
、
google-bigquery
我从API调用中提取数据并将其加载到
JSON
中,然后再将其加载到
bigquery
表中。我注意到有些
字段
同时包含数字和
字符串
,但是,
在
每日加载
的
基础上,它可能不会同时包含数字和
字符串
,因此
JSON
模式将根据当天包含
的
内容将该
字段
推断为整数或
字符串
。
BigQuery
表将这个
字段
转
换为
一个STRING....Is,有没有办法在装入之前将这个
字段
浏览 22
提问于2021-01-30
得票数 0
回答已采纳
1
回答
使用Python,将google.cloud.
bigquery
.job.query.QueryJob输出保存到本地
JSON
文件
python
、
json
、
google-bigquery
我们使用库
在
python
中将
BigQuery
导出到本地
JSON
文件:import
json
full_query = """ FROM (select * from
bigquery
-public-data.baseball
浏览 0
提问于2021-08-10
得票数 0
1
回答
如何在
Bigquery
中使用projection_fields参数
python
、
google-cloud-firestore
、
google-bigquery
我正在尝试使用Python将中
的
导出加载到
Bigquery
中。我只需要加载几个我想要使用
的
字段
但是,我无法
在
代码中成功地使用这个参数。我指的是这个医生:关于如何使用Python使用这个
字段
的
任何技巧都会有很大帮助。import os creds
浏览 1
提问于2019-07-22
得票数 2
回答已采纳
2
回答
加载到
BigQuery
-一个列来处理任意
的
json
字段
(空数组,不同
字段
的
dict,等等)
python
、
json
、
google-bigquery
、
schema
我们有以下三个
JSON
,它们
的
数据应该加载
在
同一个表中:{ "name": "joe", "customValues": {函数加载数据: schema=SCHEMA_MAP.get(bq_table) if autodetect
浏览 41
提问于2022-02-16
得票数 2
回答已采纳
3
回答
当从UI运行加载作业时,大查询现在会自动将长十进制值转
换为
数字。
google-bigquery
我有一个值"1.8299324324324324“,如果我将DML语句插入到
BigQuery
中,它会将其舍入并插入到
Bigquery
中。但是,对于相同
的
值,如果
BigQuery
在
控制台上使用csv文件加载作业,则会出现以下错误。“位置”:“查询”,“消息”:“无效数值: 1.8299324324324324
字段
:测试;值: 1.8299324324324324",”原因“:"invalidQuery” 只是想看看这是否是
Bigquery</em
浏览 0
提问于2019-04-29
得票数 5
1
回答
将DataFrame加载到
BigQuery
表时出错(pyarrow.lib.ArrowTypeError:<class 'str'>类型
的
对象不能转
换为
int)
python
、
pandas
、
numpy
、
google-bigquery
、
pyarrow
我
在
GCS中存储了一个CSV,我想将它加载到
BigQuery
表中。但是我需要先做一些预处理,所以我将它加载到DataFrame,然后加载到
BigQuery
表中。import pandas as pdfrom google.cloud import
bigquery
cols_name_list = [....]. # column,使其与
BigQuery
表中
的
顺序相匹配(不确定是否存在此问题),并将所有列转
换为
字
浏览 17
提问于2022-02-21
得票数 2
1
回答
BigQuery
字段
已将类型从
字符串
更改为时间戳
python
、
google-bigquery
、
datetime-format
) job_config =
bigquery
.
LoadJobConfig
包含一个定义为
bigquery
.SchemaField("migration_datetime", "STRING", mode="NULLABLE")
的
有问题
的
字段
migration_da
浏览 8
提问于2020-10-22
得票数 2
回答已采纳
1
回答
Python -以编程方式将
JSON
加载到Google
BigQuery
表中
python
、
json
、
google-cloud-platform
、
google-bigquery
我试图直接将
JSON
加载到一个新
的
Google
BigQuery
表中,而不将其转
换为
CSV。C00899', 72.0, 27400.0], ['201701', '001117', 'C00954', 72.0, 32640.0]]}job_config =
bigquery<
浏览 6
提问于2020-12-03
得票数 0
回答已采纳
1
回答
在
BQ中加载时有没有强制转换混合类型
的
方法?
google-cloud-platform
、
google-bigquery
、
google-api-python-client
我
在
BQ表中有一个定义为
字符串
的
字段
,让我们将该
字段
命名为'foo‘。我正在运行一个将数据从
JSON
加载到我
的
BQ表
的
作业。问题是,我
在
JSON
中
的
'foo‘
字段
可以是数字,也可以是
字符串
(格式为"N/A")。 我认为
在
加载
JSON
文件时,BQ足够聪明,可以将
字段</em
浏览 16
提问于2021-03-10
得票数 0
2
回答
将
JSON
上载到
Bigquery
非特定错误
python
、
json
、
google-bigquery
我刚刚开始使用python (Python)(
BigQuery
API,),
在
简要地试用了()之后,我意识到pandas不支持记录类型,即不支持嵌套
字段
。现在,我正在尝试将嵌套数据上载到
BigQuery
。我设法用相应
的
Schema创建了表,但是我很难上传
json
数据。import
LoadJobConfig
SchemaFiel
浏览 0
提问于2018-05-23
得票数 1
回答已采纳
2
回答
在
Python中使用存储
在
JSON
文件中
的
方案
python
、
google-bigquery
至于Google文档,我可以
在
命令行中使用存储
在
JSON
文件中
的
模式,如下所示: bq --location=location load \project_id:dataset.table \path_to_schema_file 其中,path_to_schema_file是包含架构
的
文件
的
路径 有没有办法用Python语言将模式从
json
文件传递到
LoadJobCo
浏览 19
提问于2019-12-17
得票数 1
回答已采纳
2
回答
关于数据帧中
的
DateTime与谷歌大查询中
的
DateTime
的
问题
python
、
dataframe
、
google-bigquery
、
bigdata
我将数据帧
的
日期
字段
设置为我将谷歌
的
大查询日期设置为*DATETIME*。当我从Python导出到GBQ时,会得到以下错误: InvalidSchema:请验证DataFrame中
的
结构和数据类型是否与目标表
的
架构相匹配。如果我把所有东西都变成
字符串
格式,它就能工作。我认为您不能仅仅将数据帧
字段
设置为date,
浏览 3
提问于2018-11-30
得票数 0
1
回答
Bigquery
在用Python加载
json
文件时将
字符串
字段
转
换为
整数。
python
、
json
、
google-bigquery
{“数字”:“1234123”}我使用python中
的
bigquery
.
LoadJobConfig
将这些数据分配给我
的
Bigquery
表。
bigquery
表中数字列
的
类型是string。当我执行load操作时,它将
bigquery
表中
的
数据类型转
换为
整数。我怎么才能解决这个问题?我加载
的
文件类型:
json
。job_config =
bigquery
.
Lo
浏览 4
提问于2022-11-21
得票数 0
2
回答
将
JSON
数组加载到
BigQuery
中
google-cloud-platform
、
google-bigquery
我正在尝试将
json
数组加载到
bigquery
表中。[{"image":"testimage1","component":"component1"},{"image":"testimage2","component":"component2"}] 每个
json
记录对应于
BigQuery
中
的
一行。
BigQuery
中
的</em
浏览 1
提问于2022-02-24
得票数 0
回答已采纳
1
回答
BigQuery
上传API -是否有添加多个nullMarkers
的
方法?
python
、
google-bigquery
我正在使用Python API上传TSV数据到
BigQuery
,但我面临
的
情况是,我
的
TSV有一堆“。还有"-“迹象,我想把这两样都当零对待。我知道我可以将名为
LoadJobConfig
()
的
null_marker属性设置为string,并且在上传过程中该
字符串
将被视为NULL。 可选指定表示CSV文件中
的
空值
的
字符串
。例如,如果指定"\N",
BigQuery
在
浏览 1
提问于2018-12-18
得票数 2
回答已采纳
1
回答
如何在
bigquery
中转储内容未知
的
json
?
python-3.x
、
google-bigquery
我想在大查询中插入一个
json
字段
。典型
的
json
是来自我们网页上所有不同API请求
的
请求有效负载。因此,典型
的
json
可以具有不同
的
结构和大小。因此,我无法决定在Big Query
中将
json
作为记录
字段
插入
的
模式。两个这样
的
json
示例如下:"key": "abcd&quo
浏览 0
提问于2019-12-12
得票数 0
1
回答
google
bigquery
c# API枚举
c#
、
enums
、
google-bigquery
我正在尝试使用
bigquery
,它
的
c#应用程序接口和复杂类型。InnerProperty { get; set; } } 表中与MyOtherObject对应
的
字段
是
在
使用TableDataInsertAllRequest.RowsData时,当我试图
在
Json
属性(实际上是一个Dictionary<string,object>)
中将
属
浏览 2
提问于2014-03-20
得票数 0
1
回答
jsonObject.map不是一个函数
json
、
google-bigquery
、
ndjson
我正试着把
json
转换成ndjson,这样我就可以用它来烧烤了。当我运行转换时,我会得到以下错误:“有一个错误,或者您
的
JSON
无效。我
在
脚本中找不到jsonObject.map :/ 任何帮助都将不胜感激!
浏览 9
提问于2022-10-12
得票数 -2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
ThinkPHP5开发连载五十三之模型-类型转换
Python字典、字符串及列表的相互转换
SpringBoot系列7-SpringBoot+mybatis+druid+TypeHandler
Java实现一个简单的Json解析器(一)
你们知道JWT是什么吗?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券