在BigQuery中存储日期/日期时间/时间/时间戳
在BigQuery中存储日期/日期时间/时间/时间戳：
- 日期（Date）：在BigQuery中，日期是指年、月、日的组合，可以使用DATE类型进行存储和处理。DATE类型的取值范围是公元前587749年到公元后9999年。
- 日期时间（Datetime）：日期时间是指包含日期和时间的组合，可以使用TIMESTAMP类型进行存储和处理。TIMESTAMP类型在BigQuery中存储的是自公元前0001年1月1日午夜以来的毫秒数。
- 时间（Time）：时间是指小时、分钟、秒的组合，可以使用TIME类型进行存储和处理。TIME类型的取值范围是从午夜（00:00:00）到前一天的23:59:59。
- 时间戳（Timestamp）：时间戳是指从特定起点（通常是1970年1月1日午夜UTC时间）到某个时间点的秒数，可以使用TIMESTAMP类型进行存储和处理。在BigQuery中，时间戳类型以UTC时区存储。
在BigQuery中，可以使用这些数据类型来存储和处理不同的时间相关数据。对于日期、日期时间、时间、时间戳的处理，可以使用BigQuery的内置函数和表达式来进行各种操作，如日期加减、格式转换、比较等。
在BigQuery中，可以使用以下函数和表达式来处理日期和时间数据：
- DATE函数：用于创建日期类型的值，例如DATE(2022, 12, 31)。
- DATETIME函数：用于创建日期时间类型的值，例如DATETIME(2022, 12, 31, 23, 59, 59)。
- TIME函数：用于创建时间类型的值，例如TIME(12, 30, 0)。
- TIMESTAMP函数：用于创建时间戳类型的值，例如TIMESTAMP("2022-12-31 23:59:59 UTC")。
- EXTRACT函数：用于提取日期和时间的组成部分，例如EXTRACT(DAY FROM DATE("2022-12-31"))。
- DATE_ADD和DATE_SUB函数：用于对日期进行加减操作，例如DATE_ADD(DATE("2022-12-31"), INTERVAL 1 DAY)。
- DATE_DIFF函数：用于计算两个日期之间的差距，例如DATE_DIFF(DATE("2022-12-31"), DATE("2022-01-01"), DAY)。
在BigQuery中，处理日期和时间数据时，可以使用上述函数和表达式进行各种操作和计算。此外，BigQuery还提供了丰富的聚合函数、窗口函数和运算符，可用于对日期和时间数据进行分析和处理。
对于存储和查询日期/日期时间/时间/时间戳数据，腾讯云的BigQuery等云原生数据库服务提供了强大的功能和性能优势。腾讯云BigQuery支持高可靠性、高性能的数据存储和计算，并提供了灵活的数据处理和分析能力。推荐的腾讯云相关产品是腾讯云数据库BigQuery，具体产品介绍和链接地址可参考腾讯云官方网站。
相关·内容
在BigQuery中，下列类型占用多少字节：
时间戳
日期时间
日期
我的猜测是，日期可以以2个字节存储，时间戳可能是8，但我不确定，页面中也没有提到它。
浏览 2提问于2019-10-02得票数 4
回答已采纳
BigQuery通常在加载Avro数据方面做得很好，但是"bq“在时间戳和其他使用Avro logicalType属性的日期/时间字段方面遇到了很多问题。
当BigQuery时间戳将其解释为微秒时间戳时，我使用Avro类型的时间戳-millis的数据就会出现故障。
可以加载到时间戳中的时间戳-micros整数在BigQuery日期时间中无效。我找不到解释什么在是有效的
ISO8601格式的字符串不能加载到时间戳或日期时间(不兼容类型错误)，但我认为如果加载普通JSON，BigQuery会支持这一点。
Avro " DATE“类型无法加载到日期(也是不兼容的类型)
浏览 3提问于2016-11-17得票数 5
回答已采纳
我在BigQuery表中有一个列"date_time“，其中包含诸如"1569888224”之类的unix时间戳值。问题是这些值是整数数据类型，而不是时间戳数据类型，所以我似乎没有一种简单的方法将它们转换为人类可读的日期/时间。有没有人有好的方法将这些整数转换成BigQuery中的日期时间值？
谢谢!
浏览 137提问于2019-10-17得票数 8
我有一个脚本，从甲骨文数据库下载数据，并上传到谷歌BigQuery。这是通过写入一个Avro文件来完成的，然后使用BQ的python框架直接上传该文件。我要将数据上传到的BigQuery表具有预定义的模式，其中一些模式包含日期时间字段。
Field CHANGED has incompatible types. Configured schema: datetime; Avro file: string.
我还尝试在导出时将字段数据转换为时间戳，但这在BigQuery中产生了一个内部错误：
An internal error occurred and the request could no
浏览 4提问于2020-04-22得票数 0
1回答
我们将Firestore数据导入到BigQuery中，以便在data中生成报告。
以下内容适用于SQL时间戳，但不适用于Fi还原-JSON时间戳。
SELECT
PARSE_TIMESTAMP('%Y%m%d', JSON_VALUE(`data`, "$.updated_at")) AS `updated_at`
FROM
`project.firestore_export.profiles_raw_latest`
我们的日期是在一个名为timestamp的JSON字段中的列data中的Firestore格式中。
如何获得最终在Data中使
浏览 1提问于2019-10-02得票数 2
回答已采纳
我在bigquery中有一个外部表(来自GCS)，它通过自动模式检测datetime列，并使用UTC在表中创建时间戳列。我的数据的时区是中部(美国/芝加哥)。 ? 我知道时区是中央时区，我想用UTC时区创建另一个列。我尝试使用parse_timestamp/转换为字符串，然后使用时区转换为日期时间。但就是做不对。有什么建议吗？
浏览 21提问于2021-09-29得票数 0
回答已采纳
在bigquery中，具有as字节数据的表将多个列设置为字符串格式，但实际上它们包含日期时间字符串，如
2016-10-24 15:00:00
我尝试使用的答案将字段转换为时间戳格式，如下所示
SELECT
CAST( MURDER_DATE AS TIMESTAMP) AS CONVERTED_MURDER_DATE, *
FROM `death_list`;
它可以使用UTC时区将所有字符串转换为时间戳，如下所示
2007-03-23 15:00:00.000 UTC
我需要另一个时区的数据。有线索吗？
浏览 2提问于2018-03-20得票数 1
回答已采纳
1回答
我在BigQuery上有一个表，其中一列是“时间戳”。此列为数据类型INT64。我想在该列的基础上添加一个具有确切日期的新列。
时间戳列中的数据如下：-600代表美国东部时间2011年5月1日星期日19:00 -It是微秒，例如在一个记录中有2506199602819作为时间戳，这应该是29天后。
怎样做才是正确的呢？我在BigQuery上有这个表，但是任何SQL都会有帮助。
浏览 1提问于2017-10-20得票数 1
回答已采纳
我正在使用Bigquery解释器在zeppelin上运行Bigquery查询，查询是在一个表上运行的，该表的字段类型为时间戳。
行为: 1.在google控制台上执行查询时，时间戳字段被视为日期，这是有效的默认行为，因为它是可读的。对于任何SQL数据库也是如此。2.当使用bigquery解释器在zeppelin上执行相同的查询时，时间戳字段将呈现为长类型。然而，在zeppelin上，当使用JDBC解释器执行查询时，TI
我们期望时间戳列在执行select查询时被呈现为date。
当我在zeppelin源文件中添加BigQueryInterpreter.java日志时，字段值被打印为长类型，即很
浏览 1提问于2017-12-14得票数 0
是否有函数将INT转换为日期，还是将日期转换为INT，以进行时间戳筛选？
在Google BigQuery日期类型页面中看不到这样的函数。
下面是我对公共数据集进行测试时所做的查询：
SELECT title, comment, contributor_username FROM [bigquery-public-data:samples.wikipedia] WHERE wp_namespace = 3 AND timestamp = ??
如附件链接中的图像所示，时间戳列为INT。
浏览 1提问于2018-06-23得票数 0
回答已采纳
我在query中有一个时间戳列，格式为"2019-03-18 17:17:07.543200 UTC "，这是Bigquery标准SQL的默认时间戳格式。 尝试绘制将日期显示为年和周的图表时，在1:817收到此错误“语法错误:意外")” 我不明白，因为它是默认的时间戳格式，在Bigquery中用current_timestamp()返回的格式……它与所有其他组合(日、月、年、年、月、年季度……)一起工作。 有什么提示吗？ 谢谢
浏览 16提问于2019-03-19得票数 0
我遇到了一个问题，Google Data Studio将错误的时间戳数据发送到我的社区连接器，因此当我尝试过滤日期时，我会得到一个错误。我有两个BigQuery TIMESTAMP类型字段(名为timestamp和created_at)，这两个字段都不加修改地传递到我的社区连接器。一旦我向报告中添加了一个日期过滤器(为了进行时间序列或常规过滤)，如下所示： ? 然后，我从连接器(在我的BigQuery项目历史记录中查看)的查询开始失败，如下所示： Could not cast literal "20200825" to type TIMESTAMP at [1:677
浏览 2提问于2020-09-01得票数 0
当我在数据集中查询具有可空时间戳字段的特定表时，会收到一条错误消息。在BigQuery web工具中，我运行简单的查询，例如：
从reztrack.201401限制100中选择*
我得到的结果是：错误:时间戳字段日期更改的模式
示例职务ID: esiteisthebomb:job_6WKi7ZhSi8D_Ewr8b5rKV-a5Eac
这正是这里提到的相同问题：。
还将其记录在：下面，但我不确定，因为它说我们应该在Stackoverlfow中记录所有内容。
请提供有关如何修复此表或其他表的任何信息。
注意:最初的答案是要联系谷歌支持，但是谷歌对BigQuery的支持已经转移到StackOver
浏览 3提问于2015-08-25得票数 2
回答已采纳
我是谷歌BigQuery的新手
我想解析基于日期和月份的时间戳(yyyy/mm/dd:hh:mm:ss)，希望将天存储为周。我没有找到任何这样做的BigQuery函数。
因此，我想知道是否有一种方法可以编写UDF，然后在BigQuery查询中访问它
浏览 0提问于2012-07-26得票数 1
回答已采纳
我使用BigQuery来存储日志。我最近意识到，尽管实际的列类型是"string“，但BigQuery web似乎将16位数字转换为日期(比如"12/3/2017，10:00:13 AM")。
有什么办法阻止web这样做吗？一旦我将数据导出到CSV中，数据就会变得很好。这只是我看到的网络用户界面问题。
浏览 4提问于2014-11-22得票数 1
回答已采纳
我已经用东方时间戳将数据加载到BigQuery中，这些时间戳存储为源数据中的朴素时间戳：
placed_eastern
-------------------
2018-07-23 00:00:03
默认情况下，BigQuery假定天真的时间戳应该存储为UTC：
2018-07-23 00:00:03 UTC
问题:我需要修正这个时区假设.
目前，我有一个错误修复错误的错误，以确保时间戳被正确存储。这会将时间戳的日期和时间部分提取为字符串，将它们连接起来，然后重新创建时间戳。
select
placed_eastern,
timestamp(
concat(
ca
浏览 1提问于2018-10-22得票数 1
回答已采纳
我正在尝试测量数据流管道的持续时间，数据流管道从发布/订阅中提取消息并将其加载到BigQuery表中。我找不到如何在BigQuery表中获取行的最后修改时间，尽管有表的最后修改日期时间。谁知道如何将上次修改的日期时间设置为BigQuery表的行？
浏览 2提问于2018-11-07得票数 0
1回答
我正在设置服务器事件并发送到GA4。我需要用事件设置timestamp_micros。但是GA4整数总是显示事件的上传日期，而不是我设置的日期。我还在Bigquery导出中看到，我的事件具有上传时间戳。我甚至试图通过发送事件，但它仍然显示上传时间戳。是的，根据的说法，我总是在最后72小时内设置时间戳
我寄出的身体：
data = {
"user_id": "123456",
"timestamp_micros": "1636025014649000",
"client_id": '
浏览 2提问于2021-11-15得票数 0
我想为任何带有时间戳的日期编写季度开始和季度结束的查询。例如，如果我通过当前时间戳，它应该返回相应日期的四分之一第一天(加上时间戳00:00:00)和季度最后一天(加上时间戳23:59:59)。
如何为Couchbase、BigQuery、h2、Hadoop等实现相同的功能？
谢谢
浏览 10提问于2022-06-06得票数 -1
3回答
如何在云数据集中转换字符串到日期？
我有一个值为20191120 (yyyyMMdd格式)的列，我想将它作为日期加载到BigQuery中的一个表中。表列数据类型也是日期。
到目前为止，我尝试使用“解析作为简单日期”将字符串转换为时间戳，并尝试使用格式日期将字符串转换为“yyyy”，但是这个步骤将字符串转换为字符串，最终加载失败。我甚至试图在o/p模式中显式地将列指定为date。但是它在运行时失败了。
我尝试将其作为时间戳保存在管道中，并尝试将日期加载到Bigquery类型中。
我注意到op出现的错误是字段dt_1与avro整数不兼容。在加载之前，是否在内部将提取液转换为avro。AVRO没有一
浏览 6提问于2019-12-07得票数 2
回答已采纳
我很难让BigQuery正确地从avro文件中加载时间戳。
avro-文件的日期列存储的长度相同，具有逻辑类型的时间戳-micros。根据文档，BigQuery应该将其存储为时间戳数据类型。我也尝试了时间戳-millis的逻辑类型。
数据存储在avro中，如下所示：
{'id': '<masked>', '<masked>': '<masked>', 'tm': 1553990400000, '<masked>': <masked>, &#
浏览 2提问于2020-08-10得票数 1
回答已采纳
使用以下软件包从一个轻量级的BigQuery应用程序中对Google BigQuery进行流插入：
我通过以下简单代码在我的服务器上生成了一个时间戳：
jsonData['createdAt'] = new Date().getTime();
然后我将它插入到BigQuery中，插入一个类型为“时间戳”的字段中。没有中间步骤(除了Node包)。
但是许多，尽管不是所有的，看起来都不太好。例如：
46343-08-28 05:58:59 UTC
那应该是在2014年05-16日晚上11点45分左右。然而，我的一些createdAt日期是正确的，我找不到差异的原因。
有什么建议吗？
浏览 7提问于2014-05-17得票数 4
回答已采纳
我对SQL & Bigquery完全陌生，尽管我正在努力学习，但我显然缺乏知识。
我有一个日期作为时间戳的表，并尝试提取日历周和年份。我知道如何以正确的方式选择它，但是结果最终会出现在临时表中。
我希望用相同的查询更新同一个表，并添加具有特定值的两列。
我试着使用这里的信息，但我陷入了语法：
我愿意听取任何建议。
时间戳=带有日期的列的名称
选择时间戳，提取(ISOWEEK从时间戳)作为KW，提取(从时间戳的年份)作为Jahr，
以MyTable为日期；
浏览 2提问于2022-09-09得票数 0
回答已采纳
将m/d/y (也称为mm/dd/yyyy)格式的日期转换为BigQuery中的时间戳的最简单方法是什么？
浏览 1提问于2016-04-26得票数 0
我一直试图将csv文件加载到BigQuery，但我得到了以下错误。
我可以在架构中写些什么来帮助解决这个错误？还是一种将BigQuery读取的日期和时间分开的方法？
日期格式:2016年12月4日上午7时21分
“未能创建表:读取数据时出错，错误消息:无法解析'4/12/2016 7:21 AM‘作为字段时间(位置1)的时间戳，从位置15开始，消息’无效时区: AM'”
提前谢谢你！
不知道怎么处理。如有任何指导，将不胜感激！
浏览 7提问于2022-04-06得票数 0
回答已采纳
1回答
bigquery中有一个时间戳，如下所示: 2017.09.25 10:22:19，我希望将此字符串转换为日期维度。我尝试了下拉菜单，计算字段，如日期时间，日期解析，日期，.还有一个计算过的字段，在这里，我修剪了字符串，只取了日期的一部分作为和，但是没有工作。我总是收到谷歌bigquery无法编译我的任务的错误：“无效日期：'2017.07.03 10:52:16‘”
有人想办法解决我的问题吗？
问候
浏览 2提问于2017-10-19得票数 0
回答已采纳
我正在使用BigQuery JavaScript自定义函数返回一个日期数组。该数组必须是时间戳数组，类似于GENERATE_TIMESTAMP_ARRAY()函数，以便在以下情况下匹配UNNEST CASE。 当我从我的JavaScript自定义函数返回时间戳数组时，问题就出现了。如果我指定returns ARRAY，则数组返回正常，但是当我使用RETURNS array时，BigQuery似乎无法强制日期的字符串格式。 我尝试过很多种字符串格式，例如：'YYYY-MM-DD HH:mm:ss'，'YYYY-MM-DD 00:00:00+00'，'YY
浏览 26提问于2019-06-05得票数 1
回答已采纳
1回答
我需要使用标准SQL将UTC datetime字段转换为bigquery中的est
我尝试了以下查询：
SELECT
CallRailCallId,
DATETIME(StartTime ,
"America/Los_Angeles") AS adjustedTime
FROM
`Tablel`
但我得到的错误如下：
参数类型的函数日期时间没有匹配的签名: DATETIME，STRING。受支持的签名:日期时间( INT64，INT64)；日期时间(日期，时间)；日期时间(时间戳，字符串)；日期时间(日期)
有人能帮忙吗，我的问题出什么问题了？
浏览 1提问于2018-04-25得票数 0
如何将时区添加到上传到Bigquery (BQ)的dataframe时间戳中？
当上传包含时间戳的数据时，需要指定UTC偏移量或时区名称，以确保保持正确的时区。如果你不这样做，烧烤将自动转换你的时间戳到世界协调时。
BQ可以读取的时间戳格式具有休整规范格式：YYYY-[M]M-[D]D[( |T)[H]H:[M]M:[S]S[.DDDDDD]][time zone]
我的问题是如何正确设置[time zone]部件。根据烧烤文件：
字符串格式的时间戳可以包括时区。当未显式指定时区时，将使用默认时区UTC。时区由以下两种规范格式中的一种字符串表示：
从协调世界时( UTC )或协调世界时的字
浏览 2提问于2019-04-04得票数 1
回答已采纳
当将日期字段作为对象发送到作为时间戳类型的BigQuery表时，google库不会抛出异常，但不会抛出数据域。检查"InsertAllResponse“响应类型返回包括错误”此字段不是记录“。
例如
Hashmap<String,Object> rowContent = new Hashmap<>();
rowContent.put("Time", new Date());
rowContent.put("Name", "Harry");
然后
BigQuery bq = BigQueryOptions.getDe
浏览 2提问于2018-09-27得票数 1
回答已采纳
BigQuery作业将其结果存储在临时表中。根据的说法，临时表的存在时间长达24小时。然而，根据的数据，工作时间长达6个月。因此，这意味着我们可以看到6个月的工作元数据，但它的结果仅为24小时。
我想知道的是，是否有一个API调用，当给定一个作业时，它可以确定其结果是否仍然可用？
我唯一的线索是检查它的结束日期(在其状态统计中)是否少于24小时。但我想知道是否有更好的方法来获取这些信息。
浏览 8提问于2022-10-14得票数 1
是否有一种方法可以在BigQuery中生成以小时、分钟和秒为重点的顺序时间戳？
在BigQuery中，您可以通过以下方法生成顺序日期：
select *
FROM UNNEST(GENERATE_DATE_ARRAY('2016-10-18', '2016-10-19', INTERVAL 1 DAY)) as day
这将产生2016-10-18至2016-10-19的日期间隔。
Row day
1 2016-10-18
2 2016-10-19
但假设我需要15分钟或5分钟的间隔，有什么方法可以做到吗？
浏览 1提问于2018-04-20得票数 3
回答已采纳
我正试着把一些桌子从扳手复制到BigQuery。
我在csv文件中转储了扳手数据库，当我试图将该csv上传到BigQuery时，它抛出了时间戳格式的错误。
他们提到了BigQuery时间戳的限制。
如何将扳手时间戳转换为BigQuery时间戳？
浏览 0提问于2019-09-11得票数 0
回答已采纳
我想要将一个大型csv导入到一个bigquery分区表中，该表具有一个timestamp类型的列，该列实际上是某个事务的日期，问题是当我加载数据时，它会将所有内容都导入到今天日期的一个分区中。
是否可以使用我自己的时间戳值对其进行分区？我怎么能做到这一点。
浏览 0提问于2016-07-05得票数 1
我有一个链接到BigQuery的Firebase来发送事件数据。它以旧的分区方式创建表，其中日期是表名的一部分。
Firebase创建一个具有event_timestamp和event_date的架构。当我查看特定日期的分区时，event_date具有与分区相同的日期，但最小时间戳从前一个日期的晚上9点开始，在分区日期的9点之前结束。
在的文档中，写到event_timestamp是“事件在客户机上登录的时间(以微秒为单位)”。
那么，event_timestamp的时区、event_date和Firebase模式的分区日期究竟是什么呢？
是因为event_timestamp是当地时间写的吗？
浏览 0提问于2019-05-15得票数 5
1回答
我有一个数据流的工作。我正在使用BigqueryIO.write库在BigQuery表中插入行。BQ表中有一列，它应该存储行创建时间戳。我需要使用SQL函数"CURRENT_TIMESTAMP()“来更新该列的值。 我不能使用java的任何库(比如Instant.now())来获取当前的时间戳。因为这将在作业执行期间派生该值。我正在使用一个BigQuery加载作业，它的触发频率是10分钟。因此，如果我使用任何java库来派生时间戳，那么它将不会返回预期的输出。 我在接受任何BigqueryIO.write函数作为输入的SQL中找不到任何方法。那么这个问题的解决方案是什么呢？
浏览 21提问于2021-08-10得票数 0
1回答
通过创建脚本并运行脚本，通过Google (BigQuery数据传输服务)调度作业，脚本使用protobuf消息时间戳类型来设置开始日期和结束日期。我无法将它更改为当前的时间戳。
检查以下资源：
我尝试过像下面这样设置属性，但这会引发“请求包含无效参数”的错误。
now = time.time()
seconds = int(now)
start_time = Timestamp(seconds=seconds, nanos=0)
end_time = Timestamp(seconds=seconds, nanos=0)
见下面的工作示例：
#!/usr/bin/env
浏览 0提问于2019-03-25得票数 1
我在中看到的时间序列图的每一个例子每天都有一个度量图。是否有任何方法来配置时间轴(小时、月等)的粒度？
我想在一天中显示每小时的事件数。我的列以bigquery作为类型，日期时间:时间戳和计数:整数
浏览 2提问于2017-10-05得票数 8
回答已采纳
1回答
当从CSV文件加载到BigQuery时，如何定义时间戳的时区？
这些似乎都不起作用：
2018-07-31 11:55:00欧洲/罗马
2018-07-31 11:55:00
我得到以下错误：
{位置：“查询”；消息：“无法识别的时区:欧洲/罗马；无法将'2018-07-31 11:55:55:00欧洲/罗马‘解析为字段ts (0位置)从位置0开始的日期时间”；原因："invalidQuery"}
我正在运行来自的导入，使用以下Go代码：
gcsRef := bigquery.NewGCSReference(gcsFilename)
gcsRef
浏览 1提问于2018-08-01得票数 1
我在BigQuery中有一个数据集，我正在使用它作为在dataset上创建报表的源。
我可以将数据绘制为时间序列/组合图/线图，使用时间戳作为维度，并使用其他数字字段作为度量。
我的问题是，我所能得到的最多的是时间，而我需要一分钟的精确性。BigQuery中的数据集具有毫秒的准确性，但我似乎无法在dataset中获得它。
我读过一些关于创建带有日期的字符串并将其用作度量的简短建议，或者提取和组合一个分钟字段，但我似乎无法使它工作。
浏览 0提问于2019-03-03得票数 3
回答已采纳
我正在处理bigquery中的一些表，并收到以下错误：
无法返回相对于Unix时代-62169990264000000微秒的无效时间戳值。
有效时间戳值范围为0001-01-1 00:00:00,9999-12-31 23:59:59.999999。
在旧式sql中执行查询并进行排序升序，它显示为0001-11-29 22:15:36
它是如何转化成微秒的？
这是一个查询：
#standardSQL
SELECT
birthdate
FROM
X
WHERE
birthdate IS NOT NULL
ORDER BY
birthdate ASC
浏览 2提问于2016-12-17得票数 1
我正在通过我的c#应用程序将数据上传到BigQuery云。我在BigQuery表'ForDate‘中有一个数据类型为'Date’的列。
但是在c#数据类型是‘datetime’(因为c#不支持日期数据类型)，上传数据到bigquery时出现以下错误：{Invalid date：'2017-01-02T00:00:00‘字段: ForDate；Value: 2017-01-02T00:00:00}
如果只上传包含日期部分的日期并忽略其中的时间部分，可能会有什么解决方法？
浏览 6提问于2018-01-08得票数 3
我正在使用命令行上的BigQuery将CSV文件上传到Google bq load。它很好用，但是我有一个关于在飞行中转换时间戳的问题。
在我的源数据中，我的时间戳被格式化为YYYYMM，例如201303，意思是2013年3月。
但是，Google的只支持Unix时间戳和YYYY-MM-DD HH:MM:SS格式字符串。因此，毫不奇怪，当我加载数据时，这些字段不会转换到正确的日期。
有什么方法可以让BigQuery知道这些是YYYYMM字符串吗？
如果没有，我可以在加载之前转换它们，但是我有大约1TB的源数据，所以如果可能的话，我很想避免这样的情况:)
浏览 0提问于2015-11-21得票数 2
回答已采纳
1回答
我已经从bigquery记录中检索了一个日期时间(使用google.cloud.bigquery库)，并需要根据的“startTime”参数以格式将其发送到google.cloud.bigquery。API期望日期时间如下所示：
2010年-10-28T10:26:35.000Z
这通常可以通过在没有tzinfo的情况下创建python并调用is格式实现，如下所示：
>>> now = datetime.utcnow()
>>> now = now.isoformat("T") + "Z"
>>> now
&
浏览 3提问于2017-06-01得票数 6
回答已采纳
我有一个用Python语言编写的云函数，它由PubSub消息触发，基本上拆分传入的消息并将它们插入到BigQuery表中。以前，当我只是插入传感器值和用于测试的datetime.now()时间戳时，这种方法是有效的。然而，由于我需要来自传感器本身的时间戳，我不得不重写函数，现在它崩溃了，我不确定问题在哪里，也不确定如何进一步调试它。我的函数代码如下： import base64
import datetime
from google.cloud import bigquery
import json
def sensor_pubsub(data, context):
"&
浏览 14提问于2020-04-27得票数 0
我在Google bigquery中有一个表，其中有一列设置为数据类型timestamp。 我必须使用pandas的to_gbq函数插入数据。 如果我将数据类型设置为string，而不是timestamp，那么数据就会加载到表中。 但是我希望列是时间戳数据类型。 如何将dataframe的列类型转换为与Google bigquery兼容的时间戳。 错误 ? 表模式 ?
浏览 22提问于2019-09-11得票数 0
1回答
如果应用或示例来构建我的程序，每次尝试插入大查询时，都会出现以下错误：
OverflowError:运行“格式”时超出范围的日期值
我的束流管道是：
Bigquery = (transformation
| 'Format' >> beam.ParDo(FormatBigQueryoFn())
| 'Write to BigQuery' >> beam.io.Write(beam.io.BigQuerySink(
'XXXX',
浏览 0提问于2018-11-07得票数 1
回答已采纳
我可以运行下面的查询，从date获得划时代的秒，并在Google bigquery中将它们隐藏到给定的日期。
例如，
：
select unix_seconds(timestamp('2020-12-04 00:00:00')), unix_seconds(timestamp('2020-12-04 01:00:00'));
1607040000
1607043600
并能将它们隐藏在时间戳上。
select timestamp_seconds(1607043600);
2020-12-04 01:00:00 UTC
我正在PostgreSQL中寻找类似的查
浏览 0提问于2020-12-31得票数 1
回答已采纳
我试图在BigQuery中返回一个列，其中包含从列start_time中提取的日期。
列中的值格式为: 11/27/2019 14:40:15 CET +0100
我编写了以下代码：
SELECT EXTRACT(DATE FROM TIMESTAMP(start_time))
AS date
FROM `cc_raw.cc_exp`
但是，我收到了错误消息:无效时间戳：'11/27/2019 14:40:15 CET +0100‘
我怎么在这转转？
非常感谢，Janine
浏览 4提问于2019-12-04得票数 1
回答已采纳
1回答
试图创建具有日期扩展yyy等的文件输出。云工作流没有bigquery的日期格式功能。
我可以得到的壁橱是${time.format(sys.now())}，但它提供了一个时间戳。任何解析为所需格式的方法。
浏览 5提问于2022-10-20得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
