文章/答案/技术大牛

发布

社区首页 >问答首页 >如何格式化时间戳字段，同时加载拼图文件到红移？

问如何格式化时间戳字段，同时加载拼图文件到红移？
EN

Stack Overflow用户

提问于 2019-02-13 21:57:36

回答 1查看 1K关注 0票数 0

我有一堆拼图文件，带有不同格式的时间戳字段。我想在将数据加载到红移表中时统一格式。但是下面的语法不起作用，它会抛出错误TIMEFORMAT argument is not supported for PARQUET based COPY。

有什么解决办法吗？我只能想到一个解决方案，那就是统一所有的时间戳格式，同时创建拼花file.Since我必须加载2-3年的拼花文件，所以这个解决方案很耗时。如果你在下面的语法中有任何其他的解决方案或者遗漏了什么，可以告诉我吗

语法：

COPY redshift_table_name
FROM 's3://path/to/files'
IAM_ROLE '*****'
TIMEFORMAT AS 'YYYY-MM-DDTHH:MI:SS'
FORMAT AS PARQUET

发布于 2019-07-09 12:59:48

如果可以使用Pyarrow库，请加载拼花面板，然后使用use_deprecated_int96_timestamps参数执行write them back out in Parquet format。红移将正确地识别这些。我没有任何幸运，让它正确地识别任何其他时间戳格式时，加载拼图。

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/54671944

复制

相似问题

问如何格式化时间戳字段，同时加载拼图文件到红移？EN