问在Athena上转换为带有时区的时间戳失败

EN

不幸的是，雅典娜并不完全支持所有的Presto功能，它有limitations，技术上比Presto落后几个版本。有一些尝试让雅典娜与AWS胶元存储紧密集成，虽然它基于蜂巢的元存储，但有一些不一致。我希望Spark，Hive，Glue，Athena，Presto等人可以使用相同的metastore，这会让生活变得更容易，但回到你的问题上：

这个document about an older teradata fork of Presto在presto中提到了一些关于时间戳的问题：

sql用于声明带/不带时区的时间戳的方法不是

标准。在Presto中，两者都是使用单词TIMESTAMP声明的，例如，TIMESTAMP '2003-12-10 10:32:02.1212‘或TIMESTAMP '2003-12-10 10:32:02.1212 UTC’。根据时间戳末尾是否包含时区，确定时间戳是带时区的还是不带时区的。在其它系统中，时间戳被显式声明为带时区的时间戳或不带时区的时间戳

雅典娜的派生版本Presto确实支持timestamp和timestamp with timezone，但有teradata文档中提到的那个怪癖，这不应该是一个问题。真正的问题是Athena does not support timestamp with timezone。

您链接的presto文档显示该函数返回一个不受支持的timestamp with timezone类型的值，因此您需要将其转换为其他受支持的类型。这是一个疏忽，雅典娜允许函数和类型转换为不受支持的数据类型，希望这将得到补救，但现在您必须解决这个问题。

您需要做的是在该函数调用周围使用CAST()函数，这会将类型从timestamp with time zone更改为timestamp

不幸的是，您可能不能将字符串直接转换为时间戳，尽管这取决于字符串的格式。你也不能使用在字符串之前写timestamp的类型，例如，由于我将在下面解释的原因，不能做timestamp '2018-01-01 15:00:00'。

由from_iso1601_timestamp()函数返回的类型

SELECT typeof("real_date") AS real_date_type
FROM
(
SELECT From_iso8601_timestamp('2018-01-01T15:00:00Z') as "real_date"
)

带有时区的

时间戳

这不管用

SELECT typeof("real_date") AS real_date_type
FROM
(
SELECT CAST('2018-01-01T15:00:00Z' AS timestamp) as "real_date"
)

SQL错误失败: INVALID_CAST_ARGUMENT:值不能转换为时间戳

这种类型的转换还会返回带有时区的时间戳:(

请注意，这段代码的SELECT部分是有效的，它表明它是一个timestamp，但是由于某些内部不一致的原因，您无法创建视图，并且会得到一个错误。

CREATE OR replace VIEW test 
AS 
SELECT typeof( "real_date" ) AS real_date_type
FROM
(
SELECT  timestamp '2018-01-01 15:00:00' as "real_date"
)

SQL错误失败:无法初始化类com.facebook.presto.util.DateTimeZoneIndex

不管出于什么原因，创建一个视图需要该java类，而解析select中的值却不需要，这是一个需要解决的bug。

这个不错。

CREATE OR REPLACE VIEW test
AS
SELECT typeof("real_date") AS real_date_type
FROM
(
SELECT CAST(From_iso8601_timestamp('2018-01-01T15:00:00Z') AS timestamp) as "real_date"
)

在Athena中，您可以在时间戳数据类型(Dt)上使用以下语法：

SELECT id,dt,dt AT TIME ZONE 'America/New_York' as dateTimeNY FROM Table

在我最近正在做的事情上遇到了类似的事情。AWS支持将我引向了达沃斯解决方案，但它最终并不适用于我的情况。从我那里得到的解决方案是：

create or replace view db_name.vw_name AS
select
    from_unixtime(cast(to_unixtime(current_timestamp) AS bigint)) as field_name
from db_name.tbl_name

这会将timestamp with time zone为current_timestamp的输出转换为timestamp

如果要验证字段的数据类型，可以使用：

select typeof(field_name) from db_name.vw_name

希望这能有所帮助！