1回答
我在存储在S3中的csv文件中有一个YYYY-MM-DD XX:XX:XX格式的时间戳，但是当我使用timestamp数据类型通过Glue加载到红移数据库时，timestamp列是null。我在Glue中的映射从时间戳到时间戳，表的列数据类型也是时间戳。
浏览 3提问于2018-08-18得票数 0
回答已采纳
我正在使用AWS Kinesis Firehose将文件写入S3，然后将其加载到Redshift中。我的表上有一个时间戳列：( ...Firehose中的红移复制选项提供了列的格式：
DELIMITER '\t' GZIP DATEFORMAT AS 'YYYYMMDD'在这种情况下，我将时
浏览 0提问于2015-10-28得票数 2
2回答
自动复制和创建表？
、、、
难道没有一种方法可以在Redshift中自动创建内部表，然后通过复制将数据移动到其中吗？我可以不使用存储在AWS Glue Data Catalog上的元数据来创建它吗？据我所知，现在必须手动编写SQL来创建表，然后运行COPY将数据移动到表中。
编辑:我的问题是创建表。要运行副本，表必须已经存在。我可以使用现有的胶水元数据创建这个表吗？或者我只能手工编写SQL？
浏览 5提问于2020-01-07得票数 0
回答已采纳
2回答
在我们的公司中，我们将数据存储在S3中，因此我在s3中创建了一个桶，并创建了一个AWS爬虫来将这个表加载到Redshift表(我们在公司中通常这样做)，我在Redshift上成功地看到了这一点。根据我的研究，Glue爬虫应该在Glue数据目录中创建与我的数据相关的元数据，这也是我能够看到的。以下是我的问题:我的爬虫是如何工作的，它是否将S3数据加载到Redshift？我的公司是否应该有一种特殊的配置
浏览 2提问于2021-05-20得票数 2
回答已采纳
我使用AWS Glue作为ETL将数据加载到RDS表中，这是一个每日快照表，需要在当天的数据加载之前截断。我在DynamicFrameWriter类中尝试了"Preactions“参数，但它看起来只是红移。
参考：
浏览 17提问于2019-07-17得票数 1
我正在开发从红移表(或视图)到红移表的aws胶水预定转换脚本。 我的一些表很大，我不想将整个表加载到S3文件中，或者对于其中一些表，我希望有一个增量解决方案。因此，我正在寻找一个用于aws Glue / Redshift的预过滤解决方案(在加载到S3之前)。 我知道，如果您直接在S3存储桶上工作，则可以使用谓词下推来避免加载您不关心的数据。它似乎在Red
浏览 16提问于2019-03-22得票数 1
1回答
我用aws glue为我的数据库创建了外部模式。我可以看到表的列表，但是我不能查看json数据。redshift抛出了这个错误。我不想创建外部表，因为我将在aws glue中创建一个结合数据目录中的外部表的视图。我在数据目录中创建表时使用了aws glue crawler。它们是json格式的。如果我使用的作业将在redshift中上传此数据，它们将作为平面文件(数组除外)加载到
浏览 5提问于2018-06-05得票数 0
1回答
AWS云监控日志流
、、、
我有一个aws glue作业，它将数据加载到一个红移表中。这是一种通用的胶水作业。它接受表名作为参数。如何根据表名将aws glue作业的日志流式传输到两个不同的日志流。
浏览 26提问于2021-10-16得票数 -1
2回答
我在S3上有一堆拼图文件，我想以最优的方式将它们加载到红移中。
将每个文件拆分为多个chunks......what是将数据从S3加载到Redshift的最佳方式吗？另外，如何在Redshift中创建目标表定义？有没有一种方法可以从Parquet中推断出模式并以编程方式创建表？我相信有一种方法可以使用红移光谱来做到这一点，但我想知道这是否可以在脚本中完成。我正在考虑所有的AWS工具
浏览 2提问于2018-09-06得票数 6
1回答
AWS数据管道的默认日期时间
、、、、
我们正在使用数据管道将数据从s3推送到亚马逊红移表。"$['data1']", "$['data1']['data1']", ]}
我最近想在我的红移表中添加created_a
浏览 2提问于2018-06-21得票数 0
1回答
我有一个Glue作业，它将CSV从S3加载到一个红移表中。有1列(updated_date)没有映射。该列的默认值在UTC中设置为current_timestamp。但是每次Glue作业运行时，这个updated_date列都是空的。
我尝试从Glue元数据表中删除updated_dt。我尝试在Glue脚本中从updated_dt ()中删除Se
浏览 1提问于2021-03-25得票数 0
1回答
在尝试将数据从AWS S3加载到红移时，我面临十进制类型红移表中任何列的问题。我能够加载非十进制数字在红移，但不能加载数据类型，如数字(18，4)。S3中的DF模式:整数，B字符串，C小数(18，4)，D时间戳来自stl_load_
浏览 1提问于2021-04-05得票数 1
回答已采纳
需要将这些数据存储在某个数据湖/数据仓库中，进行聚合，然后加载到DynamoDB中，以便我们的服务在其业务逻辑中使用聚合数据。，DynamoDB表需要每小时更新一次。我提出的解决办法：
将数据传递到红移暂存表(默认情况下使用tableCreates作为中间存储，然后使用复制命令将数据加载到红移)a S3的每小时Glue作业：删除30天前的时间序列表，并在Redshift<
浏览 2提问于2021-04-29得票数 1
回答已采纳
1回答
我正在开发一个应用程序，在这个应用程序中，我将将数据加载到红移中。对于每一次这样的迭代，我都需要将数据加载到20表中。现在，我正在创建20 CSV文件，以便将数据加载到20表中，在每次迭代时，20创建的文件将被加载到20表
浏览 4提问于2019-11-10得票数 2
回答已采纳
1回答
我们有一个每日红移表，其中包含500m条记录，其中包含以下字段:时间戳、事件名称、事件值。
我们想要一个查询，它将接受所有名称为'X‘的事件，并将它们放入另一个红移表中。
浏览 3提问于2016-07-04得票数 2
2回答
自动化红移权限
、、、
查询只需使用customer_id的过滤器创建表的视图，使用customer_id创建用户，并允许该customer_id读取表的视图。我面临的问题是自动化这一点，因为我是手动在Redshift中这样做的。我想自动化这个给定的红移-不支持触发器，Lambda不支持红移触发。Glue -我目前正在使用Glue加载到Redshift中。也许我可以在工作流中添加一些内容，
浏览 0提问于2020-02-02得票数 1
1回答
默认情况下，将时间戳列设置为SYSDATE，将其存储为UTC。是否可以更改时区，以便SYSDATE将日期和时间存储到不同的时区？
到目前为止，我已经检查了命令，但我不确定是否可以使用它来更改时区。
浏览 2提问于2016-03-31得票数 4
回答已采纳
我使用copy命令将许多文件加载到redshift DB中。redshift自己的created_at正在重写json中指定的created_at时间戳。my credentials'一个例子是：{"foo":"bar", "created_at":"2018-09-05 17:48:34"}
这在DB中成功保存，但json时间<
浏览 0提问于2018-09-10得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
