如何使用Glue Data Catalog创建红移表
Glue Data Catalog是亚马逊AWS提供的一项数据目录服务，用于管理和组织数据源的元数据信息。通过Glue Data Catalog，用户可以轻松地创建和维护数据表，使数据的查询和分析更加高效和便捷。
要使用Glue Data Catalog创建红移表，可以按照以下步骤进行操作：
- 登录到AWS管理控制台，进入Glue服务页面。
- 在Glue服务页面，点击左侧导航栏中的"数据目录"选项。
- 在数据目录页面，点击"数据库"选项卡，然后点击"添加数据库"按钮。
- 在添加数据库页面，填写数据库的名称和描述信息，并选择适当的位置。
- 点击"创建"按钮，完成数据库的创建。
- 在数据库创建完成后，点击数据库名称进入数据库详情页面。
- 在数据库详情页面，点击"表"选项卡，然后点击"添加表"按钮。
- 在添加表页面，填写表的名称和描述信息，并选择适当的位置。
- 在"架构"选项卡中，可以定义表的列和数据类型。
- 在"属性"选项卡中，可以设置表的属性，如分区、压缩格式等。
- 在"位置"选项卡中，可以指定表的存储位置。
- 点击"创建"按钮，完成表的创建。
通过以上步骤，就可以使用Glue Data Catalog创建红移表。Glue Data Catalog提供了丰富的功能和灵活的配置选项，可以满足不同场景下的数据管理需求。同时，Glue Data Catalog还与其他AWS服务集成，如Athena、Redshift等，可以实现更加强大的数据分析和查询功能。
推荐的腾讯云相关产品：腾讯云数据目录服务（Data Catalog），该服务提供了类似于Glue Data Catalog的功能，可以帮助用户管理和组织数据源的元数据信息。您可以通过腾讯云数据目录服务，轻松地创建和维护数据表，实现高效的数据查询和分析。
腾讯云数据目录服务产品介绍链接地址：https://cloud.tencent.com/product/dcat
相关·内容
我正在努力理解如何正确地将红移光谱与Hudi数据连接起来。 看起来，我可以像下面的文档https://docs.aws.amazon.com/redshift/latest/dg/c-spectrum-external-tables.html所描述的那样，直接为ApacheHudi中管理的数据创建RedShift外部表，另一种方法是像这里提到的那样，将Hudi与AWS Glue Data Catalog集成，然后通过AWS Glue Data Catalog访问具有RedShift谱的Hudi表。 我对ApacheSPark的AWS EMR也有同样的需求。看来我可以直接从EMR或AWS Gl
浏览 50提问于2021-09-12得票数 1
回答已采纳
我们的外部表在红移时出了问题。
我们在AWS中有超过300个表，它们作为一个名为events的外部模式添加到我们的红移集群中。events中的大多数表都可以很好地查询。但是当查询一个名为item_loaded的表时，我们会得到以下错误；
select * from events.item_loaded limit 1;
ERROR: XX000: Failed to incorporate external table "events"."item_loaded" into local catalog.
LOCATION: localize_external
浏览 0提问于2018-04-26得票数 3
回答已采纳
以下是我如何设置的一些要点：
我已经将CSV文件上传到S3和Glue爬虫安装程序来创建表和模式。
我有一个Glue作业设置，它使用JDBC连接将数据从Glue表写入我们的Amazon数据库。作业还负责映射列和创建红移表。
通过重新运行作业，我将得到红移中的重复行(如预期的那样)。但是，是否有方法在插入新数据之前，使用键或胶水中设置的分区来替换或删除行？
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context impo
浏览 10提问于2017-09-14得票数 30
回答已采纳
2回答
自动复制和创建表？
、、、
难道没有一种方法可以在Redshift中自动创建内部表，然后通过复制将数据移动到其中吗？我可以不使用存储在AWS Glue Data Catalog上的元数据来创建它吗？
据我所知，现在必须手动编写SQL来创建表，然后运行COPY将数据移动到表中。
编辑:我的问题是创建表。要运行副本，表必须已经存在。我可以使用现有的胶水元数据创建这个表吗？或者我只能手工编写SQL？
浏览 5提问于2020-01-07得票数 0
回答已采纳
我正在尝试创建AWS Glue ETL Job，将数据从存储在S3中的拼图文件加载到红移表中。拼图文件是使用带有‘简单’文件模式选项的pandas编写到一个S3 bucked中的多个文件夹中的。布局如下所示：
S3://bucket/parquet_table/01/file_1.parket
S3://bucket/parquet_table/01/file_2.parket
S3://bucket/parquet_table/01/file_3.parket
S3://bucket/parquet_table/01/file_1.parket
S3://bucket/parquet_tab
浏览 1提问于2017-11-14得票数 3
我有一套结构统一的每日CSV文件，我会将它们上传到S3。有一个下游任务将CSV数据加载到Redshift数据库表中。CSV中的列数可能会增加，从那时起，新文件中将包含新列。当发生这种情况时，我希望检测更改并自动将该列添加到目标Redshift表中。
我的计划是在源CSV文件上运行Glue Crawler。模式中的任何更改都将在Glue Data Catalog中生成表的新版本。然后，我想使用Java、.NET或其他语言以编程方式读取Glue Data Catalog中最新版本的表的表结构(列及其数据类型)，并将其与Redshift表的模式进行比较。如果发现新的列，我将生成一条DDL语句来修改R
浏览 10提问于2018-01-15得票数 4
回答已采纳
1回答
我在不使用爬虫的情况下使用AWS Glue创建了新的数据库和表结构，并且可以做同样的事情，我的意思是使用爬虫创建表结构。这不是问题，我想要的是基于AWS表元数据在AWS中创建相同的表结构。
我用Python手工完成了Django，得到了表的元数据，并创建了"CREATE table .“命令并执行。我已经有了另一种解决方案。--我们可以从AWS端或者使用AWS (如Boto3 )--来做这件事吗？我不需要表中的任何数据，只想在AWS红移中创建空表。这个是可能的吗？
我还检查了AWS红移光谱。如果我可以在AWS中创建这个表，那么我可以使用频谱命令从S3或任何其他资源中获取数据。所以我先要
浏览 4提问于2020-03-12得票数 2
回答已采纳
我试图访问一个现有的AWS雅典娜桌兄弟会AWS红移。
我尝试在AWS Redshift控制台中创建外部模式(指向AWS Athena DB)。它成功地创建了外部模式，但没有显示雅典娜DB的表。下面是使用的代码。
CREATE EXTERNAL SCHEMA Ext_schema_1
FROM DATA CATALOG
DATABASE 'sample_poc'
REGION 'us-east-1'
IAM_ROLE 'arn:aws:iam::55276673986:role/sample_Redshift_Role';
少数观察.
即使我指
浏览 0提问于2019-04-30得票数 5
当从GLueContext动态框架访问空红移表时，我面临问题。该表在Glue Catalog中可见。但是，当我尝试从Glue ETL访问它时，它在下面提到的代码行上抛出了错误：
glueContext.create_dynamic_frame.from_catalog(
database=<redshift_database>,
table_name=<table_name>,
redshift_tmp_dir=<redshift_temp>,
transformation_ctx=<transformation_ctx
浏览 1提问于2020-05-04得票数 0
我正在使用us-west-1中的红移集群( Redshift Cluster )
s3文件的位置在us-west-1 (NCAL)，胶水数据目录在us-west-2 (俄勒冈州)
当我尝试查询表时
select count(*) from spectrum_schema.table_name;
我得到了下面的错误。
[Code: 500310, SQL State: XX000] [Amazon](500310) Invalid operation: The
specified region 'us-west-1' is invalid.
Details:
-------
浏览 1提问于2018-01-11得票数 0
1回答
我有两个mysql数据库，每个都在它们自己的ec2实例上。每个数据库在模式“product”下都有一个表“report”。我使用爬虫将表模式放入名为db1的数据库中的aws glue data目录中。然后，我使用aws glue将表从ec2实例复制到s3存储桶中。然后我使用redshift来查询表。我在查询编辑器中使用下面的脚本从aws爬虫获取外部模式到redshift。我想将这两个表合并到一个表中，并添加一个‘source’列和一个标志来指示每个记录所来自的原始表。有没有人知道在etl过程中使用aws glue是否可能做到这一点？或者你能提出另一种解决方案吗？我知道我可以将它们与redsh
浏览 30提问于2019-06-20得票数 0
2回答
我目前有两个胶水连接。首先连接到专用子网内的db (经由公共子网中的nat网关)。该连接存在于专用子网中。现在，我在一个公共子网中创建了一个红移集群，并尝试通过aws glue建立连接。然而，glue抱怨在nat网关上没有与公共子网相关联的s2端点。但这是包含我的nat网关的同一公共子网。我不能理解为什么它会给我这个错误，以及如何解决这个问题？
浏览 2提问于2018-10-22得票数 0
我是第一次接触AWS Glue。我已经创建了一个作业，它使用两个Data Catalog表，并在其上运行简单的SparkSQL查询。作业在转换步骤中失败，并出现异常 pyspark.sql.utils.AnalysisException: 'java.lang.RuntimeException: com.amazonaws.SdkClientException: Unable to execute HTTP request: Connect to glue.us-east-1.amazonaws.com:443 [blah] failed: connect timed out;
浏览 16提问于2021-04-29得票数 0
回答已采纳
我有一个实例，它在3个表中加载了数据(标准和jsonb数据类型的混合)。我们目前使用传统视图，其中一些深嵌套的元素与其他列一起出现，用于聚合等等。
我们有两个物化的视图，我们想发送到Redshift。Aurora Postgres和Redshift都在Glue Catalog中，虽然我可以看到Postgres视图是可选择的，但爬虫不会获取物化视图。
目前正在探索两个选项，以使数据红移。
输出到拼板，并使用复制加载，将物化视图指向jdbc接收器，指定redshift.
想知道如果有人做过类似的用例，什么可能是最有效的方法。
问题：
在选项1中，是否能够处理增量负载？支持JDBC (Aurora
浏览 2提问于2021-06-10得票数 0
回答已采纳
我正在尝试加载拼花的文件，在S3到红移使用胶水作业。当我第一次运行Glue Job时，它正在创建表和加载数据，但当第二次通过更改1列的数据类型运行时，作业并没有失败，而是在Redshift中创建了新列并附加了数据。
例如:在这里，我更改了整型数字的数据类型
FileName **abc**
Code,Name,Amount
'A','XYZ',200.00
FileName **xyz**
Code,Name,Amount
'A','XYZ',200.00
在Redshift中
Output after processing b
浏览 3提问于2020-03-02得票数 2
我正在尝试创建一个外部模式，我的命令如下所示。当然，我已经将组件/项的名称更改为没有意义的名称，只是为了隐藏我的生产值：
create external schema sb_external
from data catalog
database 'dev'
iam_role 'arn:aws:iam::490412345678:role/aws-service-role/redshift.amazonaws.com/AWSServiceRoleForRedshift'
create external database if not exists;
查询使用
浏览 3提问于2021-08-03得票数 3
我运行的是SPAR3.1.1和AWS emr-6.3.0集群，具有以下蜂巢/亚稳态配置：
spark.sql.catalog.spark_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog
spark.delta.logStore.class=org.apache.spark.sql.delta.storage.S3SingleDriverLogStore
spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension
hive.metastore.client.factory
浏览 3提问于2022-02-09得票数 2
回答已采纳
我的私有子网中有一个红移群集。我正在尝试使用Glue Python编写卸载作业。但是我无法连接我的集群，因为它驻留在私有子网中。我试图添加JDBC和Redshift连接，但还是失败了。
我阅读了的文章，但不幸的是，我仍然无法理解工作流。
如何将Glue Python连接到私有子网中可用的Redshift群集？如果有人能帮助我理解这个工作流，那就太好了。
浏览 3提问于2020-07-03得票数 1
回答已采纳
我对Glue非常陌生，我想到了一个场景:我们在胶水目录中有了源表，我们需要将它的数据写入红移中预先存在的表中的特定列中。例如：
source_table_name[source_table_column_name]. target_table_name[target_table_column_name]
employee[id] resource[resource_id]
employee[name] resource[resource_
浏览 0提问于2021-06-18得票数 0
回答已采纳
1回答
目标
我有一个包含各种模式的json文件的S3文件夹，包括数组(按发生的情况，它是一个dynamodb备份)。但是，虽然模式不同，但所有文件都包含一些公共元素，如“id”或“name”，以及不同长度的嵌套数组，例如“选定项”。我希望能够在闲暇的时候解析出这些元素。
我有一种使用外部ETL工具(K尼姆)的工作方法，我希望通过Glue以一种无服务器的方式复制它。
背景
工作方法是：
使用频谱将所有S3数据作为外部表加载，每个json记录作为一个varchar(65535)条目。
使用红移SQL函数(如json_extract_path_text和json_array_length )解析我
浏览 0提问于2018-06-26得票数 0
我有一个遵循以下格式的S3文件集合：
date=10001
abc.json
bcd.json
cdf.json
date=10002
...
date=20001
...
Glue对这些文件进行爬行，以便在Athena中创建一个表(分区为date)。一旦创建了S3文件，它就永远不会被更新或删除，因此重新爬网是多余的。为此，我尝试让Glue忽略我知道已经被爬行的文件。
为此，我在exclude patterns字段下添加了10** -这是有效的- Glue不会重新爬行这些文件，并且更新我的表的时间是四分之一的。但是，当我试图访问其中一个被忽略的日期(例如- dat
浏览 0提问于2020-03-04得票数 1
1回答
我们有S3桶，它是嵌套的文件夹结构，如TeamName/Year/Month/Day/<Parquet files 1 - n>。
我们正在尝试在S3文件夹上创建一个红移频谱(使用Glue数据目录)，并在Redshift中查询数据。到目前为止，我已经看到了所有的教程，它可以直接处理根文件夹下的文件。那么，如何使用嵌套文件夹在存储桶中看到红移中的多个文件呢？
此外，如果我们添加更多的文件或文件夹，例如Day2/ParquetFiles，频谱是否能够检测到这一点？有办法在根文件夹上创建频谱吗？所有文件的架构将是相同的。
浏览 12提问于2022-11-16得票数 0
回答已采纳
我有一个，它的记录我想用AWSGlu将其插入AWS红移，我创建了爬行器来将源表和目标表.They工作得很好。
当我使用目标作为红移时，当我将记录保存在S3上而不是红移.But上时，代码就会工作，我得到了错误。
不管怎么说我总是犯错误
"StreamingQueryException:在列表碎片时出错“
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.c
浏览 18提问于2022-05-06得票数 1
1回答
我使用Glue Studio创建了一个AWS胶水作业。它从Glue data Catalog中获取数据，执行一些转换，然后写入不同的Data Catalog。
在配置目标节点时，我启用了在运行以下命令后创建新分区的选项：
作业成功运行，数据以正确的分区文件夹结构写入S3，但没有在实际的数据目录表中创建新分区-我仍然需要运行胶水爬虫来创建它们。
生成的脚本中负责创建分区的代码如下(作业的最后两行)：
DataSink0 = glueContext.write_dynamic_frame.from_catalog(frame = Transform4, database = "t
浏览 5提问于2021-03-19得票数 5
AWS 红移有一个PostgreSQL查询接口。因此，我尝试用PostgreSQL驱动程序驱动程序在PyCharm (JetBrain IDE系列)中建立到集群的连接:它可以工作，但是有一个后台工作一直失败。错误信息是：
AWSmytestdb.pg_catalog.padb_config_harvest
java.sql.SQLException: Unable to determine a value for MaxIndexKeys due to missing system catalog data.
AWS红移是否为MaxIndexKeys设置了值？这有关系吗？我能把工作关掉吗？有没
浏览 0提问于2016-04-24得票数 3
回答已采纳
我正在尝试使用红移光谱来查询S3数据。 该表有一个oid列，该表是使用glue crawler创建的。 我尝试在redshift中使用这个命令来获取数据。 select * from db.table order by pid desc limit 1 但是出现了一个错误。 [XX000] ERROR: Failed to incorporate external table "db"."table" into local catalog. Error=column name "oid" conflicts with a system colu
浏览 21提问于2021-10-13得票数 0
回答已采纳
我正在研究不同的大数据解决方案，并没有找到明确的答案或文档，说明什么是解决我的大数据用例的最佳方法和框架/服务。
我的用例：
I有一个数据生成程序，它将每天将大约12亿个事件发送到流。需要将这些数据存储在某个数据湖/数据仓库中，进行聚合，然后加载到DynamoDB中，以便我们的服务在其业务逻辑中使用聚合数据。，DynamoDB表需要每小时更新一次。(每小时不是一项困难的要求，但我们希望DynamoDB尽快更新，如果需要的话，每天更新的间隔最长)事件模式类似于: customerId、deviceId、countryCode、时间戳聚合模式类似于: customerId、deviceId、cou
浏览 2提问于2021-04-29得票数 1
回答已采纳
1回答
问题
我有一个希望在本地运行的管道，它执行以下操作：
从Redshift下载表到S3桶(基本上是)
将表从S3桶复制到另一个Redshift (基本上是)
问题
是否可以使用QA红移，然后用LocalStack将这些文件复制到本地模拟的PosgreSQL，最后再使用模拟的PosgreSQL进行第二次红移？这种方法会有更多的利大于弊吗？
Note：我不想用LocalStack在本地嘲笑Redshift，因为很明显
红移服务仅模拟红移管理端点(创建集群等)而不是实际的查询引擎。
浏览 9提问于2022-03-16得票数 1
1回答
在Glue目录中构建表格
、、、
有没有办法在Glue Catalog中创建或更新表？ 我们使用以下DDL在Glue Catalog中创建一个表(和数据库)： CREATE DATABASE IF NOT EXISTS glue_catalog;
CREATE EXTERNAL TABLE IF NOT EXISTS glue_catalog.date
(
file_dt date,
end_dt date
)
PARTITIONED BY (
year string,
month string
)
ROW FORMAT DELIMITED
FIEL
浏览 39提问于2021-11-08得票数 0
示例：I在Glue目录中有一个带有DDL的分区表：
CREATE EXTERNAL TABLE `test`(
`id` int,
`data` struct<a:string,b:string>)
PARTITIONED BY (
`partition_0` string)
ROW FORMAT SERDE
'org.openx.data.jsonserde.JsonSerDe'
S3中的底层数据是具有不同模式的json文件，这意味着某些元素可能不存在于某些文件中，而在另一些文件中存在。
在此示例分区_0=‘01’中，包含包含所有元素的js
浏览 1提问于2021-03-02得票数 1
1回答
红移频谱如何扫描数据？
、、、、
给定S3上1.4 TB拼图数据的数据源，由时间戳字段分区(因此分区为year - month - day)，我正在查询特定日期的数据(2.6 GB数据)，并使用以下查询通过红移频谱检索拼图文件中的所有可用字段： SELECT *
FROM my_external_schema.my_external_table
WHERE year = '2020' and month = '01' and day = '01' 这个表是通过指向S3顶层“文件夹”的Glue Crawler提供的；这会创建一个数据库，然后通过这个命令将数据库链接到新的exter
浏览 25提问于2020-11-19得票数 4
回答已采纳
我是新来的Redhsift和迁移甲骨文到红移。
其中一个oracle表有大约60个索引。AWS建议使用大约6个复合排序键是一个很好的做法。
这60个甲骨文索引将如何转换为Redhsift排序键？我知道没有自动转换，或者不能把所有的60个作为复合排序键。我是新来的红移，我可以知道，通常这种转换是如何处理的。
在Oracle中，我们可以继续向同一个表添加索引，查询/报告可以使用它们。但是在Redshift中，更改排序键是通过重新创建表来实现的。如何使在同一表中使用不同筛选列和联接列的所有查询具有最佳性能？
谢谢
浏览 4提问于2017-10-06得票数 2
回答已采纳
1回答
我正在研究Glue Data Catalog，我有点困惑。我知道Glue Data Catalog并不存储数据本身，而只是存储数据库和表的元数据，但是，它们存储在哪里呢？
浏览 20提问于2019-10-11得票数 5
回答已采纳
我们需要将各种Aurora数据库中的数据移动并合并到一个Redshift数据库中。 由于我们的端点是AWS服务，因此我们正在学习Glue、Pipeline和Matillion。 它是不是打算用在像这样的“传统ETL”中？胶水可以用来创建和填充事实表和维度表吗？ 我读到一个常见的模式是使用Glue在Redshift上运行的apache spark引擎将数据转换为S3→move data to Redshift。 在应用了dim/fact逻辑之后，为什么有必要将数据移动到存储桶中呢？ 使用Python/Scala创建这些模糊/事实转换实用吗(因为Glue没有UI转换)？ 我还了解到，在某些情况下
浏览 24提问于2020-04-29得票数 0
1回答
我正在通过aws glue爬行数据到数据目录。但是我对数据库的定义有点困惑。根据我在亚马逊网络服务文档A database in the AWS Glue Data Catalog is a container that holds tables. You use databases to organize your tables into separate categories.中找到的信息。我想知道数据库到底包含了什么。它是否加载来自其他数据源的所有数据并在这些数据源上创建目录？或者它只包含目录？如何知道glue数据库中表的大小？以及它使用的数据库类型，如nosql、rds
例如，我创建了
浏览 17提问于2019-07-25得票数 1
回答已采纳
我对AWS胶水有新的了解。我正在使用AWS Glue Crawler从两个S3存储桶中抓取数据。我在每个存储桶中都有一个文件。AWS Glue Crawler在AWS Glue Data Catalog中创建了两个表，我还可以在AWS Athena中查询数据。 我的理解是为了在雅典娜中获取数据，我需要创建胶水作业，这将在雅典娜中提取数据，但我错了。Glue crawler将数据放在雅典娜中而不需要Glue作业，如果我们需要将数据推送到数据库中，如SQL，Oracle等，那么我们需要Glue job，这是正确的吗？ 如何配置Glue Crawler，使其只从源存储桶中获取增量数据，而不是所有数
浏览 62提问于2021-10-08得票数 1
回答已采纳
我已经使用Glue Data目录创建了一个EMR集群。当我调用spark-shell时，我能够通过以下方式成功列出存储在Glue数据库中的表
spark.catalog.setCurrentDatabase("test")
spark.catalog.listTables
但是，当我通过spark-submit提交作业时，我收到一个致命错误
ERROR ApplicationMaster: User class threw exception: org.apache.spark.sql.AnalysisException: Database 'test' doe
浏览 0提问于2017-09-19得票数 3
我成功地创建了mongodb连接，成功地测试了我的连接，并且能够使用Crawler在Glue数据目录中创建元数据。但是，当我在additional_options参数中添加mongodb数据库名和集合名时，我会得到一个错误：
data_catalog_database = 'tinkerbell'data_catalog_table = 'tinkerbell_funds'glueContext.create_dynamic_frame_from_catalog(database = data_catalog_database,table_name = data
浏览 21提问于2022-04-04得票数 0
1回答
我可以查看在创建外部Schema时使用关键字"FROM DATA DATA“为外部表创建/使用的Glue目录吗？
我去了AWS Glue控制台，"Databases“或"Tables”选项下没有任何内容。
我使用以下代码创建了一个外部模式：
CREATE EXTERNAL SCHEMA IF NOT EXISTS spectrum_schema
FROM DATA CATALOG
DATABASE 'spectrum_db'
IAM_ROLE 'myrole'
CREATE EXTERNAL DATABASE IF NOT EXISTS;
浏览 16提问于2019-08-06得票数 0
回答已采纳
2回答
我是一个新的AWS用户，对它的服务感到困惑。在我们的公司中，我们将数据存储在S3中，因此我在s3中创建了一个桶，并创建了一个AWS爬虫来将这个表加载到Redshift表(我们在公司中通常这样做)，我在Redshift上成功地看到了这一点。
根据我的研究，Glue爬虫应该在Glue数据目录中创建与我的数据相关的元数据，这也是我能够看到的。以下是我的问题:我的爬虫是如何工作的，它是否将S3数据加载到Redshift？我的公司是否应该有一种特殊的配置，允许我将数据加载到Redshift？
谢谢
浏览 2提问于2021-05-20得票数 2
回答已采纳
我使用AWS Glue，如果不使用迭代，您就不能读写多个动态框架。我在下面编写了这段代码，但我在两件事上苦苦挣扎：
是"tableName“，即筛选的表列表正确(我想从client_historical_*开始迭代的所有表)。在如何使用下面的映射动态填充Redshift表名方面陷入困境。
红移映射：
client_historical_ks --> table_01_a
client_historical_kg --> table_01_b
client_historical_kt --> table_01_c
client_historical_kf -->
浏览 4提问于2020-05-28得票数 0
我总是会犯错误
Invalid operation: Not authorized to get credentials of role arn:aws:iam::xxxxx:role/default_glue_role
我只想从S3的json加载到Redshift集群中。我还不清楚我该把什么角色(红移?)。
我尝试将以下IAM策略附加到Redshift
{
"Version": "2012-10-17",
"Statement": {
"Effect": "Allow",
浏览 0提问于2021-10-20得票数 1
我有多个aws_glue_catalog_table资源，我希望创建一个遍历所有资源的output，以显示每个资源的S3桶位置。这样做的目的是测试是否对Terratest中的每个资源使用正确的location (因为它是变量的级联)。我不能使用aws_glue_catalog_table.*或aws_glue_catalog_table.[]，因为Terraform不允许在不指定资源名称的情况下引用它。
所以我用r1，r2，rx创建了一个r2。然后，我可以循环这些名字。我想动态地创建字符串aws_glue_catalog_table.r1.storage_descriptor[0].locat
浏览 7提问于2021-11-12得票数 0
回答已采纳
1回答
我是AWS Glue和PySpark的新手。下面是一个代码示例
glue_context.create_dynamic_frame.from_catalog(
database = "my_S3_data_set",
table_name = "catalog_data_table",
push_down_predicate = my_partition_predicate)
在指南中。
假设过滤数据框的SQL查询如下所示
select * from catalog_data_table
where timesta
浏览 0提问于2018-09-15得票数 1
我是AWS Glue的新手，我希望创建一个使用我编写的SQL脚本( INSERT INTO语句)的作业，并填充我在Redshift中拥有的空表。这个是可能的吗？如果是的话，语法是什么？
我从一个测试用例开始。将数据从Redshift中的一个表复制到另一个表。
这是AWS提出的脚本。我选择了"Change“选项，因为我想创建一个新的目标数据集。
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkC
浏览 9提问于2020-06-26得票数 0
1回答
我有一个想要同步位于不同账户上的两个AWS Glue数据目录的用例。
创建/删除新的数据库/表/分区时，Glue是否会发出可以发布的通知？或者以其他方式了解在其他Glue Data Catalog中发生了什么？
一种方法是监听Glue帐户的Cloudwatch通知，但根据Doc的说法，Cloudwatch通知是不可靠的：
浏览 1提问于2019-07-16得票数 0
1回答
我用aws glue为我的数据库创建了外部模式。我可以看到表的列表，但是我不能查看json数据。redshift抛出了这个错误。
[Amazon](500310) Invalid operation: S3 Query Exception (Fetch)
Details:
-----------------------------------------------
error: S3 Query Exception (Fetch)
code: 15001
context: Task failed due to an internal error. Error
浏览 5提问于2018-06-05得票数 0
我正在尝试在雅典娜创建新的胶水数据目录。它总是失败，返回INVALID_INPUT，没有其他错误上下文。 这是我正在使用的https://docs.aws.amazon.com/sdk-for-ruby/v3/api/Aws/Athena/Client.html#create_data_catalog-instance_method接口。 当选择type = GLUE时，它总是失败，输入无效。 require 'aws-sdk-athena'
Aws::Athena::Client.new.create_data_catalog(name: 'testing'
浏览 13提问于2020-09-25得票数 1
2回答
我们有一个数据仓库系统，需要将s3上以csv格式显示的数据加载到红移表中。唯一的限制是只有唯一的记录被插入红移。
为了实现这一点，我们将以以下方式使用暂存表。
创建一个临时表。
将S3文件复制到TEMOPRARY表中。
开始交易
插入到{主红移表} select从列上的{连接在暂存表和主红移表之间，该表应该是唯一的，以便记录是唯一的}
结束交易
select子查询中使用的联接返回那些存在于暂存表中的记录，但不返回主红移表中的记录。
是上述机制，没有竞争条件.
例如，考虑-
主红移表没有行，s3文件包含两个记录。
因此，当由两个不同的进程/请求加载相同的s3文件时。每个请求的select查询将主
浏览 2提问于2016-05-09得票数 0
5回答
以下是我如何设置内容的一些要点：
我已经将CSV文件上传到S3，并设置了胶水爬虫来创建表和模式。我有一个Glue作业设置，它使用JDBC连接将数据从Glue表写入我们的Amazon Redshift数据库。Job还负责映射列和创建红移表。通过重新运行作业，我在redshift中得到了重复的行(正如预期的那样)。
但是，有没有办法在插入新数据之前替换或删除行？
书签功能已启用，但不起作用。
如何连接到redshift，在Python中将数据推送到redshift之前，删除作业中的所有数据？
浏览 0提问于2018-09-19得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
