在Glue目录中构建表格

文章/答案/技术大牛

发布

1回答

amazon-web-services、aws-glue、amazon-athena、aws-glue-data-catalog

有没有办法在Glue Catalog中创建或更新表？我们使用以下DDL在Glue Catalog中创建一个表(和数据库)： CREATE DATABASE IF NOT EXISTS glue_catalog; ( end_dt datePARTITIONED我

浏览 39提问于2021-11-08得票数 0

1回答

在aws glue中重命名数据库

amazon-web-services、aws-glue

我在aws glue中有一个数据库，它的名称中有'-‘。这个数据库包含一堆表。我想知道是否可以重命名此数据库，以便将'-‘替换为'_’。我进行了大量的搜索，但没有找到任何解决方案。需要帮助。

浏览 19提问于2020-10-28得票数 0

1回答

Spark EMR S3处理大量文件

hadoop、apache-spark、amazon-s3、emr、amazon-emr

我在S3中有大约15000个文件，每个文件包含几分钟的数据，每个文件的大小在300-700MB之间。由于递归地循环访问YYYY/MM/DD/HH24/MIN格式的目录代价很高，因此我创建了一个包含给定日期所有S3文件列表的文件(objects_list.txt)，并将该文件作为输入传递给spark read，我只看到驱动程序在工作，所有节点都没有做任何事情，不确定为什么驱动程序要打开每个S3文件进行读取，因为AFAIK spark工作懒惰，所以在一

浏览 2提问于2017-10-09得票数 3

1回答

读取CSV文件时，无法在Athena中获取正确的格式

amazon-web-services、pyspark、aws-glue、amazon-athena

所以我在S3中有这个csv文件，我正在尝试用胶水从雅典娜中读取它。在我的电脑里看起来是这样的：我还在glue目录表中

浏览 3提问于2021-05-22得票数 0

2回答

“分析列的类型时出错”红移频谱

amazon-web-services、amazon-redshift、amazon-redshift-spectrum

我首先使用Glue爬虫抓取数据以创建数据目录。然后，使用该目录，我创建了一个外部模式来引用Glue数据库，这样我就可以访问该目录。现在我可以对根级别的字符串执行select语句了，它的工作方式是Ex：问题是，当我在结构对象上执行select语句时，我得到了这个错误“下面是一个select示例(id是执行元结构中的一个字符串)： select t.actor.name from g

浏览 1提问于2018-09-27得票数 1

1回答

如何将它们都加载到正确的表中？

aws-glue

全新的AWS Glue和Python，所以我希望有人能给我指引正确的方向。我有两种不同的文件格式到达一个SQL，我所需要做的就是根据文件名中的一些通配符将它们加载到我的DB中的两个不同的S3表中。目前，Glue不会区分这两种文件类型，并会根据正在运行的作业将这两种文件加载到同一个表中有没有能做到这一点的Python脚本示例？我一直在使用Glue创建的两个Python脚本，并尝试将它们合并为一个。为此，我向动态帧添加了一个文件名，然后使用一些spark

浏览 5提问于2019-05-21得票数 0

3回答

调用aws boto3客户端应用编程接口时，粘合作业超时

etl、boto3、aws-glue、aws-glue-data-catalog

胶水作业能够使用以下代码访问胶水目录和表格 datasource0 = glueContext.create_dynamic_frame.from_catalog(database = tableName = tableDict['Name'] print("--

浏览 39提问于2019-01-05得票数 0

1回答

向数据库列添加注释并从AWS Glue中检索

database、amazon-web-services、aws-glue、aws-glue-data-catalog

我正在尝试将AWS GLUE数据目录整合到我正在构建的数据湖中。我正在使用几个不同的数据库，并希望为其中几个表中的列添加注释。这些数据库包括Redshift和MySql。我通常通过如下方式将注释添加到该列中现在我知道Glue有一个在GUI中显示的注释字段有没有办法将Glue

浏览 23提问于2019-12-04得票数 1

回答已采纳

1回答

启用崇高文本中的终端插件

plugins、sublime-text

它是否有可能启用终端插件到崇高文本编辑器，类似凯特？

浏览 0提问于2018-01-20得票数 1

1回答

从AWS Glue作业中引用蜂巢视图

amazon-web-services、apache-spark、hive、aws-glue

在今天的EMR中，我有由S3中的Parquet支持的Hive外部表，我还有其他视图，比如create view hive_view as select col from external_table wherecol = x 然后在EMR上的Spark中，我可以发布像df = spark.sql("select * from hive_view")这样的语句来引用我的Hive视图。我知道我可以使用Glue目录作为蜂巢转移的替代物，但我正在尝试将火花作

浏览 0提问于2019-01-29得票数 3

2回答

如何通过AWS Quicksight连接红移频谱上的外部架构/表？

amazon-web-services、amazon-redshift、amazon-quicksight、amazon-redshift-spectrum

我已经构建了一个Redshift集群，并通过运行DATABASE '<aws_glue_db>'若要访问AWS Glue数据目录，请执行以下操作。在Redshift上一切都很好，我可以查询数据，一切都很好。但是，在Quicksigh

浏览 2提问于2019-12-30得票数 0

回答已采纳

2回答

如何在AWS雅典娜中创建数据库时获取DBPROPERTIES、S3Location和注释集？

amazon-web-services、amazon-athena

在创建雅典娜数据库时，我们可以指定DBPROPERTIES、S3Location和注释 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name假设，我想从上面的示例中获取创建者名称。

浏览 1提问于2020-10-22得票数 1

回答已采纳

3回答

从EMR迁移到AWS Glue后，在Spark SQL中找不到表

apache-spark、amazon-emr、aws-glue

我在EMR上有Spark作业，并且EMR被配置为对Hive和Spark元数据使用Glue目录。我创建了Hive外部表，它们出现在Glue目录中，我的Spark作业可以在Spark SQL中引用它们，比如spark.sql("select * from hive_table ...")现在，当我尝试在Glue作业中运行相同的代码时，它失败了，并出现"table not f

浏览 29提问于2019-02-09得票数 1

3回答

在AWS Glue中使用纯python外部库时，HDFS中存在权限错误

python、apache-spark、amazon-s3、hdfs、aws-glue

我查看了CloudWatch日志，发现失败的原因是：at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2045) 我确保该库只包含亚马逊网络服务文档中说明的

浏览 5提问于2017-10-17得票数 2

1回答

AWS胶水和跨区域访问

amazon-web-services、aws-sdk、aws-glue、aws-glue-data-catalog

我有几个关于AWS Glue的问题，我希望有人能帮我回答。因此，方案是我们在us-east-1区域设置了一个AWS帐户，并使用AWS EMR和Glue作为配置单元元存储(通过emr配置)。这在过去一年左右一直运行得很好，没有任何问题，Glue Catalog有一堆DB和一堆表。现在，我们要做的是将整个项目迁移到另一个区域(相同的帐户，不同的区域，例如us-west-1)。问题是我没有看到美国-东部-1号胶水转移点的表格。现在来回答我的问题。 1.)AWS胶水目录是否特定于地区？也就是说

浏览 10提问于2019-03-17得票数 2

回答已采纳

1回答

将terraform配置文件移动到单独的目录中，将它们从计划中删除。

amazon-web-services、terraform

我在许多配置文件中定义了我的terraform基础结构，如下所示。vpc.tf vpc

浏览 5提问于2022-03-07得票数 0

回答已采纳

1回答

胶水HiveContext access胶DataCatalog

amazon-web-services、apache-spark、aws-glue、hivecontext

我可以从glueContext的胶水作业中读取在glue数据目录中定义的表。但是，如果我想使用hiveContext读取完全相同的表，则会收到一条错误消息，说明它找不到该表。在我看来，HiveContext无法访问胶水数据目录。您知道在胶水作业配置中插入什么(编辑作业->作业参数-> "--conf“)以确保HiveContext能够在胶水数据目录中找到和访问表吗？# create spark

浏览 12提问于2020-02-10得票数 0

1回答

使用glue数据目录中定义的外部表红移光谱

amazon-web-services、amazon-redshift、amazon-athena、aws-glue、amazon-redshift-spectrum

我在Glue data目录中定义了一个表，可以使用Athena进行查询。由于表中有一些我想要与其他Redshift表一起使用的数据，我可以访问Glue data目录中定义的表吗？引用Glue目录中的表定义的create external table查询将是什么？

浏览 4提问于2018-01-10得票数 7

1回答

创建AWS胶水作业需要爬虫吗？

amazon-web-services、pyspark、boto3、aws-glue、aws-lake-formation

我正在通过下面的页面：来学习“用Pyspark来学习Glue”。我的问题是:创建胶水作业需要爬虫&在湖中创建数据库吗？我的aws角色有一些问题，我没有被授权在LakeFormation中创建资源，所以我想我是否可以跳过它们，只创建一个胶水作业并测试我的脚本？例如，我只想对一个输入的.txt文件进行测试，我将它存储在S3中，我还需要爬虫吗？我是否可以使用boto3创建一个胶水作业来测试脚本并对数据进行预处理并将数据写回s3？

浏览 3提问于2021-02-07得票数 3

回答已采纳

2回答

具有多个条件的if语句

bash、if-statement、syntax

由于我在巴什方面缺乏知识，我来找你有一个琐碎的问题。我有一个41个文件夹的“应用程序”目录。在每个文件夹中，都有一个包含glue1.css文件的css子目录。我希望防止在执行时发生以下错误：考虑一下这个假设目录(缺少41个文件夹以保持简洁)： ad如果父目录路径不等于rm或ad/

浏览 2提问于2016-08-07得票数 2

回答已采纳

点击加载更多