尝试插入Glue(s3)表格时使用PySpark - Emr- NullpointerException
在使用PySpark插入Glue表格时遇到NullpointerException错误，这是由于空指针异常引起的。空指针异常通常发生在尝试访问或操作空对象时。
要解决这个问题，可以采取以下步骤：
- 检查代码逻辑：确保在插入Glue表格之前，所有必要的对象和变量都已经正确初始化和赋值。检查是否存在任何可能导致空指针异常的代码逻辑错误。
- 检查数据质量：确保要插入的数据不包含任何空值或缺失值。空值或缺失值可能导致空指针异常。可以使用PySpark的数据清洗功能或其他数据处理方法来处理空值或缺失值。
- 检查Glue表格定义：确保Glue表格的定义与要插入的数据的结构相匹配。如果表格定义与数据结构不匹配，可能会导致空指针异常。可以使用Glue控制台或Glue API来检查和更新表格定义。
- 检查权限和访问控制：确保当前使用的身份具有足够的权限来插入数据到Glue表格。如果权限不足，可能会导致空指针异常。可以使用IAM（身份和访问管理）来管理和控制访问权限。
- 检查网络连接：确保网络连接正常，可以访问Glue服务和S3存储。网络连接问题可能导致空指针异常。可以使用网络诊断工具来检查网络连接。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云EMR（弹性MapReduce）：提供了大数据处理和分析的云服务，支持使用PySpark等工具进行数据处理和计算。了解更多信息，请访问：腾讯云EMR产品介绍
- 腾讯云Glue：提供了数据集成、数据转换和数据管理的云服务，支持构建和管理数据湖。了解更多信息，请访问：腾讯云Glue产品介绍
- 腾讯云S3（简单存储服务）：提供了高可扩展性、高可靠性和低成本的对象存储服务，适用于存储和检索任意类型的数据。了解更多信息，请访问：腾讯云S3产品介绍
相关·内容
我是aws-glue的新手。我正在尝试读取csv并转换为json对象。正如我所看到的，方法是通过爬虫读取csv并转换为Pyspark DF，然后转换为json对象。到目前为止，我已经转换成了json对象。现在我需要将这些json写回s3存储桶中？ 下面是代码 #########################################
### IMPORT LIBRARIES AND SET VARIABLES
#########################################
#Import python modules
from datetime import d
浏览 18提问于2020-04-08得票数 1
回答已采纳
2回答
我想使用AWS胶水将一些csv数据转换为orc。
我创建的ETL作业生成了以下PySpark脚本：
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
args = getResolvedOptions(sys.argv, ['JOB_NAME&
浏览 0提问于2017-08-22得票数 7
我有一个存储.gz文件(json格式)的S3存储桶。每小时将有更多的文件发送到此存储桶。我想使用Glue增量地(每天)从S3存储桶中读取数据，将.gz转换为拼接，然后写回另一个S3存储桶。 我想我可以使用Glue书签来完成增量文件的读取/转换/写入。然而，我发现如果我读取spark dataframe中的.gz文件，书签就不起作用了。换句话说，我的下面的胶水作业不会以增量方式读取文件。它读取该存储桶中的所有文件。我确实在胶水作业中启用了Bookmark。 我错过了什么吗？是否需要通过glue动态数据帧而不是spark数据帧读取文件？ 我实际上不知道如何通过glue动态数据帧正确读取.gz文件
浏览 24提问于2020-12-30得票数 1
我计划使用Pyspark在AWS Glue ETL中编写某些作业，我希望在新文件被放置到AWS S3位置时触发该作业，就像我们使用S3事件触发AWS Lambda函数一样。 但是，我只看到非常有限的选项，以触发Glue ETL脚本。在这方面的任何帮助都将受到高度的感谢。
浏览 70提问于2019-08-26得票数 5
回答已采纳
我正在尝试从glue pyspark脚本中的s3存储桶中检索JSON文件。
我在aws glue中的作业中运行此函数：
def run(spark):
s3_bucket_path = 's3://bucket/data/file.gz'
df = spark.read.json(s3_bucket_path)
df.show()
在此之后，我得到: AnalysisException: u‘路径不存在: s3://bucket/data/file.gz;’
我搜索了这个问题，但没有找到任何足够相似的东西来推断问题在哪里。我认为访问存储桶可能存在权限问
浏览 0提问于2018-08-14得票数 0
我正在寻找重命名的输出文件写入s3使用aws胶水在pyspark。 如果在glue作业运行后有代码引用s3中的重命名文件，这将非常有帮助
浏览 51提问于2021-10-22得票数 0
1回答
python解决方案有很多问题可以解决这个问题，但在为Glue找到任何东西时都会遇到问题。我知道两者都利用了pyspark，但是当我尝试将基于python的解决方案改编到Scala时，我遇到了编译错误。我既想问这个问题，又想为其他有同样问题的人提供一个简单的参考。 基本上，我是这样生成输出的 val datasource0 = DynamicFrame(data, glueContext).withName("datasource0").withTransformationContext("datasource0")
val datasink2 = glueC
浏览 14提问于2021-04-24得票数 0
回答已采纳
我正在学习automate_model_retraining_workflow示例中的SageMaker示例，并在AWS SageMaker木星笔记本中运行该示例。我遵循了示例中给出的创建角色和策略的所有步骤。
但是，当我试图运行以下代码来创建Glue作业时，我遇到了一个错误：
glue_script_location = S3Uploader.upload(
local_path="./code/glue_etl.py",
desired_s3_uri="s3://{}/{}".format(bucket, project_name),
浏览 13提问于2021-08-11得票数 0
回答已采纳
我是第一次接触AWs glue。 我在glue数据帧到pyspark数据帧的转换中遇到了问题： 下面是我为读取csv文件glue_cityMapDB="csvDb“glue_cityMapTbl="csv表而创建的crawler配置” datasource2 = glue_context.create_dynamic_frame.from_catalog(database = glue_cityMapDB, table_name = glue_cityMapTbl, transformation_ctx = "datasource2")
datasource
浏览 8提问于2020-04-24得票数 2
回答已采纳
我在S3中有一些文件，看起来像这样(都在相同的路径中)： group1_20210415.csv
group2_20210415.csv
group1_20210416.csv
group2_20210416.csv 每个文件的模式都相当简单： group1_name, group1_id
group2_name, group2_id 我希望能够使用雅典娜从S3查询这些名称和I，并在出现新文件时使用AWS Glue爬行该S3位置。 具体地说，我希望在Athena中有一个带有模式的表： group1_name, group1_id, group2_name, group2_id, hit_da
浏览 40提问于2021-04-17得票数 0
我可以从glueContext的胶水作业中读取在glue数据目录中定义的表。但是，如果我想使用hiveContext读取完全相同的表，则会收到一条错误消息，说明它找不到该表。
在我看来，HiveContext无法访问胶水数据目录。
您知道在胶水作业配置中插入什么(编辑作业->作业参数-> "--conf“)以确保HiveContext能够在胶水数据目录中找到和访问表吗？
我想执行以下代码：
# import libs
from pyspark.context import SparkContext
from pyspark.sql.functions imp
浏览 12提问于2020-02-10得票数 0
我在PySpark中读取AWS Glue作业的数据时遇到问题：
数据从AWS消防软管(示例数据)发送到s3桶，存储为JSON，并使用snappy进行压缩。
我能够用spark.read.json()从遗留的spark.read.json读取数据，但是使用from_catalog或from_options方法无法使用Glue动态框架(模式根本没有解析)：
火花遗物DataFrame
# import from legacy spark read
spark_df = spark.read.json("s3://my-bucket/sample-json-hadoop-snappy/
浏览 1提问于2020-06-11得票数 4
回答已采纳
我每天都将CSV文件存储在亚马逊网络服务s3中。下面是我的S3文件路径结构：
s3://data-dl/abc/d=2019-09-19/2019-09-19-data.csv
在此结构中，将每天生成s3文件路径的日期部分。
现在我想使用AWS glue for ETL将数据从S3传输到Redshift。要使用它，我如何在数据目录中添加S3路径？我只想同步最近使用的文件夹CSV文件。
另外，对于Job part，我如何在Glue Pyspark脚本中声明此动态路径？
浏览 1提问于2019-09-19得票数 0
阅读AWS Glue Python ETL文档时，我不知道在使用以下DynamicFrameReder类并从s3读取json文件时是否有方法提供显式模式：
create_dynamic_frame_from_options()
另外，书签是否需要使用上面指定的DynamicFrameReader类？
我这样问的原因是，我总是可以使用普通的PySpark来阅读，并以这种方式传入模式，但我不能完全确定书签在不使用Glue函数的情况下是否有效。
浏览 0提问于2019-06-05得票数 1
根据AWS Glue文档，当连接类型为s3时，我们可以使用exlusions排除文件 https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-etl-connect.html "exclusions"：(可选)包含要排除的Unix样式全局模式的JSON列表的字符串。例如，"\"**.pdf\"“排除所有PDF文件。有关AWS Glue支持的glob语法的更多信息，请参阅包括和排除模式。 我的s3存储桶喜欢下面的内容，并且我想排除test1文件夹。 /mykkkkkk-test
浏览 14提问于2020-03-23得票数 1
我正在使用AWS EMR笔记本中的pyspark，并希望在保存表时覆盖单个分区。通常可以用以下命令来实现
df.write.mode('overwrite')\
.option("partitionOverwriteMode", "dynamic")\
.insertInto('table')
但是，这在写入S3时不起作用。有没有办法只覆盖S3分区和spark元数据中的文件？
注意:我使用Glue作为spark元数据
浏览 1提问于2021-06-12得票数 0
1回答
我使用aws glue来转换dynamodb表中的数据。我能够获取数据并使用pyspark逻辑进行转换。但是当我尝试将文件写入json格式时，我得到了一个无效的json格式.。在转换这个json文件时需要帮助。
代码：
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from pyspark import
浏览 10提问于2020-05-19得票数 0
1回答
我有一个AWS Glue作业，它用pyspark语言将数据从S3/Glue目录数据库加载到雪花。如何实现将表名作为参数传递并并行运行aws胶水作业。
我们能在胶水作业或任何lambda函数中完成吗？
请建议并分享任何代码/文章。
提前谢谢你。
谢谢你，乔
浏览 3提问于2020-06-02得票数 0
在部署之前，我正在EMR笔记本中测试一些pyspark代码，并且在使用Spark SQL时总是遇到这个奇怪的错误。我将我所有的表和元数据都集成到了AWS Glue目录中，这样我就可以通过spark对它们进行读写。 代码的第一部分从S3/Glue读取一些数据，进行一些转换，然后将结果数据帧写入S3/Glue，如下所示： df.repartition('datekey','coeff')\
.write\
.format('parquet')\
.partitionBy('datekey','coef
浏览 26提问于2021-05-11得票数 1
我将面对Access Denied for Multipart Upload到SSE-KMS加密桶。
代码正在运行Glue (可能来自其他服务，无法验证)。我尝试了一组不同的权限，甚至是完全访问，没有效果。
KMS的访问被正确地授予(kms:Decrypt、kms:Encrypt和kms:GenerateDataKey*)，它对Spark上的Glue和Glue PyShell作业都出现了有效的问题，并且不影响小文件。对于Glue PySpark作业，只有当Glue security configuration被设置(键相同)<code>H 115</code>用于PyS
浏览 11提问于2022-05-18得票数 2
我希望使用glue将关系数据库中的多个表摄取到s3中。表的详细信息显示在配置文件中。配置文件是一个json文件。如果有一段代码可以遍历多个表名并将这些表摄取到s3中，这会很有帮助。glue脚本是用python (pyspark)编写的 下面是配置文件的示例： {"main_key":{
"source_type": "rdbms",
"source_schema": "DATABASE",
"source_table": "DATABASE.Tabl
浏览 39提问于2021-10-29得票数 0
我是AWS和snowflake的新手。我希望从S3加载csv文件到各自的雪花表(大约100个表)使用亚马逊网络服务胶水。我可以使用下面的文章将数据加载到一个雪花表中
是否可以使用1个aws glue来加载表格列表？
AWS Glue内部-我们可以编写逻辑来基于csv文件在snowflake中更新或插入数据吗？
请建议并分享任何示例代码/solutions，如果有。
谢谢，乔
浏览 0提问于2020-04-10得票数 0
我试着做以下几件事。
通过jdbc从数据库中读取数据。在pyspark中，我能够使用以下语法进行操作。
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
from datetime import datetime
## @params: [JOB_NAM
浏览 2提问于2017-12-20得票数 1
回答已采纳
我正在使用AWS Glue作业在s3中以拼图格式备份dynamodb表，以便能够在雅典娜中使用它。 如果我想使用这些拼图格式的s3文件来恢复dynamodb中的表，这就是我的想法-读取每个拼图文件并将其转换为json，然后将json格式的数据插入到dynamodb中(使用下面几行中的pyspark ) # set sql context
parquetFile = sqlContext.read.parquet(input_file)
parquetFile.write.json(output_path) 使用- https://github.com/Alonreznik/dynamodb-
浏览 19提问于2019-12-29得票数 1
回答已采纳
我有一个ETL脚本，它打算使用Relationalize扁平化一组400万个JSON文件。这个脚本在300个文件的测试集上运行得很好，但是当在400万个文件的S3存储桶上运行时，它只生成1500~个输出文件，每个文件包含一条记录的数据。
我尝试了这个脚本的几种不同配置，但它们都产生了相同的结果：
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context
浏览 4提问于2020-02-07得票数 0
回答已采纳
我正在创建一个数据管道来读取S3中的NetCDF数据，并计划将Amazon Glue for ETL与自定义PySpark一起使用。 有没有什么特别的pyspark库可以用来支持对存储在S3中的数据进行netCDF操作。 参考数据集如下所示： https://aws.amazon.com/blogs/publicsector/accessing-noaas-goes-r-series-satellite-weather-imagery-data-on-aws/?fbclid=IwAR3K_TS89Yolra5IKltINsI8NcPf8dk9FgF2X_iRBNVBIBQxqAZOXPi8j
浏览 32提问于2019-02-05得票数 0
我在PySpark中使用了AWS作业从超过10 TB的s3拼板文件中读取数据，但是作业在执行Spark查询时失败了。
java.io.IOException: No space left on the device
通过分析，我发现AWS G1.x有4 vCPU，16 GB内存，64 GB磁盘。所以我们试图增加工人的数量。
即使在将Glue员工(G1.X)的数量增加到50人之后，Glue Jobs仍然会继续失败，同样的错误也是如此。
是否有方法将星火本地临时目录配置为s3而不是本地文件系统？或者我们可以在胶水工人上安装EBS音量。
我曾尝试在Spark会话构建器中配置该属性，但仍然使用本地tm
浏览 1提问于2020-12-28得票数 10
这是一个从AWS Glue与PySpark在S3中生成的输出拼图文件，我们希望给出一个特定的名称，如abcd.parquet，而不是自动生成的字符。任何帮助都是最好的。谢谢！Image
浏览 17提问于2021-09-02得票数 0
回答已采纳
我们一直在探索如何使用Glue将一些JSON数据转换为parquet。我们尝试过的一种情况是在拼花表中添加一列。所以分区1有A列，分区2有A，B列，然后我们想编写进一步的Glue ETL作业来聚合parquet表，但是新列不可用。使用glue_context.create_dynamic_frame.from_catalog加载动态框架，我们的新列从未出现在模式中。
我们为我们的爬行器尝试了几种配置。对所有分区使用单一架构，对s3路径使用单个架构，对每个分区使用架构。我们总是可以在Glue表数据中看到新列，但是如果我们使用pyspark从Glue作业中查询它，那么它总是空的。当我们下载一些样本
浏览 4提问于2019-04-09得票数 8
我有一个用Python编写的AWS Glue作业，它引入了火花xml库(通过依赖的jars路径)。我使用的是火花-xml_2.11-0.0.jar。当我试图将我的DataFrame输出到XML时，我会得到一个错误。我使用的代码是：
applymapping1.toDF().repartition(1).write.format("com.databricks.xml").save("s3://glue.xml.output/Test.xml");
我得到的错误是：
"/mnt/yarn/usercache/root/appcache/applicati
浏览 0提问于2018-02-06得票数 4
1回答
使用Spark时，我可以在前缀中使用*从多个存储桶中读取数据。例如，我的文件夹结构如下： s3://bucket/folder/computation_date=2020-11-01/
s3://bucket/folder/computation_date=2020-11-02/
s3://bucket/folder/computation_date=2020-11-03/
etc. 使用PySpark，如果我想读取11个月的所有数据，我可以这样做： input_bucket = [MY-BUCKET]
input_prefix = [MY-FOLDER/computation_date=2
浏览 20提问于2020-12-01得票数 0
回答已采纳
1回答
简介
我已经配置了一个带有Glue ETL PySpark环境的对接器，这要归功于。我用了"hellowrold.py"：
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
glueContext = GlueContext(Spark
浏览 8提问于2021-04-29得票数 0
回答已采纳
我正在尝试使用AWS Glue将一个20 to的JSON gzip文件转换为parquet。
我已经在下面的代码中使用Pyspark设置了一个作业。
我收到了这条日志警告消息：
LOG.WARN: Loading one large unsplittable file s3://aws-glue-data.json.gz with only one partition, because the file is compressed by unsplittable compression codec.
我想知道是否有办法分割/块文件？我知道我可以用熊猫来做这件事，但不幸的是，这花费了太多的时间(
浏览 8提问于2022-01-21得票数 0
回答已采纳
1回答
我有一个Glue作业，它将CSV从S3加载到一个红移表中。有1列(updated_date)没有映射。该列的默认值在UTC中设置为current_timestamp。但是每次Glue作业运行时，这个updated_date列都是空的。
我尝试从Glue元数据表中删除updated_dt。我尝试在Glue脚本中从updated_dt ()中删除SelectFields.apply。
当我在Redshift中不使用updated_dt列执行普通insert语句时，将为这些行插入默认的current_timestamp()值。
谢谢
浏览 1提问于2021-03-25得票数 0
我正在尝试向我的代码添加一些错误处理。我在aws glue作业中运行pyspark代码。我想做的是在出现错误时创建一个文本文件，然后将一条短消息和错误输出到文本文件中。我有一个我在下面尝试过的例子。当我运行try/except代码时，它返回一个错误，指出没有这样的文件或目录。我想出的解决办法是创建一个动态框架，并向其中添加一个列，其中包含字符串形式的错误消息。我想有一种更简单的方法可以做到这一点。有没有人知道更好的方法，将错误消息写到文本文件中，作为glue pyspark中try/except块的一部分？
已尝试的代码示例：
for i in [1,0,3]:
try:
浏览 9提问于2019-11-10得票数 0
我正在尝试编写一个粘合(PySpark)作业，执行一些ETL，并最终将数据写入SQL Server中的一个表(在AWS Glue Catalog中定义)。在将记录写入SQL Server表时，可能有一些约束(例如:主键、外键、列类型)阻止某些记录(即“坏”记录)被写入到表中。发生这种情况时，Glue作业会抛出一个错误，并且作业会失败。有没有一种方法可以防止整个作业失败？相反，是否可以只写入“好”记录，并将违反SQL Server的“坏”记录返回到Glue作业(以便可以将它们上载到S3)？ 我使用write_dynamic_frame_from_catalog函数将数据写入SQL Server
浏览 9提问于2019-04-10得票数 0
我在用
AWS DMS从Oracle中提取数据
它降落到S3原木桶里
使用AWS Glue，我想编写pyspark代码，而不使用databricks产品将CDC数据与初始加载合并。
为了创建Delta表，我需要在spark上下文中专门导入哪些库？
我在“安全配置、脚本库和作业参数(可选)”下将delta-core_2.12-0.7.0.jar添加到依赖于Glue的路径中，在错误下面得到错误
文件“Script2020-11-08-19-29.39.py”，第54行，在spark.read.parquet('s3://rawbucket/.../fullload/..
浏览 3提问于2020-11-08得票数 0
1回答
我试图在Glue中编写pyspark代码，通过在同一个调用中添加新的分区和覆盖现有的分区来更新Glue目录。
我读到，Glue中没有覆盖分区的方法，所以我们必须使用类似于以下内容的pyspark代码：
final_df.withColumn('year', date_format('date', 'yyyy'))\
.withColumn('month', date_format('date', 'MM'))\
.withColumn('day
浏览 4提问于2022-01-26得票数 1
1回答
每次我尝试运行一些非常简单的作业(在s3上导入json到Redshift)时，我都会得到以下错误：
s3://my-temp-glue-dir/f316d46f-eaf3-497a-927b-47ff04462e4a;‘：U’‘Path不存在:pyspark.sql.utils.AnalysisException
这不是权限问题，因为我有一些其他(更复杂的作业与联接)可靠地工作。真的不确定这个问题会是什么--任何帮助都会被感激。
我正在使用两个DPU，但已经尝试了5，我也尝试使用一个不同的临时目录。此外，有数百个文件，其中一些文件非常小(几行)，但我不确定这是否相关。
浏览 0提问于2018-02-02得票数 4
当从GLueContext动态框架访问空红移表时，我面临问题。该表在Glue Catalog中可见。但是，当我尝试从Glue ETL访问它时，它在下面提到的代码行上抛出了错误：
glueContext.create_dynamic_frame.from_catalog(
database=<redshift_database>,
table_name=<table_name>,
redshift_tmp_dir=<redshift_temp>,
transformation_ctx=<transformation_ctx
浏览 1提问于2020-05-04得票数 0
1回答
我有多个Glue作业J1，J2，J3，它们是通过AWS触发的，Lambda是通过S3桶上的文件触发的。
顺序如下：
S3(Bucket B1)-添加的文件-> L1(Lambda触发的)->J1(Glue Jobs)-->插入数据T1表( RedSfhift)
S3(Bucket B2)-添加的文件-> L2(Lambda触发的)->J2(Glue Jobs)-->插入数据T2表( RedSfhift)
S3(Bucket B3)-添加的文件-> L3(Lambda触发的)->J3(Glue Jobs)-->插入数据T3表( RedSfh
浏览 1提问于2019-12-24得票数 0
回答已采纳
1回答
如何确保S3事件的保证交付？
、、、、
TL;dr -如何确保由Lambda和Glue共同确定保证交付的S3事件的交付？
我对AWS完全陌生。我正在尝试实现一个数据处理作业，它处理新添加到S3的数据。我正在运行一个Glue PySpark作业来处理新添加到S3中的数据。
下面是我创建的当前数据流：
S3 Event > Lambda > Glue job
S3事件被发送到lambda函数，lambda函数启动胶水作业并从事件中传递桶详细信息。胶水作业处理来自桶和对象键的新数据。
但是，我正在努力使我的系统具有弹性，并且上面的数据流存在一些问题。
如果lambda不可用，S3事件将丢失。
如果胶水作业因意外原因失败
浏览 8提问于2022-01-17得票数 0
我在亚马逊上读了一篇关于展平json文件并上传到redshift中的文章。
我的计划是转换json文件并将其上传到s3中，然后再次将该文件爬入到数据目录的aws-glue中，然后在amazon redshift中将数据作为表上传。
现在，“示例3: Python代码转换嵌套的JSON并将其输出到ORC”中的代码问题显示了一些错误：
NameError:未定义名称“spark”
不是我迷路了，因为我是aws-glue的新手，我需要在redshift中上传json (它们是嵌套数组)。
下面是我的代码：
import sys
from awsglue.transforms import *
fr
浏览 2提问于2018-05-24得票数 0
1回答
我在AWS csv中有数据，要求从表中抓取数据到MySQL文件并将其放入S3中。为了实现这一点，我使用AWS glue，代码如下所示。作业运行时没有错误，输出不会显示在S3存储桶中。请帮帮忙。
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job
浏览 0提问于2020-01-25得票数 0
我正在尝试加载拼花的文件，在S3到红移使用胶水作业。当我第一次运行Glue Job时，它正在创建表和加载数据，但当第二次通过更改1列的数据类型运行时，作业并没有失败，而是在Redshift中创建了新列并附加了数据。
例如:在这里，我更改了整型数字的数据类型
FileName **abc**
Code,Name,Amount
'A','XYZ',200.00
FileName **xyz**
Code,Name,Amount
'A','XYZ',200.00
在Redshift中
Output after processing b
浏览 3提问于2020-03-02得票数 2
我正在尝试在本地运行我的pyspark脚本的单元测试，这样我就可以将它集成到我们的CI中。
$ pyspark
...
>>> import pandas as pd
>>> df = pd.DataFrame([(1,2,3), (4,5,6)])
>>> df
0 1 2
0 1 2 3
1 4 5 6
根据，我应该能够使用以下方法进行转换：
from awsglue.dynamicframe import DynamicFrame
dynamic_frame = DynamicFrame.fromDF(dataf
浏览 0提问于2018-12-01得票数 1
这是我在AWS GLUE的pyspark工作中得到的结果
{a:1,b:7}
{a:1,b:9}
{a:1,b:3}
但是我需要在s3上编写这些数据，并将其以JSON数组格式发送给一个应用程序接口
[
{a:1,b:2},
{a:1,b:7},
{a:1,b:9},
{a:1,b:3}
]
我尝试将输出转换为DataFrame，然后应用toJSON() results = mapped_dyF.toDF() jsonResults = results.toJSON().collect()
但是现在无法用'write_dynamic_frame.from_options&#
浏览 18提问于2019-07-28得票数 1
1回答
我目前正在使用一些glue作业进行最少的转换，并将信息从S3/Athena表发送到Redshift，现在我们不处理大量数据，因此glue对于这些数据量来说是昂贵的，缓慢的，并且很难调优。我找不到如何在EC2中开始进行代码迁移、凭据和依赖项。
也许我可以在我的EC2实例中调用一个lambda来处理它？我可以在一个节点上运行spark，然后在将来扩展到一个集群吗？我应该将Glue Job迁移到python (而不是pyspark)吗？
我发现EMR对于这一卷也是昂贵的，理想的是从最小开始不需要完整的解决方案，只要指出正确的方向，我就可以开始尝试了。谢谢!
浏览 0提问于2020-01-30得票数 0
使用Spark (或PySpark)找到通过AWS Glue数据目录存储的数据的完整路径(S3密钥)的最佳方法是什么？
例如，如果我以如下方式保存数据：
my_spark_dataframe \
.write.mode("overwrite") '
.format("parquet") \
.saveAsTable("database_name.table_name")
浏览 0提问于2021-07-02得票数 0
我试图在Glue目录中创建一个包含s3路径位置的表，这个位置是在EMR中使用hive运行的火花路径。我尝试了以下命令，但得到了错误：
pyspark.sql.utils.AnalysisException: u'java.lang.IllegalArgumentException:无法从空字符串创建路径；‘
sparksession.sql("CREATE TABLE IF NOT EXISTS abc LOCATION 's3://my-bucket/test/' as (SELECT * from my_table)")
sparksession
浏览 4提问于2020-10-21得票数 6
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
