AWS glue spark提交使用Spark avro
AWS glue spark提交使用Spark avro
提问于 2020-07-14 23:48:09
如何指定/传递包参数到AWS glue spark作业？
我正在使用支持Spark 2.4.3的Glue version 1，并想使用Spark avro来读取一些avro文件
回答 1
Stack Overflow用户
回答已采纳
发布于 2020-07-15 13:45:22
您不能为glue作业提供包选项，而是从maven资源库下载相关的jar。
然后将这些jars放在s3中，并将它们作为额外的jars传递给您的作业。这样，您就可以在作业中访问这些jars。
对于spark2.4.3，您需要传递此jar
https://repo1.maven.org/maven2/org/apache/spark/spark-avro_2.12/2.4.3/spark-avro_2.12-2.4.3.jar
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/62898984
复制相关文章
相似问题
腾讯云开发者
