在Spark 2.4中从spark-shell写入AVRO

文章/答案/技术大牛

发布

3回答

将数据帧另存为AVRO Spark 2.4.0

python、apache-spark、pyspark、avro

从Spark 2.4.0开始，可以在没有外部jars的情况下保存为AVRO。然而，我根本不能让它工作。: 'Failed to find data source: avro.Avro is built-in but external data source module since Spark 2.4.我查看了Apache Avro Data Source Guide ()，它给出了以下示例： df=spark.read.f

浏览 10提问于2018-11-27得票数 1

2回答

如何读取Scala中的Avro二进制(Base64)编码数据

scala、apache-spark、binary、decoder、spark-avro

我正在尝试读取avro文件，该文件以二进制(Base64)编码，在avro文件上的snappy压缩Hadoop如下所示：binaryFilesRDD: org.apache.spark.rdd.RDD[Array[Byte]] = MapPartitionsRDD[1] at map at def getGenericRecordfrom

浏览 0提问于2019-10-14得票数 1

3回答

如何查询avro格式的数据集？

apache-spark、apache-spark-sql、spark-avro

`file-path'")val sqlDF = spark.sql("SELECT DISTINCT Source_Product_Classification FROM avro.org.apache.spark.sql.AnalysisException: Failed to find data source: <

浏览 22提问于2017-09-26得票数 6

回答已采纳

3回答

星星之火:在没有com.databricks.spark.avro的情况下读取avro文件

apache-spark

我想在spark中读取avro文件，但不幸的是，我的公司中的集群没有com.databricks.spark.avro。所以我试着这就产生了未解决的依赖关系。也试过这不会打开外壳。spark

浏览 1提问于2018-03-28得票数 3

回答已采纳

1回答

如何使用pyspark读取avro文件

apache-spark、pyspark、spark-avro

我正试图在jupyter笔记本中阅读avro文件，但面临着这个问题。Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.avro.AvroFileFormat.DefaultSourcefrom pyspark.sql import SparkSession <e

浏览 2提问于2020-04-23得票数 1

回答已采纳

2回答

Spark读取Avro文件

scala、apache-spark、avro、spark-avro

我使用的是com.databricks.spark.avro。当我在spark-shell中运行它时，就像这样：spark-shell --jar spark-avro_2.11-4.0.0.jar，我可以通过这样的方式读取文件：java.lang.ClassNotFoundException: Fai

浏览 117提问于2018-12-11得票数 1

回答已采纳

4回答

Spark Avro在文件写入时抛出异常: NoSuchMethodError

scala、apache-spark、avro、spark-avro

任何Avro格式的文件写入尝试都会失败，并显示以下堆栈跟踪。我们使用的是Spark 2.4.3 (用户提供的Hadoop)，Scala 2.12，我们在运行时使用spark-shell加载Avro包： spark-shell --packages org.apache.spark在这两种情况下，当我们尝试将任何数据写入avro格式时，例如： df.write.format("avro").save

浏览 107提问于2020-02-19得票数 0

回答已采纳

1回答

scala、apache-spark、apache-spark-sql、avro

Spark 2.4.0 on Java 1.8.0_161 (Scala2.11.12) 运行命令：spark-shell --jars=spark-avro_2.11-2.4.0.jar 目前正在使用小的avro文件处理一些POC，我希望能够读入(单个) AVRO文件，进行更改，然后将其写回。阅读很好：val myAv = spark.read.format("avro").load("myAvFile.avro

浏览 108提问于2019-05-01得票数 0

1回答

无法读取带有Spark的DataProc spark中的avro -avro

pyspark、google-cloud-dataproc、spark-avro

我在谷歌DataProc上有一个集群(图1.4)，我想用Spark从谷歌云存储中读取avro文件。我遵循这个指南：Spark read avro。='org.apache.spark:spark-avro_2.12:2.4.1' test.py非常简单，只是 from pyspark.sql import SparkSession from pyspark.sql$init$(Lorg/apache&#

浏览 25提问于2019-04-17得票数 3

回答已采纳

3回答

如何使用火花-阿夫罗软件包从火花外壳读取阿夫罗文件？

apache-spark、apache-spark-sql、avro、spark-avro

我正在尝试使用spark-avro包，如中所描述的。当我提交以下命令时：我收到一个错误： java.util.ServiceConfigurationError: org.apache.spark.sql.sources.DataSourceRegister: Provider org.apache.spark.

浏览 0提问于2019-04-26得票数 9

回答已采纳

1回答

Park2.3.0火花壳抛出错误的Apache示例

apache-spark、avro、spark-avro、spark-shell、apache-hudi

spark-shell \--conf 'spark.serializer=org.apache.spark.serializer.KryoSerializer' 当我

浏览 0提问于2020-12-27得票数 0

回答已采纳

1回答

将avro* jars复制到docker jars目录中*

docker、apache-spark、copy-paste、avro、spark-avro

我正在学习火花，我想使用一个avro数据文件，因为avro是外部火花。我下载了这个罐子。但我的问题是如何把它复制到那个特定的地方“罐子”到我的容器里？ ./bin/spark-shell --packages org.apache.spark:spark-avro_2.XX:X.X.X ...我试过的是 docker cp /U

浏览 3提问于2020-04-17得票数 0

回答已采纳

3回答

用火花把阿夫罗读入火花-阿夫罗

apache-spark、avro、apache-spark-sql

以下是我所采取的步骤：执行在git自述文件中给出的命令：进口com.databricks.spark.avro._ org.apache.spark.sql.SQLContext val sqlContext =新SQLContext(sc) val剧集=sqlContext.avroFile(&q

浏览 10提问于2015-08-07得票数 4

回答已采纳

1回答

预览图像的星火版本改变了吗？

google-cloud-platform、google-cloud-dataproc

最近，我使用“预览”图像在上启动了一个Spark集群。根据文档，预览映像的Spark版本是'2.1.0'，但是运行spark-shell --version显示集群实际上运行的是Spark2.2.0。这对我们来说是个问题，因为我们的spark-avro版本与Spark2.2.0不兼容。还有其他人经历过这个问题吗？我还没有找到任何从谷歌官方宣布的版本凸起的痕迹。

浏览 3提问于2017-07-18得票数 0

回答已采纳

2回答

在火花壳中使用avro时的NoClassDefFoundError

apache-spark、spark-dataframe、spark-avro

我一直在当对一个show()对象调用DataFrame时。我可以看到，shell在创建DataFrame对象时识别模式，但是如果我对数据执行任何操作，它总是在尝试实例化NoClassDefFoundError时抛出AvroWrapper。我尝试将avro-mapred-1.8.0.jar添加到集群的$HDFS_USER&#x

浏览 1提问于2016-06-10得票数 1

回答已采纳

1回答

如何使用schema将dataframe转换为avro？

apache-spark、apache-spark-sql、avro、spark-avro

如何使用用户指定的模式将dataframe转换为Avro格式？

浏览 0提问于2017-10-18得票数 0

2回答

什么版本的avro和地板格式支持火花？

apache-spark、avro、parquet

Spark2.0支持avro和parquet文件吗？什么版本？我下载了spark-avro_2.10-0.1.jar并在加载过程中得到了这个错误：Message: org.apache.spark.sql.sources.TableScan

浏览 8提问于2017-06-07得票数 0

回答已采纳

1回答

使用pyspark从apache kafka反序列化avro时的空列

apache-spark、pyspark、apache-kafka、avro、confluent-schema-registry

我正在用Kafka，Spark和jupyter笔记本做概念验证，我遇到了一个奇怪的问题。我正在尝试读取Avro记录，从kafka到pyspark。我使用confluent模式注册表来获取模式来反序列化avro消息。在对spark dataframe中的avro消息进行反序列化后，结果列为空，没有任何错误。我也试过在Scala的spark-shell上做这个(没有jupyter)，我已经尝试了一个基于docker的spark以及一个独立

浏览 1提问于2019-06-25得票数 0

1回答

spark如何从Hive读取和写入数据？

apache-spark、hive

val spark = SparkSession .appName("Spark Hive Example") .enableHiveSupport()当我使用spark-shell执行spark-sql从Hive查询表时，<em

浏览 1提问于2017-11-10得票数 1

2回答

Spark Shell使用spark-defaults.conf将多个驱动程序/Jars添加到类路径中

scala、apache-spark、properties、classpath

我们正在使用Spark-Shell REPL模式来测试各种用例，并连接到多个源/宿spark.driver.extraClassPath = /home/sandeep/mysql-connector-java-5.1.36.jar spark.executor.extraClassPath

浏览 0提问于2019-09-10得票数 0

点击加载更多

将数据帧另存为AVRO Spark 2.4.0

如何读取Scala中的Avro二进制(Base64)编码数据

如何查询avro格式的数据集？

星星之火:在没有com.databricks.spark.avro的情况下读取avro文件

如何使用pyspark读取avro文件

Spark读取Avro文件

Spark Avro在文件写入时抛出异常: NoSuchMethodError