我认为我遵循了正确的documentation来让pyspark编写avro文件。我正在运行Spark 2.4.4，我正在使用Jupyter lab来运行pyspark shell。os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages org.apache.spark:spark-avro_2.12:2.4.4 pyspark-
浏览 104提问于2019-10-16得票数 1
回答已采纳
4回答
我是个新手，我已经将pyspark库导入到pycharm中，并编写了以下代码：from pyspark.sql import SparkSession
path = "file_path"
df = spark.read.format("avro").loa
浏览 3提问于2019-12-05得票数 1
回答已采纳
我们使用以下方法读取Spark2.4 2.3中的avro文件，但这种支持在Spark2.4中已被删除：但是，在使用这种方法时，我们会得到以下异常：
Exceptio
浏览 4提问于2020-01-24得票数 2
回答已采纳
无法从星火流应用程序向Kafka主题发送avro格式消息。有关avro火花流示例代码的在线信息非常少。"to_avro“方法不需要avro，那么它将如何编码为avro？<dependency> <artifactId>spark-avro_2.12<&#
浏览 0提问于2019-12-26得票数 7
回答已采纳
我有一个带有Spark 2.4.4和python 2.7.16的EMR (emr-5.28.0)。如果我ssh到集群并像这样执行pyspark：
pyspark --jars /home/hadoop/jar/spark-redshift_2.11-2.0.1.jar,/home/hadoop/jar--packages org.apache.spark:spark-avro_2.1
浏览 4提问于2019-11-19得票数 0
回答已采纳
我正在尝试读取avro文件，该文件以二进制(Base64)编码，在avro文件上的snappy压缩Hadoop如下所示：binaryFilesRDD: org.apache.spark.rdd.RDD[Array[Byte]] = MapPartitionsRDD[1] at map at at org.ap
浏览 0提问于2019-10-14得票数 1
我有一个示例avro文件，并运行一个基本的spark应用程序来读取它： .builder \ .getOrCreate()
.format("org.apache.spark.sql.avro.AvroFileFormat") \.load("avr
浏览 1提问于2021-11-03得票数 1
我有一个行类型的RDD，即RDDRow和avro schema对象.I需要用这个信息创建一个数据帧。
为了创建DataFrame，我需要将avro schema对象转换为StructType。
浏览 5提问于2016-11-24得票数 8
2回答
在这里，我使用Pyspark编写了Kafka，并且我能够成功地将JSON文件写入s3接收器。*工作守则：* spark = SparkSession\我从互联网上找到了下面的解决方案，但是我的数据是TB的，转换到avro需要很长时间。df = spark.read.json("src/main/
浏览 21提问于2022-04-22得票数 0
1回答
我在用：我使用EMR集群(emr-5.28.0)运行pyspark，并使用：pyspark --packages org.apache.spark:spark-avro_2.11:2.4.4url = "jdbc:redshift://my.cluster:5439/my_db?from schema.tab
浏览 2提问于2019-11-20得票数 2
回答已采纳
我正在尝试从avro读取数据，按字段重新划分数据并将其保存为avro格式。下面是我的示例代码。在调试过程中，我不能在我的数据帧上显示(10)。它会失败，并显示以下错误。代码：
df.sh
浏览 40提问于2019-11-27得票数 0
我想在Jupyter笔记本上读一个Spark Avro文件。pyspark --packages org.apache.avro:avro-mapred:1.7.7,com.databricks:spark-avro_2.10:例如，如果我必须使用Spark-csv包，我就会这样做在终端中，它打开了一个jup
浏览 10提问于2017-02-07得票数 1
回答已采纳
我们使用的是Spark 2.4.3 (用户提供的Hadoop)，Scala 2.12，我们在运行时使用spark-shell加载Avro包： spark-shell --packages org.apache.spark:spark-avro_2.12:2.4.3 或者spark-submit： spark-submit --packages org.apache.spark:spark-a
浏览 107提问于2020-02-19得票数 0
回答已采纳
我有一些在我的PySpark数据帧中显示为NaN的值，我发现我可以将这些值转换为空值。然后，我通过将该值赋给其他值来调整这些空值。在执行此操作时，我发现它也将我的许多专栏中的0转换为NULL。cSchema = StructType([StructField("col", LongType())])test_df = spark.createDataFrame
浏览 2提问于2020-02-27得票数 0
1回答
如何切换到较旧的火花放电版本？
、、、、
我在我的Mac上安装了吡火花2.4.4。packages: pyspark Can't uninstall 'pyspark'.Successfully installed pyspark-2.3.2
虽然运行在上面的命令看起来像是安装了pyspark 2.3.2，但并没有覆盖现有的pyspark 2.4.4
浏览 1提问于2020-04-13得票数 5
from pyspark.sql.functions import splitspark = SparkSession.builder.appName("StructuredN
浏览 6提问于2020-04-16得票数 2
2回答
使用AWS glue developer endpoint Spark Version - 2.4 Python Version- 3尝试读取avro文件时出现以下错误信息：Failed to find data source: avro.Avr
浏览 0提问于2020-09-18得票数 2
在anaconda my-env中，因为我需要在那里安装开源RDkit，因此我再次安装了PySpark (而不是使用预先安装的)。现在，使用下面的代码，我在my-env中得到了错误，但在my-env之外没有得到错误 代码： from pyspark.sql.types import StructField, StructType,StringType, LongTypefrom py4j.protocol import Py4JJavaError
spark
浏览 40提问于2020-01-29得票数 1
1回答
火花版本: 2.3.0卡夫卡版本: 2.2.0
我有一个卡夫卡生产者，它以avro格式发送嵌套数据，我正在尝试用火花流/结构化流写代码，这将反序列化从kafka到dataframe的avro，做转换，把它以拼花格式写成我能够在spark/scala中找到avro转换器，但是还没有增加对pyspark的支持。如何在火花放电中转换相同的内容。谢谢。
浏览 3提问于2019-05-02得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
