1回答
我正在尝试使用spark_apply将R函数应用于Spark DataFrame。在我最初的问题中，我有一个列表列表，我已经将其转换为R数据帧，我将能够将其转换为Spark DataFrame。但是在我的R函数中，我需要使用一个列表列表，而我不知道如何从数据帧中取回我的初始列表列表</
浏览 10提问于2019-07-05得票数 2
回答已采纳
from pyspark import SparkContext, SparkConf, sql
text_file = sc.textFile('/FileStore/tables/data.txt').show()
浏览 13提问于2021-04-05得票数 0
2回答
在Spark中创建数据帧列表是否可取？方法读取x个文件以从中创建x个数据帧。这些数据帧被推送到列表中。此方法从驱动程序调用，并返回通过在列表中联接数据集而创建的单个数据框。
我搞不懂这个列表将在哪里形成，是在
浏览 11提问于2019-07-13得票数 1
我想将Spark上下文中的数据帧发送到我的客户端应用程序。目前，我只是将数据帧转换为内存中的列表，并通过ZMQ将该列表发送给客户端。有什么方法可以提高这个过程的速度吗？或者我应该尝试其他方式将数据从Spark传递到其他应用程序？提前谢谢。
浏览 7提问于2016-09-13得票数 2
回答已采纳
所以我想从一个目录中读取csv文件，作为pyspark dataframe，然后将它们附加到单个dataframe中。而不是像我们在熊猫身上做的那样，在pyspark中得到替代方案。例如，在熊猫中，我们这样做： dff=pd.read_csv(f,delimiter=',')在Pysp
浏览 5提问于2017-04-10得票数 11
1回答
还要解释两个join语句要实现的目标。empColumns = ["emp_id"，"name"，"superior_emp_id"，"year_joined"，\模式= spark.createDataFrame”，10)，\
(&
浏览 2提问于2021-10-28得票数 0
如何在Spark Structured Streaming中读取Kafka和查询外部存储，如Cassandra？我从Kafka获得消息流，我想对它应用Map操作，对于每个键，我想查询像Cassandra这样的数据存储，并获得该键的更多信息，并在流上应用进一步的操作。我如何使用Spark Structured Streaming 2.2.0来做到这一点？
浏览 2提问于2017-09-07得票数 1
我选择了不同的文件(.csv .json .txt ...)这就是我的工作，但是当我把这个函数和一个按钮关联起来的时候，结果就会显示在GUI中:这个函数在终端上执行，而GUI不显示。代码如下： def classifyCSV(): .appName("SparkByExamples.com") \.getOrCreate()
df = spark.read.csv("
浏览 15提问于2021-08-21得票数 0
我有一个10000*1的Python列表，我想把它添加到一个Spark DataFrame中，这样DataFrame就有10000行了。我该怎么做？
浏览 6提问于2017-03-01得票数 2
我有Spark SQL查询，通过几个小的拼图文件(大约2M)。 我有Spark块大小为256M，所以我想将这些小文件组合成一个(或更多)大小为256M的文件。我正在考虑的是找到数据帧大小并将其除以256M，这样我就知道有多少文件将是他们的，但不幸的是Spark不支持查找数据帧大小，因为它是分布式的。我正在考虑将数据帧转换为<em
浏览 15提问于2019-06-19得票数 0
回答已采纳
1回答
目前我正在开发Spark版本2.1.0，作为我的数据摄取工作的一部分，我必须使用ingest方法将数据摄取到hive表中。但是Spark 2.1版本有一个bug，当插入数据到hive表中时，insertinto方法不会保持列顺序。我已经尝试在append模式下使用saveAsTable方法，但它不会起作用，因为在数据摄取之前，我首先使用正确的数据类型手动创建表。我尝试从现有的hiv
浏览 15提问于2019-02-26得票数 0
a)与传统的java JDBC调用相比，Spark有没有一种方法可以优化从关系数据库获取数据。b)如何在运行Spark查询时减少数据库的负载，因为我们将为所有查询直接命中生产数据库。假设Spark报告案例的生产中有3000万条订单记录和1.5亿条订单行记录。
浏览 2提问于2015-08-18得票数 2
我正在尝试为一个模型创建一个生产数据管道。作为此管道的一部分，我以.rds文件的形式保存了一个在R环境中运行的模型。save the model coefficients现在，我想以某种方式将这些coefficients加载到Scala程序中作为Spark Dataframe，它可能看起来像这样-
val loadCoefficients = # som
浏览 11提问于2018-07-31得票数 2
1回答
如何更改数据框列列表的列类型
、、、、
我正在尝试更改Spark 1.6.0中Dataframe的列列表的类型。然而，到目前为止发现的所有示例都只允许对数据帧中的单个列(df.withColumn)或所有列进行转换：
val castedDF = filteredDf.columns.foldLeft(filteredDf)((filteredDf, c) => filteredDf.withColumn(c, col(c).cast("S
浏览 12提问于2017-12-14得票数 0
我正在尝试检查spark dataframe (具有列表的列)中的哪些条目包含来自给定列表的最大数量的值。我想出的最好的方法是使用rdd.foreach()遍历数据帧，并使用python的set1.intersection(set2)将给定的列表与每个条目进行比较。我的问题是，spark有没有
浏览 19提问于2018-02-01得票数 2
回答已采纳
Pandas有一个包含assert_frames_equal的测试模块。考拉也有类似的东西吗？ 我正在编写一系列到考拉数据帧的转换测试。首先，由于我的测试csv文件只有几行(<10行)，我考虑只使用pandas。不幸的是，这些文件非常宽(接近200列)，并且具有在spark读取文件时指定的各种数据类型。由于熊猫的类型规范与考拉的类型规范非常不同，除了我们已经为spark编写<
浏览 27提问于2020-12-12得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
