我正在运行一个pyspark流媒体作业。对于每个rdd，我使用一些我想要缓存的新数据更新一个临时表，如下所示： def forach_rdd(rdd):
DStream.foreachRDD(forach_rdd) 几个小时后，spark作业崩溃，因为堆栈溢出;)原因很可能与数据框架下不断增长的rdd依赖关系树有关。
浏览 21提问于2020-04-28得票数 2
1回答
我不确定在执行聚合操作时是否应该增加或减少分区的数量。假设我使用的是火花放电数据格式。pyspark 1.6.1。增加分区数量的论据:由于为了聚合，我们必须对数据进行洗牌，所以您需要对周围的</em
浏览 1提问于2017-08-10得票数 1
回答已采纳
我有一个13M行的pyspark数据帧，我想把它转换成pandas数据帧。然后，将根据其他参数以不同的频率(例如1秒、1分钟、10分钟)对数据帧进行重新采样以进行进一步分析。从文献[，]中，我发现使用以下任何一行都可以加快pyspark到pandas数据帧之间的转换：
spark.conf.set("spark.sql.executio
浏览 11提问于2021-11-19得票数 0
我正尝试在AWS提供的jupyter笔记本电脑中使用spark / python读取kinesis流。我从AWS文档中获取了代码，但当我尝试使用kinesis创建数据帧时，我得到了一个依赖错误。我认为所有的依赖项都很好，因为我创建了一个笔记本"SparkMagic PySpark“。下面是我的代码：from datetime import datetimeimpo
浏览 10提问于2021-07-20得票数 0
2回答
我正在使用这样的数据帧： DeviceNumber | CreationDate | Name1002 | 1.1.2019 | Lamp 我使用databricks和pyspark我如何减少数据帧，使我每个"DeviceNumber“只有一行，并且这将是具有最高&
浏览 14提问于2019-05-16得票数 0
回答已采纳
当我用groupBy()替换spark数据帧上的distinct()时，我在我的pyspark代码中看到了很大的性能改进。但是我不能理解背后的原因。整个意图是从数据帧中删除行级重复项。我尝试在谷歌上搜索groupBy()和distinct()在pyspark中的实现，但没有找到。
有没有人能给我解释一下或者给我指出正确的方向？
浏览 0提问于2018-09-11得票数 6
2回答
我需要将此代码转换为PySpark等效项。我不能使用pandas来创建数据帧。这是我使用Pandas创建数据帧的方式： df['Name'] = np.random.choice(["Alex","James","Michael","Peter","Harry"], size=3np.random.randint(1, 10, 3)
df['
浏览 65提问于2021-11-09得票数 1
回答已采纳
1回答
我正在对一个pyspark dataframe执行一个简单的过滤操作，它有一个minhash jaccard相似性列。我已经检查了数据帧的分区数量，它只有4个。 我应该减少分区的数量吗？是否有其他解决方案可以减少计算时间？
浏览 20提问于2021-08-30得票数 0
回答已采纳
1回答
假设我们有一个嵌套的PySpark dataframe df，其模式如下： |-- a1: string (nullable = true) | | |-- dt_indicator: boolean (nullable = true)
假设我们有一个过程，在两个扁平的数据帧df1和df2中用以下模式将嵌套的数据fra
浏览 4提问于2021-12-12得票数 0
回答已采纳
2回答
我是火花的新手。在它的文档中，它说它可以在Scala或Python中使用。
一些博客说，火花依赖于scala (例如，)。因此，我想知道：scala是Spark的必修课吗？(由于依赖关系，我必须首先安装scala吗？)
浏览 2提问于2014-12-21得票数 6
1回答
我目前有一个pyspark数据帧，如下所示： +--------------------++--------------------+| [1, 5, 7]|| ...| 我的目标是转换这个数据帧(或创建一个新的数据帧)，以便新数据是表<e
浏览 12提问于2021-02-09得票数 1
回答已采纳
当我们有超过3个节点来分发数据时，pyspark.sql.functions下的"last“函数在spark上返回不一致的结果。from pyspark.sql.types import DoubleType
numeric = sqlContext.createDataFramecolor").agg(F.last("v1&
浏览 1提问于2017-02-02得票数 1
1回答
其中一个建议是
将部署包的大小最小化到其运行时所需的大小。这将减少在调用之前下载和解压缩部署包所需的时间。对于在Java或.NET Core中编写的函数，请避免将整个AWS库作为部署包的一部分上载。我一直在使用sbt程序集为我的代码和依赖项创建fat jars，但是当我只使用添加了大量内容的aws库的10%时，sbt程序集似乎将打包所有库依赖项
浏览 0提问于2018-08-03得票数 1
回答已采纳
我有400万行的大型数据帧。其中一列是名为"name“的变量。当我通过：df['name].nunique()检查Pandas中唯一值的数量时，我得到了一个与Pyspark df.select("name").distinct().show()不同的答案(在Pandas中大约为1800，在Pyspark中为350 )。这是一个数据分区
浏览 0提问于2020-05-24得票数 0
1回答
我在Android中的dex文件达到了64k的限制。我想避免启用多重索引。为了减少方法的数量，我开始删除不再使用的依赖项。问题是，我仍然收到相同的错误:我有78k方法(在删除依赖项之前完全相同)，我已经删除了至少应该将我的方法降低1的3大依赖项。尽管从pubspec.yml中删除了这些
浏览 2提问于2020-09-15得票数 1
1回答
对于特定的请求，是否存在从表单数据中禁用MVC“填充”的功能？示例的一部分是删除在posts之间的数量为零的项。不幸的</em
浏览 2提问于2011-02-17得票数 0
回答已采纳
在链接中，用户可以在Spark3.2中的PySpark之上与熊猫合作。是否需要很长时间才能将PySpark数据帧转换为PySpark熊猫数据框架？我知道将PySpark数据帧转换为熊猫数据框架需要很长时间。
浏览 9提问于2022-03-02得票数 1
回答已采纳
1回答
我正在使用PySpark，并希望利用多节点的优势来提高性能时间。Increase | New Salary 2 | 500 | 0.15 | 4 | 700 | 0.1 | 我想要计算新的薪水列，并希望使用pyspark中多个节点的能力来减少整体处理时间。我不想做一个迭代的逐行计算新工资。 df.withColumn是否在数据帧级别进行计算？
浏览 16提问于2021-03-24得票数 0
我在ssh服务器上工作，我通过以下命令加载spark：我想创建一个配置单元表来将我的DataFrame分区保存到这个表中。我的代码mycode.py如下： warehouse_location = abspath('spark-warehouse')
conf我的错误在哪里？请注意，我使用spark-submit mycode.py运行上面的代码。我不知道
浏览 1提问于2019-07-17得票数 2
3回答
17522.927|| 56.23.191.99| 113.186|| 203.30.177.95| 1.081|有覆盖数
浏览 20提问于2018-05-30得票数 0
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
