1回答
Apache Spark中的以下Scala代码行将在8个分区中随机拆分数据： import org.apache.spark.sql.functions.rand
.repartition(8, col("person_country"), rand).partitionBy("person_country")
.csv(outputPath) 有人能给我演示一下如何用PySpark我自己用下面的代码尝试过，但失败了 fr
浏览 53提问于2020-09-10得票数 0
我已经将数据从文本文件加载到Spark，在数据类型拆分更改之后。如何在不更改数据类型的情况下拆分数据，或者如何将拆分的数据转换为原始数据类型？我的代码conf = SparkConf().setMaster("local").setAppName("Movietimestamp
浏览 2提问于2020-10-22得票数 0
我正在尝试将spark数据框中的列拆分为多个值。因此，我分隔了要拆分的列，并检查了其类型：O: pyspark.sql.dataframe.DataFrameO: pyspark.rdd.PipelinedRDD万分感谢
浏览 0提问于2016-06-22得票数 0
我正在使用Pyspark，并希望生成随机加密盐作为我的数据帧中的一个附加列。我想用它来为我的数据生成Hash或一种保留加密密码值的格式。Spark dataframe API中是否有生成加密盐的最佳实践？
浏览 2提问于2018-05-30得票数 0
此应用程序的数据库驻留在自定义PostgreSQL Docker映像中。在集成测试中，ApplicationContext是通过MockMvc启动的，容器的启动方式如下 private我不能在spring.datasource.url=jdbc:tc:postgresql://localhost/my_db文件中使用JDBC方案(如spring.datasource.url=jdbc如果我指定容器的名
浏览 1提问于2019-08-29得票数 0
我认为，权重应该随着随机状态的不同而略有变化。请注意，我是在执行标准化之后使用数据的。我使用如下所示的非常简单的代码来训练我的模型，因为我的数据只包含200行具有3个要素的数据SGDClf =
浏览 1提问于2021-03-28得票数 0
我有一个如下所示的pyspark DataFrame：| col1 | col2 | groupId |这意味着如果为d1.groupId = d2.groupId，则d1和d2处于相同的拆分中。|
| val15 | val25 | 1
浏览 0提问于2018-11-07得票数 3
我目前正在自学Spark programming，并试图用PySpark重新编写一个现有的Python应用程序。然而，我仍然对如何在PySpark中使用常规Python对象感到困惑。我了解Spark中的分布式数据结构，如RDD、DataFrame、Datasets、vector等。Spark有自己的转换操作和动作操作，如.map()、.reduceByKey()来操作这些对象。但是，如果我在PySpark中创建传统的Python<em
浏览 34提问于2017-03-01得票数 1
回答已采纳
拆分随机字符串，如？？#？#-？##-#？-#？#-##
我需要一些代码来生成如上所示的字符串。它不需要很复杂。我正在寻找一个vb.net项目来处理生成，所以我可以提交到数据库中手动序列。
浏览 1提问于2019-06-03得票数 0
我想对排序后的Pyspark数据帧进行基于时间的训练测试拆分。假设前300行将在训练集中，下200行将在测试拆分中。我可以用以下命令选择前300行： train = df.show(300) 但是如何从Pyspark dataframe中选择最后200行呢？
浏览 14提问于2019-03-13得票数 1
1回答
寻找随机森林分类器指标，如ROC，精确度回忆曲线，精确度，召回率，基于数据帧使用pyspark的F1分数。我可以在RDD object.Could上得到相同的指标，请帮帮忙。
浏览 1提问于2019-04-10得票数 0
我试图分割我的图像数据集，以便它可以有一个训练集和验证集。我找到了这个叫做的Python库。语法很容易理解。如何为数据集找到正确的种子？
浏览 1提问于2021-05-19得票数 2
回答已采纳
如何在DataFrame中为流PySpark设置架构。from pyspark.sql import SparkSessionfrom pyspark.sql.functionsformat('socket')\ .option('port',
浏览 3提问于2016-12-29得票数 3
回答已采纳
1回答
我已经创建了一个pyspark数据帧，形象化地看起来像这样： >>> df
------------------------------30 | 50 | ... |300 | 350 | 50 | ... |500 | 5 然后我还创建了随机的行号列表，如下所示： my_list = [[2, 5],[4, 1, 3]] 根据这个列表的结构，我希望创建p
浏览 16提问于2019-04-18得票数 0
回答已采纳
2回答
我正尝试在amazon EMR实例上运行pyspark以从dynamodb读取数据，我想知道如何在我的代码中设置拆分和工作的数量？我按照下面两篇文档中的说明使用了下面的代码，该代码当前连接到dynamoDB并读取数据。和sc = SparkContext.getOrCreate()
conf = {"dynamodb.servicenameSparkConf(
浏览 2提问于2017-12-03得票数 0
2回答
在我的数据集中，我有730亿行。我想对它应用一个分类算法。我需要原始数据中的一个样本，以便我可以测试我的模型。5 58 m 87643 354 vb 1
如何使用pyspark进行随机采样，以使我的依赖(流失)变量比率不会发生变化。
浏览 0提问于2019-09-26得票数 0
我正在尝试使用PySpark创建随机生成的大型数据。下面的Scala代码基本上就是我想要的，但是我找不到一种在PySpark中复制seq.fill()的有效方法。有没有办法用Python或PySpark重写这段代码，以利用Spark的并行性？
浏览 0提问于2021-08-06得票数 1
有没有推荐的使用dataset api将tf数据集随机拆分成子数据集的方法？我在大约150个文件上使用了一个生成器函数，这些文件大约有1TB。我想在读取时随机拆分这些数据集，这样就不需要再次保存这些文件。
浏览 2提问于2018-09-26得票数 3
我正在使用Omnifaces的FileServlet：例如:一张图片的路径是: myapp/imagesservlet/mypic1.jpg
有人可以输入myapp/imagesservlet
浏览 11提问于2016-09-11得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
