如何在pyspark中创建一个包含浮动随机数的新列，但我希望始终生成相同的no？
在pyspark中，可以使用withColumn方法来创建一个包含浮动随机数的新列，并确保始终生成相同的随机数。为了实现这个目标，可以使用rand函数生成随机数，并设置一个固定的种子值。
下面是一个示例代码：
from pyspark.sql import SparkSession
from pyspark.sql.functions import rand
# 创建SparkSession
spark = SparkSession.builder.getOrCreate()
# 读取数据
df = spark.read.csv("data.csv", header=True)
# 添加新列并生成相同的随机数
df = df.withColumn("random_number", rand(seed=42))
# 显示结果
df.show()在上述代码中，rand(seed=42)函数用于生成随机数，并通过设置种子值为42来确保每次生成的随机数都是相同的。你可以根据实际需求修改种子值。
关于pyspark的更多信息和使用方法，你可以参考腾讯云的产品文档：腾讯云PySpark产品介绍。
相关·内容
1回答
如何在pyspark中创建一个包含浮动随机数的新列，但我希望始终生成相同的no？
python、pyspark
我想在spark中创建一个包含浮点随机数的新列，但我想始终生成相同的输出，即我想使用一个固定的种子值作为102101。
浏览 12提问于2020-08-18得票数 0
1回答
使用重复相等次数的范围内的数字填充Pyspark Dataframe列
python、pyspark
我想在pyspark dataframe上填充一个新列，其中包含一系列数字，大约重复一次。相同的次数取决于df的大小。现在，我使用下面的代码生成1到3之间的随机数并填充新列。问题是每个数字重复的次数不相等。 df = df1.withColumn("random", func.round(rand()*(3-1)+1,0).c
浏览 16提问于2021-04-27得票数 0
4回答
从字符串生成随机序列
c#、random
我有一个函数，它使用随机数来生成其输出。我希望能够用一个长字符串来播种这些随机数；只要字符串是相同的，随机数序列就是相同的。这主要是为了测试目的，但也是为了可重复性。我计划创建一个包装类，它的作用类似于内置的System.Random类，其构造函数类似于：
MyRandom mr = new MyRandom(100, &quo
浏览 0提问于2010-10-14得票数 3
回答已采纳
5回答
从另一个数生成一个随机数
javascript、random
在JavaScript中，可以从另一个数生成一个随机数吗？
我正在尝试为我的一个分形地形生成器实现一个可预测的随机数生成器。我已经知道可以使用Math.random()生成随机数，但我想创建一个随机数生成器，为每个输入生成一个</e
浏览 1提问于2013-05-25得票数 6
回答已采纳
2回答
向PySpark数组中添加None
arrays、apache-spark、pyspark、apache-spark-sql、nonetype
我希望创建一个基于现有列有条件填充的数组，有时我希望它包含None。下面是一些示例代码：from pyspark.sql import SparkSession TypeError:无效参数，而不是字符串或列:没有一个类型为<type 'NoneType'&g
浏览 4提问于2022-07-01得票数 1
回答已采纳
1回答
在STM32L0x1设备上获取用于SRP6a的随机数
random-number-generator、srp
我试图得到一个随机数，让STM32L0x1单片机在协议SRP6a中使用它。一个“坏”的随机数种子(如从ADC读取值)会对SRP6a的安全性产生负面影响吗？
如果是:如何在SRP6a上获得“好”随机数(足够随机)？下面的方法是：( a)在工
浏览 0提问于2020-09-19得票数 1
3回答
在方法调用中循环过快？
c#、for-loop、random
我正在调用一个名为buy的方法实例。我的方法随机生成一串数字和数字。我的for循环似乎会很快让方法更改字符串，因为在获得新字符串之前，我会得到相同的字符串，类似于2-3次。当我添加一个System.Threading.Thread.Sleep(100)时，我得到的是随机数，就像它应该是的那样。问题是它太慢了，我觉得一定有更好的方法。
浏览 4提问于2015-10-26得票数 0
回答已采纳
2回答
我需要用lua生成一个32位的随机数，请建议一些方法
random、lua、unique
我想生成一个包含字母数字字符的32位密钥，它们应该始终是唯一的。请建议一种方法来做这件事。
我用过math.random函数，但我一次又一次地得到相同的随机数，我希望它是唯一的。
浏览 0提问于2016-06-02得票数 1
3回答
Mysql:仅按rand排序一次
php、mysql、random、sql-order-by
我需要按rand进行排序，但我不希望它在每次刷新时都发生变化，我只需要一个随机数，这有意义吗？下面是我的代码： $gid=$this->quotesmart($gid);
$limit=$this->quotesmart
浏览 0提问于2013-01-13得票数 1
回答已采纳
1回答
Pyspark -添加一个列，对先前连续的累积值进行计数
apache-spark、pyspark、pyspark-sql、pyspark-dataframes
问题在标题中，但是如何在Pyspark中创建一个新列，该列累计计算以前重复的值的数量？例如： | Value| 0| 5| 0| 0 将其应用于value列将生成一个新的值列 | Value | Result
| 0 |
浏览 12提问于2019-12-13得票数 1
回答已采纳
1回答
JSON数据的JSON模式
json、jsonschema
我想在JavaScript中从JSON schema创建JSON数据。"id" : "0",{{}}
JSON Schema faker
浏览 1提问于2017-07-07得票数 1
2回答
朱莉娅需要srand吗？
random、julia
一些低级语言，如C，要求程序员设置种子(通常是srand(time(0))，如果用户希望在程序运行时有不同的随机数序列的话)。如果没有设置，程序将为每次运行生成相同的随机数序列。在朱莉娅中，如果我想每次生成一个新的随机数序列，我应该调用srand()吗？
浏览 0提问于2018-02-26得票数 5
回答已采纳
1回答
如何将DataFrame.withColumn与条件一起使用
apache-spark、dataframe、pyspark
我想知道如何在完整的DataFrame上创建一个新列，但其值仅基于DataFrame的一个子集(即，基于条件应用的某些函数)。在本例中，我希望创建一个列，该列将每个ID与Value列中按ID的正值之和相关联。+-----+-----++-----
浏览 1提问于2019-02-02得票数 0
1回答
Pyspark:当键和值的类型不同时，如何用dict替换列值
python、pyspark、apache-spark-sql、mapping
我有一个带有整数列的pySpark数据。我也有一个从整数到字符串的映射，如 2: 'B', 我希望使用此映射从原始列中获得一个新列。怎么做？我尝试使用替换函数，但它将新值转换为与原始值相同的数据类型。我想我可以先把整数转换成字符
浏览 10提问于2022-07-06得票数 0
2回答
verilog变随机种子
verilog、system-verilog
每当我开始一个新的模拟时，我如何改变$urandom_range的种子。我尝试了很多没用的东西。
浏览 0提问于2015-06-27得票数 2
2回答
如何在Excel或SPSS中随机选择不包含特定值的列
excel、vba、spss
是否有人知道Excel公式、VBA或SPSS语法来执行以下操作：
在dataset或电子表格中创建一个新变量/列，该数据集或电子表格由随机选择的列的列号(或列标题)填充(范围为1-42列)，条件是该列中给定行的值不包含在Excel中，我可以执行第一步，创建随机数并将
浏览 0提问于2018-11-08得票数 0
回答已采纳
2回答
是否可以将自定义列表列的默认值设置为新的Guid？
sharepoint、default-value
我尝试将字段的defaultvalue属性设置为Guid.NewGuid()，但创建的每个项都具有相同的guid，所以我猜Guid.NewGuid()是存储为缺省值，而不是每次都运行。实现这一点的唯一方法是将事件处理程序添加到OnAdded的列表中吗？
浏览 0提问于2010-04-16得票数 2
回答已采纳
1回答
为什么随机范围每次都给出相同的输出值？
c#、.net、random
下面是我用来实现随机类的代码{ { arr.RemoveAt(index); return ls;}
下面是我得到的结果有时，它给出不同的结果，但它再次开始重复以前的结果。
浏览 1提问于2022-07-04得票数 -1
回答已采纳
1回答
随机数在不改变种子的情况下改变值
c++、random、random-seed
int main() cout << rand() << ' ' << rand() << ' ' << rand() << '\n';由于只要不使用srand更改种子，rand就会生成相同的值，因此这应该会生成三个相同的数字。例如：然而，当我运行这个程序时，它给了我三个不同的值。633
浏览 3提问于2012-04-06得票数 6
回答已采纳
5回答
更新spark中的dataframe列
python、dataframe、apache-spark、pyspark、apache-spark-sql
查看新的spark API，还不清楚是否有可能修改DataFrame列。df.ix[x,y] = new_value
编辑：合并下面所说的内容，您不能修改现有的数据格式，因为它是不可变的，但是您可以返回一个新的数据格式，并进行所需的修改。如果只想根据条件替换列<em
浏览 12提问于2015-03-17得票数 95
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
