在Pyspark中对数据框进行舍入
在Pyspark中，可以使用round()函数对数据框进行舍入操作。round()函数接受两个参数：要舍入的列名和要保留的小数位数。
以下是一个完整的示例代码：
from pyspark.sql import SparkSession
from pyspark.sql.functions import round
# 创建SparkSession
spark = SparkSession.builder.getOrCreate()
# 创建示例数据框
data = [("Alice", 3.14159), ("Bob", 2.71828), ("Charlie", 1.41421)]
df = spark.createDataFrame(data, ["Name", "Value"])
# 对数据框中的Value列进行舍入，保留两位小数
df_rounded = df.withColumn("RoundedValue", round(df["Value"], 2))
# 显示结果
df_rounded.show()运行以上代码，将会得到如下输出：
+-------+-------+------------+
| Name| Value|RoundedValue|
+-------+-------+------------+
| Alice|3.14159| 3.14|
| Bob|2.71828| 2.72|
|Charlie|1.41421| 1.41|
+-------+-------+------------+在这个例子中，我们使用round()函数对数据框中的Value列进行舍入，保留两位小数，并将结果存储在新的列RoundedValue中。最后，我们使用show()方法显示结果。
Pyspark是Apache Spark的Python API，它提供了强大的分布式计算能力和数据处理功能。Pyspark可以用于大规模数据处理、机器学习、数据挖掘等任务。在云计算中，Pyspark可以与云原生技术结合，实现弹性扩展和高可用性。
推荐的腾讯云相关产品是腾讯云的云服务器CVM和弹性MapReduce（EMR）。云服务器CVM提供了灵活的计算资源，可以用于部署和运行Pyspark应用程序。弹性MapReduce（EMR）是一种大数据处理服务，可以方便地进行分布式数据处理和分析。
腾讯云云服务器CVM产品介绍链接：https://cloud.tencent.com/product/cvm
腾讯云弹性MapReduce（EMR）产品介绍链接：https://cloud.tencent.com/product/emr
相关·内容
2回答
使用RDD列表作为数据过滤操作的参数
pyspark、spark-dataframe、rdd、pyspark-sql、apache-spark-2.0
我有下面的代码片段。
from pyspark import SparkContext
from pyspark.sql import SparkSession
from pyspark.sql.types import *
sc = SparkContext()
spark = SparkSession.builder.appName("test").getOrCreate()
schema = StructType([
浏览 5提问于2017-09-15得票数 1
5回答
从C#小数点到2的4+十进制舍入
c#、rounding
我有一个十进制的30.1645m，根据一般的数学应该是30.17，但是它不会被Math.Round或C#中的decimal.Round以这种方式舍入。对我来说真的很奇怪。有人能解释和/或给我一个解决方案吗？
浏览 1提问于2016-05-30得票数 1
1回答
在EMR上运行Spark应用程序很慢
apache-spark、java-8、mapreduce、emr、amazon-emr
我是星火和MApReduce的新手，我在弹性地图减少(EMR) AWS集群上运行星火有问题。问题是在电子病历上运行会占用我很多时间。
例如，我在.csv文件中有数以百万计的记录，我在JavaRDD中读取和转换了这些记录。对于Spark，在这个数据集中计算简单的mapToDouble()和sum()函数需要104.99秒。
但是，当我没有使用Java8并将.csv文件转换为List时，进行同样的计算时，只需0.5秒。(见下文代码)
这是火花代码( 104.99秒)：
private double getTotalUnits (JavaRDD<DataObject> dataC
浏览 0提问于2018-03-12得票数 1
回答已采纳
1回答
关于显示某些数字的问题已经张贴了，但是，只是针对单个值或向量，所以我希望有人能帮助我。
我有一个有几列的数据框，想要用两个十进制数显示一列中的所有值(仅此列)。我尝试过round()、format()和options(digits)，但在列(numerical)上都不起作用。我想知道是否有一种方法可以做到这一点，而不需要通过额外的方法将列转换为向量并再次粘合在一起。
非常感谢!
浏览 0提问于2014-11-04得票数 5
1回答
AttributeError：“NoneType”对象中没有属性“_jvm”
python、pyspark、apache-spark-sql、attributeerror、rlike
我试图通过循环遍历该数据的每一行来打印数据。然后，我使用对dataframe的RDD的map()转换来应用lambda函数，并尝试将其转换回dataframe。我通过conda env在木星笔记本上运行这个程序。我的猜测是，在应用rlike()函数时存在一些问题，因为没有rlike()函数，映射工作得很好。下面的代码如下：
from pyspark.sql import SparkSession
import pyspark.sql.functions as F
from pyspark.sql.window import Window
spark = SparkSession.bui
浏览 14提问于2022-09-19得票数 0
回答已采纳
1回答
如何查找人员(员工、经理等)的层次结构级别在pyspark中使用字框？
python、apache-spark、pyspark、breadth-first-search、graphframes
我有一个带有顶点和边的图框架，如下所示。我在jupyter notebook的pyspark上运行这个。
vertices = sqlContext.createDataFrame([
("12345", "Alice", "Employee"),
("15789", "Bob", "Employee"),
("13467", "Charlie", "Manager"),
("14890"
浏览 15提问于2020-06-03得票数 2
2回答
希洛，
我正在做一个在C#中管理预算的应用程序，但是我在舍入值方面有很多问题。我得到的规范是，用户可以在两个文本框中输入产品的价值(含税和不含税)。
所以我做了一个函数，将价格从有税的价格转换为无税的价格，将无税的价格转换为有税的价格。
因此我将其附加到两个textboxes的TextChanged事件中
private void txtPrecioTotal_TextChanged(object sender, EventArgs e)
{
if (!ignoreTextChanged)
{
decimal precio;
浏览 0提问于2017-12-28得票数 0
2回答
只捕捉到的有效载荷的CDC在火花结构化的流？
sql-server、apache-spark、pyspark、apache-kafka、cdc
为了捕捉Server中的数据更改，我尝试执行从Server到Pyspark的管道，我已经准备好了一切：
在Server中启用CDC
从SQL Server到Kafka进行生产，并使用Pyspark结构化流中的Kafka主题。
问题是:当我试图用控制台使用者检查数据更改是否经过Kafka时，它会向我显示JSON格式的消息，分为两个记录: Schema和Payload，以及Payload内部，在此之前和之后，分别给出更改之前的数据和更改后的数据。
我只在有效负载中被处理->在这部分JSON消息之后
因为当我像这样流它时，在木星命令行中，在我需要的字段上显示n
浏览 0提问于2021-06-30得票数 0
回答已采纳
1回答
星火ML梯度提升树而不是使用所有节点
python、apache-spark、pyspark、apache-spark-ml
我正在使用 in pyspark在AWS集群上训练一个包含大约400 k行和~9k列的数据帧上的二进制分类模型。我将此与当前的解决方案进行比较，该解决方案是在一个可以容纳内存中整个数据帧的大型XGBoost上运行的。
我希望我能在星火中更快地训练(并获得新的观测)，因为它将是分布/平行的。然而，当观察我的集群(通过ganglia)时，我看到只有3-4个节点有活动的CPU，而其余的节点只是坐在那里。实际上，从它的外观来看，它可能只使用一个节点来进行实际的培训。
我似乎在文档中找不到任何关于节点限制或分区的内容，也找不到任何与为什么会发生这种情况有关的内容。也许我只是误解了算法的实现，但我假设它的
浏览 1提问于2018-03-08得票数 4
回答已采纳
1回答
在简单的键值数据存储中实现键搜索(通过前缀、后缀和正则表达式)
java、database、datastore
假设我使用一个简单的键值数据存储，其中字符串键和值以字节为单位。
数据存储的库公开此方法：
byte[] get(String key);
void put(String key, byte[] value);
boolean isExists(String key);
void delete(String key);
List<String> listKeys(String key, int maxKeys);
我所指的这个数据存储是由弹性云存储支持的，而不是嵌入式的，也不是内存中的。
我如何实现对这样的数据存储的关键字搜索？
浏览 0提问于2020-06-15得票数 0
5回答
有75 GB内存的EMR集群上使用的10.4GB物理内存的10.4GB
apache-spark、emr、amazon-emr、bigdata
我正在AWS EMR上运行一个5节点星火集群，每个大小为m3.xlarge (1个主站，4个从站)。我成功地运行了一个146 up bzip2压缩的CSV文件，最后得到了一个完美的聚合结果。
现在，我试图在这个集群上处理一个~5GB的bzip2 CSV文件，但是我收到了以下错误：
16/11/23 17:29:53警告TaskSetManager:在第6阶段(TID，xxx.compute.internal)中丢失的任务49.2 : ExecutorLostFailure (执行器16因运行任务之一而退出)原因:因超过记忆限制被纱线杀死的容器。使用10.4GB的10.4GB物理内存。考虑提高
浏览 8提问于2016-11-24得票数 64
2回答
每次在c#中将度、分、秒转换为十进制度时，纬度和经度都会不断变化
c#、asp.net、math
如果我输入a位置：
纬度= 28度45分12秒经度= 81度39分32.4秒
它被转换为十进制度格式，并通过以下代码存储在数据库中：
Coordinates coordinates = new Coordinates();
coordinates.LatitudeDirection = this.radLatNorth.Checked ? Coordinates.Direction.North : Coordinates.Direction.South;
coordinates.LatitudeDegree = this.ConvertDouble(this.txtLatDegree.Text
浏览 3提问于2010-12-08得票数 3
回答已采纳
3回答
如何将值除以小数点3？
c#、.net、visual-studio、types
我正在开发一个库存软件，并按百分比和金额计算折扣。
意味着当我输入百分比时，它会自动转换为price#
当我输入价格时，它会自动转换为%#
我用来在%中转换价格的代码是：
if(txtDiscount.Text == "" || txtGrandTotal.Text == "")
{
MessageBox.Show("Please Enter amount in Grand Total",Application.ProductName,MessageBoxButtons.OK
浏览 4提问于2014-01-25得票数 6
回答已采纳
1回答
将转换百分比插入数据库
python、sqlite
对，我写这篇文章的目的是把打印值放到数据库中，但是在终端查询时，数据库返回的是浮点数，而不是打印值，有没有办法强制它传递给数据库。以下是我的代码
def getCpuLoad():
"""
Returns the cpu load as a value from the interval [0.0, 1.0]
"""
dt = list(deltaTime(INTERVAL))
idle_time = float(dt[3])
total_time = sum(dt)
load = 1-(idle_tim
浏览 0提问于2013-03-15得票数 0
2回答
如何使用PySpark将这些多个csv文件(大约130,000个)有效地合并为一个大型数据集？
python、apache-spark、memory、pyspark、bigdata
我之前发布了这个问题，并得到了一些使用PySpark的建议。
下面的压缩文件()包含一个名为data的文件夹，其中包含大约130,000个csv文件。我想把它们合并到一个单独的数据帧中。我有16 of的RAM，当我访问前几百个文件时，我一直在耗尽RAM。这些文件的总大小只有300-400MB的数据。
如果您打开任何csv文件，您可以看到它们都具有相同的格式，第一列用于日期，第二列用于数据系列。
所以现在我改用PySpark，但是我不知道连接所有文件的最有效的方法是什么，对于pandas数据帧，我会像这样连接单个帧的列表，因为我想让它们在日期上合并：
bigframe = pd.concat(
浏览 14提问于2020-02-17得票数 2
回答已采纳
1回答
如何在PySpark上并行计算同一数据的不同聚合？
python、performance、apache-spark、pyspark、apache-spark-sql
我想手工计算PySpark上大型数据的一些自定义汇总统计数据。为了简单起见，让我使用一个更简单的虚拟数据集，如下所示：
from pyspark.sql import SparkSession
from pyspark.sql.dataframe import DataFrame
from pyspark.sql.types import DataType, NumericType, DateType, TimestampType
import pyspark.sql.types as t
import pyspark.sql.functions as f
from datetime impo
浏览 5提问于2022-10-06得票数 2
回答已采纳
2回答
如何解决四舍五入带来的不匹配问题？
java、bigdecimal、rounding-error
我正在开发一个有两个端点的java API。一个端点具有要支付的总金额，另一个端点具有端点1中的总金额的细分或组成。背后的逻辑是从数据库中获取货币A的值，并将它们以货币B显示给用户，汇率为1B = 18.03A。理想情况下，转换的总金额和转换的细分金额的总和必须相同。在大多数情况下，代码运行得很好。然而，有时我会遇到不匹配的情况。下面是一个示例，端点1的总金额为19370.21B。细目(来自端点2)：124.5B、4245.71B、15000B。这是我进行转换时发生的情况， BigDecimal rate = BigDecimal .valueOf(18.03);
浏览 54提问于2020-07-24得票数 1
1回答
带有Spark的通用“reduceBy”或“groupBy+聚合”功能
python、mapreduce、apache-spark
也许我完全重新发明了轮子，或者我发明了一些新的有用的东西。你们中有人能告诉我是否有更好的方法吗？我想做的是：
我想要一个通用的reduceBy函数，它的工作方式类似于RDD的reduceByKey，但允许我按火花DataFrame中的任何列对数据进行分组。您可能会说，我们已经有了它，它被称为groupBy，但据我所知，groupBy只允许您使用一些非常有限的选项进行聚合。我想要groupBy，然后运行一个任意函数进行聚合。已经有人这样做了吗？
基本上，我用的是一个类似于这样的星火DataFrame：
+----------+---------+-----+-------------+-----
浏览 0提问于2015-12-26得票数 15
回答已采纳
3回答
如何在Pug表单中添加过滤器？
javascript、node.js、pug
这是我的数据库的一个例子
我正在制作一个使用nodejs，MongoDB和pug的网站。我已将此数据显示在pug中，并将数据显示在选中框中。就像这样，但是在帕格里用循环和所有的数据-
<!DOCTYPE html>
<html>
<body>
<form>
<select name="Type">
<option value="Electronic">Electronic</option>
</select>
浏览 7提问于2021-10-18得票数 1
回答已采纳
8回答
将数字和文本存储在同一个SQL字段中的理论
sql、types、field
我有三张桌子
结果： TestID TestCode值
测试： TestID TestType SysCodeID
SystemCodes SysCodeID ParentSysCodeID描述
我的问题是用户何时将数据输入结果表。
如果testCode的类型为SystemList，则当行获得焦点时，格式化代码将值字段更改为下拉组合框。下拉列表包含具有parentsyscodeID的test.SysCodeID的所有系统代码。当用户在列表中选择一个值时，它将转换为一个进入value字段的数字。
Results.Value字段的数据类型是整数。我将其改为整数，而不是字符串，因为在报告时，如果它是
浏览 6提问于2009-04-02得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频活动推荐
腾讯云开发者
