腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(2157)
视频
沙龙
1
回答
如何
在窗
口内
首次
排序
后
保留
Spark
dataframe
中
的
默认
顺序
、
、
、
、
我有一个包含user_id、C1、f1、f2、f3列
的
spark
数据帧。我想按user id进行分区/分组,在组内我想保持与C1相关
的
顺序
,我已经成功地做到了这一点,但在对C1进行
排序
之后,我想让其余
的
事情保持
默认
顺序
。 例如。',row_number().over(w)) 但是,
在窗
口
顺序
为C1 (针对每个用户)提供了正确
的
顺序
,但C1
顺序
没
浏览 19
提问于2020-10-29
得票数 0
回答已采纳
1
回答
在火花中保存已订购
的
数据
、
、
我正在尝试将已订购
的
数据存储到HDFS
中
。我
的
代码如下所示:我在两个不同
的
集群上运行相同
的
代码当使用
Spark
1.5.0在集群上运行时,在磁盘上保存之后,它不会
保留
排序
。 在将数据保存到磁盘上时,是否有任何特定
的
群集设置来
保留</
浏览 1
提问于2016-12-28
得票数 6
1
回答
在纱线
中
运行时,Pyspark错误计数
、
我正在使用以下sparkContext设置执行jupyter笔记本:
spark
= SparkSession.builder \.config("
spark
.executor.memory", "1g") \.config("
spark
.executor.instances", &
浏览 2
提问于2020-06-30
得票数 0
1
回答
在Plotly Express漏斗
中
,
如何
对y轴类别进行重新
排序
?
、
、
、
我有一个包含所有数据
的
DataFrame
,并且我有以下阶段
顺序
order = {0:'NEW',1:'FOLLOW_UP',2:'Demo',3:'QUOTE',4:'CLOSING'} fig =px.funnel(df, x='count', y='name', color='source',category_orders=order) 我
的
DataF
浏览 105
提问于2020-12-20
得票数 0
回答已采纳
1
回答
pyspark
中
的
不一致结果
、
、
、
、
重复运行以下代码会产生不一致
的
结果。到目前为止,我只看到了两个输出。在切换到其他结果之前,结果会重复任意随机次数,然后在再次切换回之前,这些结果也会重复任意随机次数。
spark
= pyspark.sql.SparkSession.builder.getOrCreate() impo
浏览 1
提问于2018-03-02
得票数 1
2
回答
哪些操作保持RDD
顺序
?
、
如果由处理,RDD有一个有意义
的
顺序
(与存储模型强加
的
一些随机
顺序
相反),如本所解释
的
那样。这是保证
的
(在a.sortBy()之后)吗?
浏览 4
提问于2015-03-26
得票数 59
回答已采纳
1
回答
火花:用于卡尔曼滤波
的
窗口和联合新议程
、
、
、
、
在霍尔顿·卡拉乌和雷切尔·沃伦
的
“”
中
,有这样
的
说法(第259页): 窗口操作允许您在最后
的
K批数据中计算数据,这对于移动平均值或卡尔曼滤波之类
的
操作非常方便。作为提醒,Kalman是一种
顺序
处理,用于根据先前
的
数据过滤一组数据。在查看了UDAFs
的
行为之后,它似乎没有被调整,因为没有
排序
的
概念( merge方法将结果与无
顺序
合并)。因此,如果联非新议程不适应卡尔曼和窗口,
如何
计
浏览 0
提问于2018-12-18
得票数 1
3
回答
对星火数据帧/蜂巢结果集进行
排序
、
、
我正在尝试从一个Hive表
中
检索列列表,并将结果存储在一个
中
。var my_column_list = hiveContext.sql(s""" SHOW COLUMNS IN $my_hive_table""")我
如何
按字母
顺序
对结果进行
排序
?更新:
浏览 8
提问于2016-11-08
得票数 4
回答已采纳
1
回答
Spark
-读取单个CSV文件,处理结果并将结果写入单个CSV文件,同时保持原始行
顺序
、
我想从
Spark
读取一个CSV文件(小于50MB),并执行一些连接和过滤操作。CSV文件
中
的
行按某些条件
排序
(在本例
中
为Score)。我希望将结果保存在单个CSV文件
中
,其中
保留
了原始行
的
顺序
。输入CSV文件: Id, Score3, 997, 95 在执行一些联接和筛选操作
后
: val data =
spark
.read.option("header&quo
浏览 77
提问于2020-10-05
得票数 0
回答已采纳
2
回答
如何
使
Spark
上
的
笔记本运行得更快、性能更好
、
、
、
、
val df1=
spark
.read.format("delta").table("...100K_rows...")t0 = System.currentTimeMillis System.currentTimeMillis - t0
spark
.udf.register我试过
的
是: 增加数据库火花集群节点大小:
spark
.conf.set("
spark</e
浏览 12
提问于2022-04-01
得票数 -1
回答已采纳
2
回答
Spark
中联接操作
后
模式
顺序
的
更改(JAVA)
、
、
、
我使用
的
是
Spark
和Java,当我在两个
dataframe
之间进行连接时,模式
的
顺序
是不同
的
。 我需要
保留
顺序
,因为我想在后面的HBase表
中
插入数据。在Scala中有一个使用seq列表
的
解决方案,我想知道
如何
使用Java来实现它?
浏览 1
提问于2017-01-24
得票数 3
回答已采纳
1
回答
默认
情况下,Json字段在转换为激发
DataFrame
时会得到
排序
。
、
、
、
当我从json文件创建一个
dataframe
时,json文件
中
的
字段
默认
在
dataframe
中
排序
。
如何
避免这种
排序
?当我从这个文件创建数据帧时,如下所示:DF创建为 jDF: org.apache.
spark
.sql.
DataFrame
在D
浏览 3
提问于2016-06-20
得票数 1
1
回答
在app maker
中
,
如何
清除列
排序
?
当app maker创建一个表时,它可以使列可
排序
,这很好,但是在用户单击列之后,
如何
清除
排序
设置以使表恢复到页面
首次
加载时
的
默认
设置或以下脚本
中
的
特定
排序
顺序
?我目前使用
的
是Refresh按钮,它只是重新加载数据源,但是列
排序
仍然存在。有什么建议吗? 我尝试重新加载或导航回页面本身,但也没有效果。这是增强
的
刷新onClick脚本,其中包括
排序
<
浏览 20
提问于2019-10-25
得票数 0
回答已采纳
1
回答
与编辑器对Python
的
Power查询不同
的
表
、
、
我有一个包含30多列
的
表,任务如下:当我这样做
的
时候,它占据了哪一行?第一个?最后一个?是随机
的
吗?我
如何
将其转换为Python Pandas,以确保具有相同
的
数据? 感谢您
的
答复
浏览 2
提问于2021-11-24
得票数 0
7
回答
如何
更改火花数据
中
的
列位置?
、
、
、
我想知道是否可以更改列在
dataframe
中
的
位置,实际上是否可以更改架构?准确地说,如果我有一个像[field1, field2, field3]那样
的
数据文件,并且我想得到[field1, field3, field2]。
如何
移动一个或多个列,即:
如何
浏览 4
提问于2016-06-29
得票数 47
回答已采纳
1
回答
对大熊猫
中
的
一列进行
排序
就是返回相同
的
未
排序
信息。
、
、
现在,我想将这些百分比
的
更改值从最低到最高
排序
,并将
排序
后
的
数据放入新
的
列
中
。列正在生成,但值没有
排序
,只是复制。26.850000 1.743088 1.743088我对编码很陌生,所以我假设这是很简单
的
事情,但是我在googling
中
找不到任何有用
的
东西。
浏览 2
提问于2017-08-05
得票数 1
回答已采纳
1
回答
星火中数据仓库
的
换行
顺序
重新划分
、
、
、
、
我想了解在我应用.repartition函数之后我
的
数据文件发生了什么变化。, 9]| c| 2|我跑了:生成
的
dataframe
将以不同
的
顺序
排列行:|integers|floats|integer_arrays|letters|nulls| |
浏览 3
提问于2019-11-22
得票数 2
回答已采纳
1
回答
如何
保持ListView控件及其映射到
的
对象保持同步?
、
、
我有几个窗口,其中包含映射到相同对象数组
的
列表视图控件。在我分类之前一切都很好。据我所知,这会更改项
的
索引(尽管试图强制iItem等于对象成员"id")。问题是,如果在更改
默认
排序
后
删除列表视图项,它将删除位于相同位置
的
其他控件
中
的
项,并中断对象之间
的
链接。例如,假设我拥有的
默认
4项最初按A、B、C、D
的
顺序
排列(
在窗
口1和窗口2
中</
浏览 4
提问于2014-02-27
得票数 2
回答已采纳
1
回答
递归地为任意数目的数据重新
排序
数据列
、
、
、
、
我希望重新
排序
可变数量
的
PySpark数据文件
的
列(它们有相同
的
列,但
顺序
不同)。命令
顺序
的
dataframe
是不相关
的
,只要所有的
dataframe
最终具有相同
的
顺序
。下面的函数适用于2个数据流,我
的
问题是:对于任意数量
的
数据(2、3等),这是
如何
概括
的
?return df_1.select(df_2.sch
浏览 1
提问于2020-12-15
得票数 0
回答已采纳
2
回答
星火知道
DataFrame
的
分区键吗?
、
、
我想知道星火是否知道分割键
的
地板文件,并使用这些信息,以避免洗牌。运行
Spark
2.0.1运行本地SparkSession。之后,在另一个脚本
中
,我读取了这个SomeFile.parquet拼板文件,并对其进行了一些操作。问题: <
浏览 0
提问于2018-01-26
得票数 21
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
结构化数据,我该拿你怎么办?
Spark SQL,DataFrames 以及 Datasets 编程指南
Spark中的数据缓存和数据持久化机制。
pandas两个简单快速的排序方法
Python数据分析之pandas(四)
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券