腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
查找
结构
查找
pyspark
数据
帧
python
、
apache-spark
、
pyspark
、
apache-spark-sql
我是
PySpark
的新手,我正在尝试创建一个通用的.where()函数,它可以接受任何
查找
结构
并
使用
它来检查值是否存在 TYPES = ('TYPE_1', 'TYPE_2', 'TYPE_3') 如下所示
浏览 10
提问于2020-11-08
得票数 0
2
回答
如何快速检查
PySpark
数据
中是否存在行?
python
、
apache-spark
、
pyspark
、
apache-spark-sql
、
exists
我有一个像这样的
PySpark
数据
文件:| A| B|| 1| 2|| 2| 5|我想对表进行
查找
,看看是否存在特定的行。我试过这个:不幸的是,这段代码需要很长时间才能执行,而且由于
浏览 2
提问于2021-02-10
得票数 3
回答已采纳
1
回答
如何根据
查找
数据
框创建
数据
框,并在动态列和特定列中的映射值上创建多个列
python
、
arrays
、
apache-spark
、
pyspark
、
apache-spark-sql
我有两个
数据
帧
,一个是主
数据
帧
,另一个是
查找
数据
帧
。我需要在自定义表单中
使用
pyspark
实现第三个。我需要检查列list_ids中的值,检查
查找
数据
帧
中的匹配项,并在最终
数据
帧
中标记计数。我尝试过数组交集和数组
查找
,但它不起作用。主要
数据
帧
: df = spark.createDataFra
浏览 22
提问于2021-06-17
得票数 1
回答已采纳
1
回答
PySpark
代码
结构
python
、
apache-spark
、
pyspark
、
pyspark-sql
我正在编写
PySpark
代码,其中我有10个
查找
表,对于每个
查找
表,我定义了一个
结构
,然后定义了一个模式。然后,我为每个
查找
表创建一个DF,并在最后
使用
它们与一个主表连接。我是Python新手,所以不知道如何用
PySpark
组织我的代码。也许可以和我分享一些样例产品
PySpark
代码?谢谢!
浏览 0
提问于2016-10-14
得票数 1
1
回答
当
数据
大小被缩放时,最佳的超参数是否保持不变?
machine-learning
、
xgboost
、
bigdata
、
hyperparameter-tuning
我目前遇到的问题是,我的
数据
集由28亿行组成,我把它作为一个
Pyspark
数据
框架。保持
数据
的总体分布,并将其缩小到6,000万或7,000万行,这样就可以作为Pandas
数据
帧
使用
使用
FLAML在某些模型上
查找
此
数据
集的超参数,
浏览 0
提问于2022-07-18
得票数 1
1
回答
有没有办法在
pyspark
中获取列
数据
类型?
apache-spark
、
pyspark
已经讨论了在
pyspark
中
查找
列
数据
类型的方法是
使用
df.dtypes 。这样做的问题是,对于像数组或
结构
这样的
数据
类型,你会得到像array<string>或array<integer>这样的东西。 问:有没有一种本机方法来获取
pyspark
数据
类型?
浏览 0
提问于2018-08-02
得票数 12
回答已采纳
2
回答
具有聚合唯一值的py烈dataframe群
python
、
dataframe
、
pyspark
、
group-by
我
查找
了任何类似于熊猫df.groupby(upc)['store'].unique()的火花放电的参考资料,其中df是熊猫中的任何
数据
。from
pyspark
.sql import* from datetime import da
浏览 5
提问于2021-12-13
得票数 0
回答已采纳
1
回答
跨多列搜索子字符串
apache-spark
、
pyspark
我正在尝试
使用
PySpark
在spark
数据
帧
的所有列中
查找
一个子字符串。我目前知道如何
使用
filter通过一列搜索子字符串,并且包含: df.filter(df.col_name.contains('substring')) 如何扩展这条语句或利用另一条语句在多个列中搜索子字符串匹配
浏览 21
提问于2019-10-17
得票数 0
回答已采纳
2
回答
无法
使用
PySpark
通过DateType创建字段
pyspark
、
apache-spark-sql
、
runtime-error
我正在尝试
使用
样本记录创建
数据
帧
。其中一个字段是DateType。我在DatType字段中提供的值出现错误。请
查找
以下代码错误我尝试
使用
请指教fro
浏览 14
提问于2019-12-03
得票数 2
2
回答
按创建日期获取不同的行
dataframe
、
pyspark
、
databricks
我正在
使用
这样的
数据
帧
: DeviceNumber | CreationDate | Name1002 | 1.1.2019 | Lamp 我
使用
databricks和
pyspark
来完成ETL过程。我如何减少
数据
帧
,使我每个"
浏览 14
提问于2019-05-16
得票数 0
回答已采纳
1
回答
用另一个dataframe
pyspark
中的值替换/
查找
spark df中一列的值
pyspark
、
vectorization
、
data-science
我有一个包含令牌列表的
数据
帧
。spark.createDataFrame(data1).withColumnRenamed('_1','category').withColumnRenamed('_2','tokens')you [0.04986, 0.5678]
浏览 0
提问于2020-04-22
得票数 1
2
回答
IllegalArgumentException:列的类型必须为struct<type:tinyint,大小为:int、indices:array<int>、values:array<double>>,但实际为双精度。‘
apache-spark
、
pyspark
、
apache-spark-ml
我有一个包含多个分类列的
数据
帧
。我正在尝试
使用
两列之间的内置函数来
查找
菱形统计
数据
:
浏览 1
提问于2020-04-06
得票数 8
回答已采纳
1
回答
使用
pyspark
的条件聚合
python
、
apache-spark
、
pyspark
、
apache-spark-sql
将以下内容视为
数据
帧
africa 123 1 10 121.2africa 123 2132 2 13 63.21canada 132 3 21 85.32现在,我想
使用
dataframe将下面的case语句转换为
PYSPARK
中的等价语句。我们可以直接在case语句中
使用</em
浏览 2
提问于2018-11-24
得票数 1
1
回答
在
pyspark
数据
帧
中
查找
结构
类型列中的文本
apache-spark
、
pyspark
我想找出在
数据
帧
的
结构
类型列中出现"matches_count“文本的次数。我怎样才能在
pyspark
中实现这一点。我需要返回一个包含计数的列。此外,每一行的
结构
都不同,因此行中可能存在也可能不存在相同的键。"matches_count": 30 }输出
数据
帧
将有一个
浏览 0
提问于2020-06-09
得票数 1
1
回答
Pyspark
使用
列作为lookup - TypeError:‘groupBy’对象不可调用
dataframe
、
group-by
、
pyspark
、
aggregate-functions
我想向一个包含来自另一个
数据
帧
(df2)的聚合信息的
pyspark
数据
帧
(df1)添加一个新列。| [1,2] |+----------------+----------------+| 000098 | [1,2,3] |但当我尝试访问<em
浏览 6
提问于2019-07-13
得票数 0
1
回答
在
Pyspark
中对相同的两个
数据
帧
执行两个不同连接的最有效方法是什么
apache-spark
、
pyspark
、
pyspark-sql
我正在尝试比较两个
数据
帧
,以
查找
新记录和更新的记录,这些记录将用于创建第三个
数据
帧
。我
使用
的是
Pyspark
2.4.3我一直在
使用
Pyspark</e
浏览 0
提问于2019-07-12
得票数 0
1
回答
具有
数据
帧
查询的
PySpark
UDF函数?
pyspark
、
pyspark-sql
我有另一种解决方案,但我更喜欢
使用
PySpark
2.3来实现它。我有一个二维
PySpark
数据
框架,如下所示:---------- | ----09/31/2018 | 1009/01/2018 | null我希望通过
查找
过去最接近的值来替换ID空值,或者如果该值是空的
浏览 0
提问于2019-02-02
得票数 0
回答已采纳
1
回答
从
PySpark
数据
帧
中
查找
最大评级
python
、
dataframe
、
lambda
、
pyspark
我有一个DataFrame[user: int, recommendations: array<struct<item:int,rating:float>>]类型的Dataframe (
pyspark
.sql.dataframe.DataFrame, rating=[0.005226806737482548, 0.0044402251951396465, 0.004139747936278582])] 我希望结果是一个类似于user_recs的
数据
帧
(评级也将包括在
数据
帧
中。
浏览 18
提问于2019-03-10
得票数 0
回答已采纳
1
回答
在
pyspark
中
使用
函数和字典重新转换列类型
python
、
function
、
loops
、
apache-spark
、
pyspark
我有一个包含许多列的大型
数据
集。我想
使用
pyspark
编写一个函数,它执行以下操作: ->我定义了一个具有列名(值)和
数据
类型(键)的字典->在字典->中
查找
数据
帧
中的列如果在类别中找到列,则
使用
该类别的键转换列类型 到目前为止,我得到了这个函数谢谢:) import
pyspark
from
pyspark
.sql.types import StringType, IntegerType, Arr
浏览 27
提问于2021-06-19
得票数 0
回答已采纳
1
回答
是否有Python函数可以在panda
数据
帧
中
查找
矩阵索引向量?
python
是否有Python函数可以在panda
数据
帧
中
查找
矩阵索引向量?是否有Python函数可以在panda
数据
帧
中
查找
矩阵索引向量?是否有Python函数可以在panda
数据
帧
中
查找
矩阵索引向量?
浏览 13
提问于2020-05-09
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
数据结构——查找
数据结构周边-查找
Linux C语言高级编程数据结构之查找!线性查找与二分查找!
如何使用通配符查找数据
数据结构-二叉查找树
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券