腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
5
回答
如何
从
Scala
的
迭代
列表
中
创建
DataFrame
?
scala
、
apache-spark
、
apache-spark-sql
、
spark-dataframe
我有以下
Scala
值: val values: List[Iterable[Any]] = Traces().evaluate(features).toList 我想把它转换成
DataFrame
。Product](data: Seq[A])(implicit evidence$2: reflect.runtime.universe.TypeTag[A])org.apache.spark.sql.
DataFrame
org.apache.spark.rdd.RDD[A])(implicit evidence$1: reflect.runtime
浏览 159
提问于2016-06-28
得票数 38
回答已采纳
5
回答
通过
迭代
Scala
列名
列表
中
的
列,从中删除多个列
scala
、
apache-spark
、
apache-spark-sql
我有一个
dataframe
,它
的
列在400左右,我想根据我
的
要求删除100列。因此,我
创建
了一个
Scala
列表
,其中包含100个列名。然后,我想
迭代
一个for循环,在每个for循环
迭代
中
实际删除列。Col100”) for (i <- 0 to dropList.length -
浏览 7
提问于2016-09-30
得票数 11
回答已采纳
1
回答
星星之火:
如何
在每个执行器
中
创建
本地数据
scala
、
pandas
、
apache-spark
、
pyspark
在
scala
中
,有一种方法可以在执行程序
中
创建
本地数据,比如在
中
的
熊猫。在map分区方法
中
,我希望将
迭代
器转换为本地
dataframe
(就像python
中
的
大熊猫
dataframe
),这样就可以使用
dataframe
特性而不是在
迭代
器上手工编写它们。
浏览 2
提问于2018-02-09
得票数 2
回答已采纳
1
回答
使用
列表
中
的
每个元组值为列子集
创建
新
的
熊猫数据框架
python
、
pandas
、
list
、
for-loop
、
tuples
我有一个名为combo=('A','B'),('A',‘B,'C')
的
列表
,现在我想
创建
一个新
的
数据帧,
从
列表
中
的
每个元组值子设置列名。df是原始数据框架,data_abr每次都会
从
列表
中
的
元组
中
创建
带有列名
的
新数据框架。‘,'B’,
浏览 6
提问于2022-06-05
得票数 -1
2
回答
在
迭代
元组方面,
Scala
中
的
sortWith是
如何
工作
的
?
scala
、
scala-3
列表
可以按如下方式
迭代
:val thrill: List[String] = List(Will, fill, until)val res14: List[String] = List(Willy, filly, untily) 上面的代码首先
浏览 0
提问于2021-05-07
得票数 1
2
回答
Scala
:在
DataFrame
循环中将spark for
中
的
值添加到可变
列表
scala
、
apache-spark
、
apache-spark-sql
我想用来自数据帧
的
值更新在for循环外部声明
的
MutableList
的
元素。我将
列表
初始化为空,并期望
列表
在循环结束时添加n个元素。然而,似乎只有一个元素返回到空
列表
中
(永远不会使用新添加
的
内容进行更新),并且当循环结束时,
列表
又回到了空状态。只有当我在一个
dataFrame
上
迭代
时才会发生这种情况,如果我在一个固定
的
范围内
迭代
,比如1-10,返回
的</e
浏览 100
提问于2019-09-26
得票数 0
回答已采纳
2
回答
将Pyspark
的
Dataframe
转换为
scala
数据帧
python
、
azure
、
scala
、
dataframe
、
databricks
在Databricks下,我使用此命令
从
Python
Dataframe
创建
dataframe
%python wordsDF = sqlContext.createDataFrame(pandasDF我想将数据发送回Azure Datalake Gen2,并且我想使用
Scala
dataframe
。
如何
从
Pyspark返回/转换
Dataframe
到
scala
Dataframe
?
浏览 36
提问于2021-10-05
得票数 0
1
回答
如何
从
Scala
自定义对象
列表
创建
数据帧
scala
、
apache-spark
、
dataframe
、
apache-spark-sql
我们可以使用以下命令
从
Java对象
列表
创建
一个
dataframe
:对于Java,Spark可以直接
从
类推断模式,在本例
中
是Example.class。有没有办法在
Scala
中
做同样
的
事情?
浏览 0
提问于2018-04-11
得票数 0
2
回答
groupby
中
的
scala
spark reduce
列表
list
、
scala
、
apache-spark
、
reduce
我有两列
的
spark
DataFrame
colA colB1 22 5 res += i * (3+res) 返回值为res 所以我得到了: colA colB2 78 我
如何
在
scala
中
做到这一点
浏览 13
提问于2021-10-14
得票数 0
3
回答
isin抛出火花中列函数
中
的
堆栈溢出错误
scala
、
apache-spark
、
apache-spark-sql
我正在我
的
scala
应用程序中使用spark 2.3。我有一个
dataframe
,它是在我共享
的
示例代码
中
创建
的
,名为sqlDF。我有一个字符串
列表
,其中包含下面的项目 2 |-5 |1 0
浏览 0
提问于2019-07-16
得票数 2
回答已采纳
1
回答
Java -有没有一种不用
迭代
就能查询Apache Spark模式
的
方法?
java
、
apache-spark
、
struct
、
schema
我正在尝试找出是否有一种方法可以直接
从
从
行
的
数据集派生
的
Spark模式
中
查询结构。有没有某种与
Scala
提供
的
dataframe
.schema("nameOfStruct")等价
的
Java?我尝试过找到这样一个预构建
的
函数,但我唯一能找到
的
就是遍历Structs
列表
或
创建
迭代
器
的
方法。当
Scala</
浏览 10
提问于2019-06-17
得票数 2
回答已采纳
2
回答
迭代
更改列类型--火花数据帧
apache-spark
、
dataframe
、
apache-spark-sql
我在
Scala
中有一个列名
列表
,如下所示另外,我有一个包含这些列
的
数据框架,但都是字符串。现在,我想通过
迭代
dataframe
的
列表
或列来转换
dataframe
的
列,因为我
的
列
列表
非常大,而且我不能使用这么多
的</em
浏览 5
提问于2016-01-28
得票数 3
回答已采纳
1
回答
spark
scala
从
dataframe
中
的
列表
创建
映射
scala
、
apache-spark
我
的
模式如下: |-- id: string (nullable = true) | |--
浏览 0
提问于2017-09-07
得票数 0
2
回答
在Python3
中
创建
摄氏到华氏转换器
的
范围有困难
python-3.x
我
的
指示是 一旦代码正常工作,它应该显示两列,一列是摄氏,另一
浏览 1
提问于2019-01-19
得票数 1
2
回答
Regex与
dataframe
列值匹配
scala
、
apache-spark
我想使用
dataframe
列在Map[String,List[
scala
.util.matching.Regex]]之间执行查找。如果任何一个List[
scala
.util.matching.Regex]与
dataframe
列值匹配,那么它应该
从
Map[String,List[
scala
.util.matching.Regex]]Map[String,List[
scala
.util.matching.Regex]] = Map(m1 -> List(rule1,
浏览 4
提问于2020-02-06
得票数 0
回答已采纳
2
回答
在spark
中
循环加载文件
scala
、
apache-spark
、
apache-spark-sql
我在一个具有相同.txt扩展名
的
目录中有n个文件,我想在一个循环中加载它们,然后为每个文件
创建
单独
的
dataframes。我读过,但在我
的
例子
中
,我
的
所有文件都有相同
的
扩展名,我想一个接一个地
迭代
它们,并为每个文件生成
dataframe
。我
从
计算目录
中
的
文件开始,代码如下 sc.wholeTextFiles("/path/to/dir
浏览 3
提问于2018-08-07
得票数 0
回答已采纳
2
回答
Scala
DataFrame
中
的
迭代
scala
、
apache-spark
我有一个
DataFrame
在星火样帐户,其中有5个不同
的
列。val sampledf= sqlContext.sql(select * from Sampledf)我意识到在甲骨文中,我们不能提供条件下
的
.
中
的
1000多个值。由于OracleTable
中
的
大量数据
从
OracleTable (acctnum in (1,2,3,...100
浏览 0
提问于2018-08-06
得票数 0
回答已采纳
2
回答
在没有O(n)
迭代
的
情况下,将Java
列表
转换为
Scala
?
list
、
scala
、
scala-collections
的
答案很好地解释了
如何
使用
Scala
的
Java转换器将Java
列表
更改为
Scala
列表
。不幸
的
是,我需要将
列表
列表
从
Java转换为
Scala
类型,而该解决方案不起作用:java.util.List[java.util.List[String]].asScala->
scala
.collection.immut
浏览 6
提问于2014-07-31
得票数 1
回答已采纳
1
回答
Python -函数,该函数具有存储来自其他函数
的
结果
的
数据。
python
、
pandas
为此,我有以下代码: df = pd.
DataFrame
([]) {'id': id,1,Draft23,Draft45,Draft6 1,Draf
浏览 3
提问于2020-04-11
得票数 0
回答已采纳
1
回答
哪些星火转换会导致数据仓库上
的
混乱?
apache-spark
、
apache-spark-sql
我在几个地方读到,如果可能的话,应该避免包含洗牌阶段
的
转换,因为洗牌涉及到在节点之间通过网络发送数据,这会给程序带来很高
的
性能成本。我在寻找一个星火转换
列表
,这些转换可能会导致对Spark
的
2.4+数据格式进行洗牌,而我想出
的
只是这个关于旧
的
RDD
的
。
浏览 1
提问于2019-12-16
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
在Scratch中也可以使用列表?教你如何创建一个好用的列表!
如何使用Python从列表中删除指定的元素
肝了3天,整理了90个Pandas案例
年薪50万+的大数据工程师需要具备哪些技能?
大数据之spark基础知识
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券