腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
将
Spark
DataFrame
过滤器
与
列名
列表
一起
使用
scala
、
apache-spark
、
apache-spark-sql
我必须
使用
List[String]过滤
Spark
DataFrame
中的非空列值 val keyList = List("columnA", "columnB", "columnC", "columnD对于名为key的单个列,语法应为: val nonNullDf = df.filter(col("key").isNotNull) 我的问题是如何在前面的
过滤器
中
使用
keyList?
浏览 16
提问于2021-04-19
得票数 1
回答已采纳
1
回答
用于云扳手的Simba JDBC驱动程序
与
Spark
读取器
一起
使用
apache-spark
、
apache-spark-sql
、
google-cloud-platform
、
google-cloud-spanner
当我试图
将
simba驱动程序
与
Spark
的JDBC读取器
一起
使用
时,为了
将
查询输出读取为
DataFrame
,但是它提供了错误的输出。Simba驱动程序时,这个查询会获取正确的数据,但是当我将它与
Spark
的JDBC读取器
一起
使用
时,它将无法获取数据。|+------+--------+ 正如我们所看到的,它正在返回正确的元数据和行数,但是,行包含
列名
。下面是我<
浏览 0
提问于2017-06-29
得票数 3
回答已采纳
1
回答
将
PySpark DataFrames写入MySQL时的最佳实践
python
、
mysql
、
pyspark
、
apache-spark-sql
、
airflow
我试图开发几个数据管道
使用
Apache气流
与
预定的火花作业。df_tsv =
spark
.read.csv(tsv_file, sep=r'\t', header=True) df_tsv.write.jdbc其次,我想知道
将
数据从
Spark
写入数据库(如MySQL )时的最佳实
浏览 2
提问于2021-10-28
得票数 1
回答已采纳
1
回答
大数据结构
bigdata
empColumns = ["emp_id","name","superior_emp_id","year_joined",\模式=
spark
.createDataFrame”,10),\] deptCo
浏览 2
提问于2021-10-28
得票数 0
1
回答
星星之火-如何基于模糊名称获取所有相关列
python
、
scala
、
dataframe
、
apache-spark
、
apache-spark-sql
目标是
使用
product_name作为键查找所有相关信息。问题是,有时它被称为prod_name或其他类似的名称。我试图在不显式地将它们连接在
一起
的情况下自动化这个过程,因为有许多这样的表,而且我不知道所有确切的表/col名称。基本上,我试图从这些蜂巢表中提取
与
product_name相关的所有信息。
浏览 1
提问于2021-08-28
得票数 0
回答已采纳
1
回答
Pandas:来自另一个
DataFrame
的带条件的新
DataFrame
python
、
pandas
我有以下
DataFrame
: A | B | C | D0 | 2 | 5 | 2 1 |1 | 2 | 1 我想要一个新的
DataFrame
,它只接受列B, C,但只接受其中的A == 1。
浏览 7
提问于2020-09-18
得票数 1
回答已采纳
1
回答
如何在pyspark中将RDD的元素组合和收集到一个
列表
中
python
、
pyspark
、
spark-dataframe
、
pyspark-sql
我正在
使用
Apache
Spark
for python,并创建了一个以名称、纬度、经度作为
列名
的
spark
dataframe
。我的RDD
dataframe
格式如下:S 1.6但是,我需要将纬度和经度值
一起
收集到以下形式的
列表
中: [[1.3,22.5],[1.6,22.9],[1.7,23.4]...
浏览 4
提问于2017-07-04
得票数 3
回答已采纳
1
回答
仅
使用
Spark
时广播变量的
使用
scala
、
apache-spark
、
apache-spark-sql
当
使用
spark
时,我们可以
使用
广播变量来优化火花分配不变状态的方式。这个假设正确吗?假设我有一组允许的值。[Set[String]] rdd.filter(row
浏览 0
提问于2020-11-04
得票数 3
回答已采纳
2
回答
如何在PySpark中制作
列名
词典?
python
、
dataframe
、
apache-spark
、
dictionary
、
pyspark
例如:StudentId -> STUDENT_IDS_StudentIDSTUDENT_ID
浏览 2
提问于2022-11-02
得票数 1
回答已采纳
3
回答
Spark
-
将
平面数据帧映射到可配置的嵌套json模式
json
、
scala
、
apache-spark
、
case-class
我想嵌套它们,并将其转换为嵌套的
dataframe
,这样我就可以将其写入拼图格式。 但是,我不想
使用
case类,因为我要尽可能保持代码的可配置性。我被这部分卡住了,需要一些帮助。count of banana": 0 "vegetables": { "count of onion": 0} 我尝试在
spark
dataframe
中
使用
" map
浏览 14
提问于2019-04-25
得票数 0
回答已采纳
1
回答
访问
dataframe
的
列名
scala
、
dataframe
、
apache-spark
在这里,我可以生成列值,这个值
与
相关的
列名
连接在
一起
,例如,我提供的解决方案:。然后,说明如下:import
spark
.implicits._ 那么,如果(仅仅)为了争论, I还想检查实际<e
浏览 3
提问于2019-12-25
得票数 1
回答已采纳
2
回答
在SparkR 1.5.0中,如何在公共列的联接之后明确指定列?
r
、
apache-spark
、
apache-spark-sql
、
sparkr
我在一个同名的列上加入了两个
dataframe
。oe = join(orders, emp, orders$EmployeeID == emp$EmployeeID)oe$EmployeeID invokeJava中的错误(isStatic= FALSE,obj
浏览 3
提问于2015-09-30
得票数 1
回答已采纳
1
回答
转换
列表
中的
列名
python
、
pandas
我正在
将
多个csv文件作为
列表
读取到pandas数据框中,然后将它们连接在
一起
。第一个文件中的所有文件都有不同的
列名
,但我希望
将
这些名称转换为
与
第一个文件相同的名称,这样我就可以相对于相同的
列名
按行组合它们。我可以将它们称为
列表
,如下所示: dfs = (pd.read_csv(f) for f in x) 但是,当我将它们连接在
一起
时,数据框
将
两列合并在
一起
,以下是结果的示例数据: fs = pd
浏览 7
提问于2021-07-11
得票数 0
回答已采纳
2
回答
如何在不从
DataFrame
转换和访问数据集的情况下向Dataset添加列?
scala
、
apache-spark
我知道
使用
.withColumn()向星火.withColumn()添加新列的方法,以及返回
DataFrame
的UDF。我还知道,我们可以
将
结果
DataFrame
转换为DataSet。我的问题是: 如何在地图、
浏览 1
提问于2016-11-15
得票数 11
回答已采纳
1
回答
配置单元:外部表输出结果为空
hive
我创建了外部蜂窝表,如下所示。但我得到了输出,+-------+-------+-------+--++-------+-------+-------+--+| NULL | NULL | NULL | | NU
浏览 14
提问于2017-08-10
得票数 0
7
回答
如何在
spark
的数据中“负选择”列
scala
、
apache-spark
、
dataframe
、
apache-spark-sql
="B")) 结果: 我做错了什么?
浏览 21
提问于2015-07-15
得票数 22
回答已采纳
1
回答
为什么udf调用
dataframe
不起作用?
scala
、
apache-spark
用户定义的函数如下所示,它将df中的"color“列替换为字符串长度:我
将
udfscala> x.show|UDF(color)|| 8|+----------+scala> val x = df.select(&quo
浏览 0
提问于2018-11-06
得票数 2
回答已采纳
2
回答
使用
Flambo时,在
DataFrame
中找不到选择方法的匹配方法
apache-spark
、
clojure
、
apache-spark-sql
、
spark-dataframe
、
flambo
我正在
使用
与
Spark
一起
工作。我想检索一个包含给定
列名
的。IllegalArgumentException未找到匹配方法:为类org.apache.
spark
.sql.
DataFrame
clojure.lang.Reflector.invokeMatchingMethod
浏览 3
提问于2016-03-16
得票数 1
回答已采纳
1
回答
火花
过滤器
未按预期工作..“‘Column”对象不可调用
apache-spark
、
dataframe
、
filter
、
pyspark
、
pyspark-sql
当在
Spark
Dataframe
上的
过滤器
中
使用
"and“子句时,它返回
Spark
.SQL.Column而不是
Spark
Dataframe
。但在一个条件下,它工作得很好。如何show()或迭代通过
Spark
Sql列对象?尝试show()函数时抛出错误- 'Column' object not callable.或者如何
将
Spark
.SQL.Column转换为
Spark</e
浏览 1
提问于2019-04-23
得票数 0
1
回答
如何对
dataframe
.expect方法的列进行排序
apache-spark
、
apache-spark-sql
、
spark-streaming
、
spark-dataframe
我正在尝试在
Spark
中实现SQL减去行为,这里有2个JSON people1.json和people2.json
使用
相同的数据{"name":"xyz","age":20}val dfpeople1 =
spark
.read.json("/tmp/people1.json") val dfpeop
浏览 1
提问于2017-03-27
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
使用Spark将本地文件读取并封装为DataFrame的完整指南
大数据有道之spark选择去重
大数据有道之spark筛选去重
手把手教你做一个“渣”数据师,用Python代替老情人Excel
教程:Apache Spark SQL入门及实践指南!
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券