腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Spark
-
将
新
列
添加到
具有
与
给定
模式
比例
匹配
的
列
的
数据
框
scala
、
apache-spark
我想用现有
列
的
新
映射
列
将其附加到dataframe,这些
列
以
给定
的
公共前缀开头。例如,我
的
输入是 {"Prefix_A": "v_A", "Prefix_B": "v_B", "Field": "v"}, {"Prefix_A": "v_A", "Prefix_B": &q
浏览 5
提问于2019-03-09
得票数 1
2
回答
Pyspark替换
Spark
dataframe
列
中
的
字符串
python
、
apache-spark
、
pyspark
我想通过替换子字符串在
Spark
Dataframe列上执行一些基本
的
词干提取。做这件事最快
的
方法是什么?id address2 10 bar lane会变成 id address
浏览 0
提问于2016-05-05
得票数 54
回答已采纳
2
回答
Cassandra
将
列
类型从Timestamp更改为Date
date
、
datetime
、
cassandra
有没有办法
将
Cassandra
列
从timestamp更改为date而不丢失
数据
?例如'2021-02-25 20:30:00+0000‘到'2021-02-25’ 如果不是,将此列(时间戳)迁移到
新
列
(日期)
的
最简单方法是什么?
浏览 83
提问于2021-08-30
得票数 1
回答已采纳
1
回答
使用
Spark
的
Apache方案演进
apache-spark
、
iceberg
、
apache-iceberg
目前我在我
的
项目中使用Iceberg,所以我对此有一个疑问。我目前
的
情景是:df.writeTo("catalog.mydb.test2").using("iceberg").create()df.createOrReplaceTempView(&quo
浏览 9
提问于2022-08-16
得票数 1
3
回答
如何在Apache
Spark
中处理变化
的
拼图
模式
apache-spark
、
apache-spark-sql
、
spark-dataframe
、
emr
、
parquet
我遇到了一个问题,我在S3中
将
拼图
数据
作为每日
数据
块(以s3://bucketName/prefix/YYYY/MM/DD/
的
形式),但我无法从不同
的
日期读取AWS EMR
Spark
中
的
数据
,因为一些
列
类型不
匹配
JSON
数据
也被划分为日期,即键
具有
日期前缀。读取JSON工作得很好。无论当前正在读取多少
数
浏览 0
提问于2016-12-02
得票数 24
回答已采纳
3
回答
在CQL中有没有像MySQL一样
的
“听起来像”
的
函数?
cassandra
、
cql
当我使用MySQL时,我可以用SELECT * FROM table WHERE col LIKE "%attribute%";这样
的
语句查询
数据
库 有没有办法在Cassandra中做到这一点?
浏览 1
提问于2015-09-12
得票数 1
1
回答
指定
Spark
Schema不会显示正确
的
显示结果
python-3.x
、
pyspark
、
azure-databricks
、
pyspark-dataframes
我为我
的
spark
代码指定了
模式
,但是结果都返回NULL。然而,当I inferSchema=True,header=True时,我得到了正确
的
结果。例如,我
的
模式
如下所示: myschema = StructType([StructField("event_ts", IntegerType(), True)longitude", DoubleType(), True) ,StructField("co
浏览 35
提问于2020-01-12
得票数 0
回答已采纳
1
回答
如何使用python
将
列
添加到
增量表
apache-spark
、
databricks
、
delta-lake
我有三角桌df =
spark
.read.load("/databricks-datasets/learning-
spark
-v2/people) table_name = "people_10m"现在,我要添加一个
模式
更改,可能是单个
列
,可能是几个
列
,
浏览 9
提问于2022-10-20
得票数 0
回答已采纳
2
回答
Spark
SQL:未解析
的
属性
apache-spark-sql
当我尝试读取sql结果
的
计数时,收到以下错误:Exception in thread "main" org.apache.
spark
.sql.catalyst.errors.package$TreeNodeException: Unresolved attributesval results= sqlContext.sql("select * from tablename")我正在使用
S
浏览 2
提问于2014-11-25
得票数 0
1
回答
在pyspark
的
现有dataframe中添加
新
列
的
方法是什么?
python
、
apache-spark
、
pyspark
、
pyspark-dataframes
我已经在现有的
数据
框
中添加了一个
新
列
,但它没有反映在
数据
帧中。如果我们可以
将
数据
帧分配给另一个
数据
帧,我们就可以看到结果test.show() 有没有办法向现有的dataframe添加一个
新
的
<em
浏览 4
提问于2021-01-26
得票数 0
1
回答
创建Delta表时
的
Databricks SQL AddColumn
pyspark
、
databricks
、
delta-lake
、
dbsql
我正在尝试从增量桶中创建一个在DBSQL转移项中添加了一个
列
的
delta表。我不想传递
模式
,因为随着时间
的
推移,这种情况可能会在桶中发生变化,但我只想向亚稳区添加一
列
,即generatedAlways
列
,以便在增量桶接收
新
数据
时填充
新
值。这是我基于Databricks文档编写
的
代码:.tableName("gol
浏览 17
提问于2022-11-23
得票数 0
1
回答
在Word加载项中更新表
binding
、
office-js
、
word-addins
我想以编程方式
将
一个表
添加到
文档中,然后用
新
数据
更新表。当我调用setDataAsync()时,底层表
的
结构不应该被修改,因此只有在
数据
具有
相同
的
列
数时才执行更新。如果
数据
列
较少,则额外
的
列
将
保持不变(有风险!)。如果
数据
有更多
的
列
,则会引发一个错误,指出“提供
的
数据
浏览 11
提问于2016-08-30
得票数 0
2
回答
动态排序ExtJS 4.2中
的
现有
列
extjs
、
extjs4.2
我有一个
具有
定义模型
的
网格,但是它应该只显示用户选择看到
的
列
,并按照他选择要显示
的
列
的
顺序显示它们。业务需求不是使用内置
列
标题菜单对
列
进行排序/隐藏,也不使用拖放功能来命令
列
,而是使用一个对话
框
,用户可以在其中从“可用
列
”列表中选择“选定
列
”,在该对话
框
中他还可以设置
列
的
显示顺序。我需要构建一个简单<
浏览 4
提问于2015-04-02
得票数 0
1
回答
在不同
列
序
的
蜂箱表中添加火花
数据
pyspark
、
hive
、
hdp
模式
中发生了更改,因此我使用"alter“命令更新目标表,默认情况下
将
新
列
添加到
目标表
的
最后位置。现在,我尝试使用下面的代码
将
spark
保存到它,但是dataframe中
的
列
按字母顺序排列,并且我得到了下面的错误消息hive.setDatabase('myDB') df.write.format(&
浏览 4
提问于2021-02-17
得票数 0
回答已采纳
1
回答
如何更改数组中
的
列
数据
类型
json
、
scala
、
apache-spark
、
spark-dataframe
、
parquet
但是,我坚持
的
事实是,当读取拼板时,
Spark
总是尝试从
模式
文件中获取
模式
,或者只是从第一个parquet文件中获取
模式
,并假定
模式
对于所有文件都是相同
的
。因此,假设我有一个
具有
以下
模式
的
数据
的
JSON文件: |-- Id: long (nullable = true) |-- People: array (nullable = true: string (c
浏览 1
提问于2017-01-26
得票数 2
回答已采纳
1
回答
如何从现有的时间戳
列
向
spark
dataFrame添加
新
的
datetime
列
pyspark
、
apache-spark-sql
我在
Spark
中有一个
数据
帧,它有一个
列
时间戳。我想在此
数据
框
中添加一个
新
列
,该
数据
框
具有
从此现有时间戳
列
创建
的
以下格式
的
DateTime。 “YYYY-MM-DD HH:MM:SS”
浏览 35
提问于2021-06-24
得票数 0
1
回答
Azure
数据
库INFORMATION_Schema
apache-spark-sql
、
databricks
、
azure-databricks
、
information-schema
我正在使用,需要有一种方法来找出哪些
列
在几个表中被允许为NULL。对于MySQL,有一个众所周知
的
Information_Schema,它不存在于Databricks中。我现在
的
想法是使用
Spark
从那里创建一个
模式
。我现在想知道这是否是生成信息
模式
的
等效方式?我
的
方法是这样
的
:df.schema 任何评论都将不胜感
浏览 7
提问于2022-04-27
得票数 1
回答已采纳
2
回答
具有
默认值
的
Django字段迁移到PostgreSQL
数据
库
python
、
django
、
postgresql
、
django-migrations
在这里,它说:"PostgreSQL在
模式
支持方面是这里所有
数据
库中最有能力
的
;唯一
的
警告是,添加
具有
默认值
的
列
将
导致对表
的
完全重写,时间与其大小成正比。“因此,建议您始终使用null=True创建
新
列
,因为这样会立即添加它们。” 我在问我是否正确。据我所知,我应该先用null=True而没有默认值创建字段,然后迁移它,然后给它一个默认值,然后再次迁移它,这些值会立即被添加,但是否则整个<
浏览 5
提问于2017-01-06
得票数 7
回答已采纳
2
回答
如何在没有联接
的
星火`DataFrame.map()操作中更改
模式
?
scala
、
dataframe
、
apache-spark
、
apache-spark-sql
我希望
将
任意
模式
的
DataFrame转换为
具有
相同
模式
的
新
DataFrame和一个
新
列
,该
列
是对每一行中离散显示
的
数据
进行计算
的
结果。我可以放心地假设某些类型
的
列
可以用于逻辑计算,尽管DataFrame是任意
模式
的
。DataFrame映射到一个
新
的
DataF
浏览 2
提问于2021-06-29
得票数 1
回答已采纳
1
回答
如何检查Pyspark Map中是否存在key或value
python
、
pyspark-sql
我在
spark
DF中有一个Map
列
,并希望根据特定
的
键过滤此列(即,如果map中
的
键
与
所需值
匹配
,则保留该行)。例如,我
的
模式
定义为: [StructField('id', StringType()),) 我
的
样本<e
浏览 20
提问于2017-08-30
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
【Power BI】Office 365/Excel 2016+公式
必学包之dplyr包
一文读懂PySpark数据框
一文读懂 PySpark 数据框
Power BI 8月产品功能更新
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券