腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(2827)
视频
沙龙
1
回答
如
何在
databricks
中将
数据
帧
结果
保
存到
表
中
?
python
、
nlp
、
databricks
我正在尝试将已转换为dataframe的单词列表保
存到
databricks
中
的
表
中
,以便稍后在集群重新启动时可以查看或引用它。我已经尝试了下面的代码,但它总是给我一个错误,或者我确实运行了,但我看不到
数据
库
中
的
表
myWords_External=[['this', 'is', 'my', 'world'],['this',
浏览 16
提问于2019-09-07
得票数 0
1
回答
从Azure
Databricks
Notebook访问SQL Server
sql-server
、
scala
、
apache-spark
、
databricks
、
azure-databricks
我正在使用Azure
Databricks
笔记本并访问Azure plateform上提供的SQL Server。val jdbc_url = sql-db-connection-string val userMyDataFrame.coalesce(1).w
浏览 4
提问于2019-11-13
得票数 0
2
回答
ModuleNotFoundError:
数据
库
中
没有名为“”xlsxwriter“”的模块
pandas
、
dataframe
我正在尝试将pandas dataframe的内容保
存到
windows/azure
databricks
的excel文件
中
。将熊猫作为pd导入 根据
数据
创建一个Pandas
数据
帧
。writer = pd.ExcelWriter('pandas_simple.xlsx',engine='xlsxwriter') 将
数据
帧
转换为XlsxWriter Excel对象。Df.to_excel(写入器,工作<em
浏览 234
提问于2020-07-03
得票数 2
1
回答
Spark
中
的长谱系(DAG)问题
apache-spark
、
databricks
、
directed-acyclic-graphs
我们通常使用Spark作为存储在S3或HDFS上的
数据
的处理引擎。我们使用
Databricks
和EMR平台。我经常面临的一个问题是,当任务规模增长时,工作绩效会严重下降。例如,假设我从五个
表
中
读取
数据
,这些
表
具有不同的转换级别(过滤、分解、连接等),并从这些转换
中
获得
数据
的联合子集,然后进行进一步的处理(例如:根据需要窗口函数等的条件删除一些行),然后是其他一些处理阶段,最后将最终输出保
存到
目标s3路径。但是,如果我们将临时中间<em
浏览 17
提问于2019-10-26
得票数 0
回答已采纳
1
回答
databricks
代码将文件名和大小发送到另一个
表
python
、
pyspark
、
databricks
我有一个代码来检查传入的文件是否具有每个文件的
数据
或not.it检查,并执行代码中提到的操作。想知道如何将文件名、文件大小和读取该文件的时间发送到使用data bricks创建的另一个
表
吗?
浏览 17
提问于2021-09-27
得票数 0
1
回答
我们可以将cmd
中
的输出保
存到
txt文件或环境变量
中
吗?
azure
、
azure-devops
、
environment-variables
、
azure-cli
、
bearer-token
我希望将输出从cmd提示符保
存到
文本文件或环境变量。" : "tokenType" : } 如何将此
数据
集保
存到
任何文件
中
,或者可以将访问令牌保
存到
环境变量
中
,或者如
何在
cmd提示符中提取访问令牌。我正在尝试在devops管道
中
实现这个方法。知道我如
何在
蔚蓝cli
中
重用同一脚本
中
唯一的访问令牌,或者设置管道变量并重用它。这是我
浏览 3
提问于2022-09-19
得票数 0
2
回答
什么是Apache Spark (SQL)
中
的Catalyst Optimizer?
pyspark
、
pyspark-sql
我想知道更多关于在Apache ( PySpark )中使用Catalyst Optimizer的信息,在pyspark
数据
帧
中使用Catalyst Optimizer是可能的。
浏览 23
提问于2019-05-18
得票数 1
3
回答
如
何在
pandas
中
读取文件夹
中
的所有csv文件?
pandas
、
directory
每个月我都会下载整个csv格式的账本,并将其保
存到
一个文件夹
中
。我如
何在
pandas
中将
其作为单
数据
帧
读取
浏览 1
提问于2020-12-04
得票数 0
4
回答
databricks
:将spark
数据
帧
直接写入excel
databricks
有没有办法把spark
数据
帧
直接写成xls/xlsx格式?但是我想使用spark dataframe来处理我的
数据
。有什么想法吗?
浏览 0
提问于2019-11-29
得票数 5
2
回答
通过Python
中
的
Databricks
api读取
Databricks
表
?
python-3.x
、
pyspark
、
databricks
使用Python-3,我试图将Excel (xlsx)
表
与
Databricks
中
相同的星火
表
进行比较。我希望避免在
Databricks
中进行比较。因此,我正在寻找一种通过
Databricks
api读取星火
表
的方法。这个是可能的吗?我怎样才能继续读一张桌子: DB.TableName?
浏览 8
提问于2021-03-19
得票数 1
回答已采纳
1
回答
如何使用spark将包含超过1行标记的复杂xml文件加载到dataframe
中
,并将其保存为
表
(注意一般解决方案)
xml
、
scala
、
apache-spark-sql
、
bigdata
、
xpath-2.0
(这是一个带有2个行标记的xml示例文件(任何使用星火scala
中
的xpath将其加载到dataframe的n个行标记或元素的方法) <author>Matthew<
浏览 2
提问于2019-03-09
得票数 0
1
回答
如何将R dataframe写入Google Cloud Storage存储桶文件夹
r
、
google-cloud-platform
、
google-cloud-storage
我想把R
数据
帧
写到Google云存储存储桶
中
。(file = results , name = "results.csv") 这会将
数据
帧
加载到存储桶现在,我想将这个相同的
数据
帧
保
存到
一个不同的文件夹结构
中
,例如- my-bucket\my-folder\results.csv。如
何在
浏览 4
提问于2018-12-12
得票数 2
1
回答
如
何在
DF
数据
流、
数据
集源选项中使用管道参数
azure-data-factory
、
azure-databricks
我有一个DF管道,带有一些
DataBricks
笔记本,最终
结果
被保
存到
blob存储
中
,但是需要使用一个SQL
表
来更新一些值。那么如
何在
数据
流SQL查询中使用管道参数呢?失败的来源: 我要使用变量的查询: 最后的
结果
是: 任何帮助都是非常感谢的!
浏览 3
提问于2020-10-07
得票数 0
1
回答
如何将
Databricks
表
(时间戳和版本)复制到新订阅
中
的另一个
Databricks
?
azure
、
pyspark
、
azure-storage
、
databricks
、
azure-databricks
目前,我正在将一个旧的
Databricks
环境迁移到一个新的环境。由于许多依赖项,目标是并行运行旧的和新的环境,直到所有的测试都通过为止。因此,我试图将
Databricks
表
从旧环境复制到新环境。要尝试成功复制表,我尝试将
Databricks
表
从旧订阅导出到帐户存储,并从帐户存储
中将
它们导入到新
Databricks
环境
中
。第二种方法没有将DeltaTable保
存到
Databricks
的保存方法。对于第三个选项和第四个
浏览 2
提问于2020-11-13
得票数 2
1
回答
将R
数据
集中的
数据
写入Redshift
r
、
amazon-redshift
我使用"RPostgreSQL“包将R连接到amazon Redshift,我可以连接,创建和删除
表
,查询
数据
库,将
数据
保
存到
R
数据
框
中
,并手动插入值。我不能做的是直接从R
数据
帧
中将
数据
插入到红移读取
中
,并且我不能使用dbWriteTable函数,因为在红移
中
缺少Posgress组件。提前感谢您的帮助!
浏览 0
提问于2014-09-11
得票数 4
1
回答
从Azure Synapse导出1000多行到csv
azure
、
csv
、
azure-databricks
、
azure-synapse
在
Databricks
中
,您可以通过以下操作导出超过1000行的
表
:下载完整的
结果
。在Azure Synapse上,没有这样的选项可以下载全部
结果
:默认情况下,它只导出前1000行。我们如
何在
不编写更多代码的情况下从Azure Synapse下载
表
的所有行到csv?
浏览 7
提问于2022-07-06
得票数 1
回答已采纳
1
回答
更新结构数组-火花
sql
、
apache-spark
、
apache-spark-sql
、
databricks
、
delta-lake
我有以下星火三角
表
结构,|id |addresses我需要从"Street“属性值
中将
第一个地址更新为"XXX",而不需要更改列表
中
的第二个元素。 因此,"ABC“应更新为"XXX”,"XYZ“应更新为"YYY”。您可以假设,在结构中有很多属性,
如
street、zipcode等,所以我希望保持不变,只需从Street属性
中<
浏览 4
提问于2020-06-23
得票数 0
回答已采纳
1
回答
如何避免在pyspark
数据
帧
上一次又一次地重新评估每个转换
apache-spark
、
pyspark
、
pyspark-sql
、
pyspark-dataframes
另外,我知道
数据
帧
的持久化。我持久化了
数据
帧
"df“。但是在一些10+转换之后,如果我保
存到
一个
表
(持久化配置单元
表
),并从下一行的
表
中
读取,它需要大约3+ mts才能完成。即使我把它保
存到
一个中间的内存
表
,它也不能工作。集群大小也不是问题。看起来spark正在一次又一次地重新评估相同的
数据
帧
。 我做错了什么?我不需要把它写到中间
表
。编
浏览 1
提问于2019-10-31
得票数 1
1
回答
Laravel将
数据
数组保存在单独的行
中
php
、
arrays
、
laravel
、
arraylist
、
laravel-7
如
何在
Laravel
中将
数据
数组保
存到
单独的行
中
?下面是我的UI的外观 单击控制器
中
的保存按钮后,Store函数将获取
数据
{} 我想知道如何将它保
存到
我的
数据
库<e
浏览 3
提问于2020-11-12
得票数 0
2
回答
如何将流查询的
数据
写入Hive?
apache-spark
、
pyspark
、
spark-structured-streaming
我正在使用Spark Structured Streaming从HDFS读取
数据
。我想把那个dataFrame保
存到
蜂巢。 我已经这样做了,但它给出了错误。
浏览 2
提问于2019-11-18
得票数 3
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何从Pandas迁移到Spark?这8个问答解决你所有疑问
开源大模型王座再易主,1320亿参数DBRX上线,基础、微调模型都有
黑客教程:交换机的基本知识
DataFocus——开启 可视化大屏 的制作
成功从 Hadoop 迁移到 Lakehouse 架构的 5 个关键步骤
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券