腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
在
databricks
notebook
之间
共享
缓存
/
持久
数据
帧
是
可能
的
吗
?
apache-spark
、
hadoop
、
databricks
我想在一个笔记本中
缓存
一个表(Dataframe),然后
在
另一个笔记本中使用它,我对这两个笔记本使用相同
的
databricks
集群。 请建议,如果这是
可能
的
,如果
是
,那么如何?
浏览 22
提问于2021-11-12
得票数 1
1
回答
如何在ios中创建/使用
共享
应用组容器作为包含应用及其扩展
之间
的
缓存
ios
、
caching
、
watchkit
、
ios-app-group
app和其扩展
之间
的
数据
共享
是
通过公共AppGroup实现
的
。我可以使用
共享
应用组容器作为
持久
的
数据
/文件存储。如何创建/使用
共享
应用组容器作为包含
的
应用及其扩展
之间
的
缓存
存储?这有
可能
吗
?
浏览 0
提问于2015-05-11
得票数 4
1
回答
如何在
数据
库PySpark中使用在Scala中创建
的
DataFrame
python
、
scala
、
pyspark
、
databricks
我
的
Databricks
笔记本使用
的
是
Python。
notebook
中
的
一些代码
是
用Scala编写
的
(使用%scala),其中之一
是
用于创建
数据
帧
。如果我再次使用Python/PySpark (默认模式),我如何使用/访问这个
在
scala模式下创建
的
dataframe?谢谢
浏览 14
提问于2019-11-17
得票数 1
回答已采纳
1
回答
databricks
:
在
表中添加一列并插入其余
数据
python
、
pandas
、
azure
、
databricks
我对
databricks
和sql
是
新手,我想在那里添加一些
数据
。Id| A| B| C| D| E| F| G| H| I| J| K (A,B,C....
是
列名) 我将解析日志文件,因为它们将出现在blob中,并创建
数据
帧
。
数据
帧
可能
浏览 0
提问于2021-06-07
得票数 0
2
回答
通过Python中
的
Databricks
api读取
Databricks
表?
python-3.x
、
pyspark
、
databricks
使用Python-3,我试图将Excel (xlsx)表与
Databricks
中相同
的
星火表进行比较。我希望避免
在
Databricks
中进行比较。因此,我正在寻找一种通过
Databricks
api读取星火表
的
方法。这个
是
可能
的
吗
?我怎样才能继续读一张桌子: DB.TableName?
浏览 8
提问于2021-03-19
得票数 1
回答已采纳
1
回答
火炬
数据
集和
共享
内存?
pytorch
、
python-multiprocessing
我想在torch.utils.data.Dataset中
缓存
数据
。简单
的
解决方案
是
将某些张量
持久
化到dataset
的
一个成员中。但是,由于torch.utils.data.DataLoader类生成多个进程,因此
缓存
将只对每个实例
是
本地
的
,并
可能
导致我
缓存
相同张量
的
多个副本。有没有一种方法可以使用Python
的
多处理库
在
不同
的
加
浏览 3
提问于2020-03-05
得票数 5
2
回答
在
Databricks
中导入笔记本
python
、
python-import
、
databricks
、
databricks-connect
我正在使用
databricks
-connect和VS Code为
Databricks
开发一些python代码。对于基本
的
笔记本,它工作得很好,但我想对多个笔记本做同样
的
事情,并使用导入(例如,
在
另一个笔记本中使用import config-
notebook
)。然而,
在
VS代码中,import another-
notebook
工作得很好,但在
数据
库中却不起作用。据我所知,
Databricks
中
的
替代
浏览 45
提问于2021-10-19
得票数 1
2
回答
写到csv
的
火花性能差
performance
、
apache-spark
、
pyspark
、
apache-spark-sql
上下文我试过什么发生了什么截图 Then..if我钻研了这份工作。如果我再往下钻
浏览 1
提问于2020-07-01
得票数 1
1
回答
在
postgresql中更新
数据
后不要更改jsp上
的
数据
postgresql
、
jsp
、
servlets
、
jpa
、
eclipselink
我有类可以从db和servlet获取
数据
,以便将这些
数据
发送到jsp。如果我
在
表中插入或删除行(使用pgAdmin),jsp上
的
数据
将被更新(使用新
数据
),但是如果我
在
表中更新现有日期,则jsp上不会更新它(仅在重新启动glassfish之后)。request, response); public void init() throws ServletException { } 获取
数据</e
浏览 0
提问于2015-02-25
得票数 0
回答已采纳
2
回答
如何
缓存
火花
数据
帧
并在另一个脚本中引用它
apache-spark
、
pyspark
、
apache-spark-sql
、
pyspark-sql
是否可以
缓存
数据
帧
,然后
在
另一个script?...My目标中引用(查询)它,如下所示:
在
脚本2中,df中
的
查询
数据
浏览 10
提问于2016-02-23
得票数 12
回答已采纳
1
回答
将Jupyter笔记本与Python会话同步
python
、
spyder
、
jupyter-notebook
我开始使用Python和Jupyter
notebook
进行
数据
分析。我喜欢Jupyter笔记本,但有时我更喜欢使用Spyder来快速查看内存中保存
的
对象(变量、
数据
帧
等)。这就是为什么我想知道是否有
可能
在IDE (如Spyder或Rodeo)中打开
的
Python会话和笔记本
之间
有一个
共享
工作区,这样我就可以
共享
对象,避免重复执行相同
的
代码,从而两全其美。
浏览 3
提问于2016-05-05
得票数 3
2
回答
在
现有ignite集群上启用默认
持久
性
java
、
ignite
我们
的
应用程序使用ignite
在
不同
的
服务
之间
共享
数据
。我们有几个
缓存
和队列。目前,一些高速
缓存
使用第二
数据
区域进行
持久
化。这可以很好地工作。一个新
的
需求是
持久
化队列中
的
项。因为队列总是使用我假设
的
默认
数据
区域,所以如果我
在
该区域上启用
持久
性,那么队列内容应该是
持久
的
浏览 45
提问于2020-04-22
得票数 1
回答已采纳
1
回答
在
Azure
数据
库上运行Bokeh服务器?
python
、
azure
、
ipython
、
bokeh
、
databricks
我
在
本地使用来可视化
数据
。我也尝试
在
Azure版本
的
Databricks
中这样做,但甚至无法运行
的
第一行:from()缺少一个必需
的
位置参数:'data‘ 我进一步研究了一下,发现
databricks
显然
是
构建在开放
的
IPython 2.2.0之上<
浏览 0
提问于2018-10-11
得票数 1
回答已采纳
1
回答
如何终止
Databricks
笔记本
的
并行执行?
multithreading
、
parallel-processing
、
databricks
、
dbutils
我目前正在使用Python
的
Threading来并行执行多个
Databricks
笔记本。这些
是
长时间运行
的
笔记本,我需要添加一些逻辑来终止线程,以防我想用新
的
更改重新启动执行。
在
不终止线程
的
情况下重新执行主
notebook
时,集群很快就会被计算量大、寿命长
的
线程填满,为实际所需
的
计算留下很少
的
空间。 我尝试过
的
建议,但没有成功。我将非常感谢任何关于如何解决这个问题
的</em
浏览 2
提问于2020-07-07
得票数 0
2
回答
在
Azure
Databricks
群集重新启动之前不会显示记录
databricks
、
azure-databricks
、
delta-lake
在过去
的
几个月里,我们一直
在
使用Azure
Databricks
/ Delta lake,最近开始发现加载记录
的
一些奇怪行为,特别是除非重新启动集群或指定特定版本号,否则不会返回最新记录。如上所述,这似乎只影响新插入
的
记录。以前有没有人遇到过这个问题? 任何帮助都将不胜感激。 感谢科尔
浏览 28
提问于2021-09-06
得票数 1
1
回答
我可以
在
databricks
中创建SQL临时表
的
等价物
吗
?
databricks
我有一个
databricks
笔记本,我目前在其中创建了一个基于几个增量表
的
视图,然后根据这个视图更新一些相同
的
增量表。但是,我得到了不正确
的
结果,因为随着增量表
的
变化,视图中
的
数据
也会发生变化。我实际上需要
的
是
在
notebook
开始运行时拍摄
数据
的
快照,然后我可以
在
整个
notebook
中使用它,类似于SQL临时表。目前,我正在通
浏览 68
提问于2021-08-27
得票数 0
回答已采纳
1
回答
Spark Persist和UnPersist
apache-spark
Data_one.unpersist(); Data_one.show(); 即使
在
取消后,
数据
帧
仍在打印。只是搞不懂什么时候
数据
帧
不会
持久
。
浏览 13
提问于2020-02-10
得票数 0
3
回答
取消
持久
化(py)spark中
的
所有
数据
帧
python
、
caching
、
apache-spark
、
pyspark
、
apache-spark-sql
我
是
一个spark应用程序,有几个点我想要
持久
化当前状态。这通常是
在
一个大
的
步骤之后,或者
缓存
一个我想要多次使用
的
状态之后。似乎当我第二次对我
的
数据
帧
调用cache时,一个新
的
副本被
缓存
到内存中。
在
我
的
应用程序中,这会导致
在
扩展时出现内存问题。尽管
在
我当前
的
测试中,给定
的
数据
浏览 9
提问于2016-04-28
得票数 39
回答已采纳
3
回答
PySpark
数据
帧
性能调整
apache-spark
、
pyspark
我正在尝试合并一些脚本;让我们只读一次DB,而不是每个脚本从Hive读取相同
的
数据
。因此,转移到只读一次;处理多个模型。我
持久
化了
数据
帧
并在每次聚合后重新划分输出;但我需要它更快,如果有什么不同的话,那就是这些东西减慢了它
的
速度。我们每天都有20TB+
的
数据
,所以我认为如果
数据
要被多次读取,那么
持久
化
数据
会让事情变得更快,但事实并非如此。 此外,我有很多工作发生在相同
的
数据
浏览 0
提问于2020-04-23
得票数 0
1
回答
列或行最大限制
的
Pyspark
数据
帧
python
、
pyspark
、
databricks
我有一个
在
databricks
中创建
的
pyspark笔记本。我有一个dataframe,需要动态添加列,目前列数
是
186。当我到达python行
的
长度为10000时,我看不到None、Lit等
的
颜色编码,并且我
的
notebook
单元格在行大小达到10000之后无法识别size列声明。 python中
的
一行有大小限制
吗
?如果
是
这样的话,有没有更好
的
方法将这些列添加到
数据</e
浏览 17
提问于2019-03-19
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
增强Jupyter Notebook的功能,这里有四个妙招
4 个妙招增强 Jupyter Notebook 功能
如何从Pandas迁移到Spark?这8个问答解决你所有疑问
加米谷大数据:比拼生态和未来,Spark和Flink哪家强?
成功从 Hadoop 迁移到 Lakehouse 架构的 5 个关键步骤
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券