腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如
何在
另一个
模块
中
使用
相同
的
spark
会话
、
、
、
、
我必须用两个任务在Airflow
中
运行两个
模块
。每个任务都有一个执行一些
spark
操作
的
PySpark
模块
。第二个
模块
使用
在前一个
会话
中
创建
的
数据帧并继续其操作。同样
的
SparkSession初始化,如何实现同样
的
效果?我尝试
使用
getActiveSession(),但由于任务1作业已完成,因此无法工作,因此当任务2运行时,会创建一个新
的
浏览 32
提问于2021-11-23
得票数 0
2
回答
快递4-如何设置额外
的
自定义cookie与
会话
?
、
、
从阅读 不再需要
使用
cookie解析器中间件来使该
模块
工作。这个
模块
现在直接在req/res上读写cookie。如果这个
模块
和cookie解析器之间
的
秘密不
相同
,那么
使用
cookie解析器可能会导致问题。如果我想设置一个额外
的
自定义cookie (
如
loggedIn: true ),我将如
何在
会话
中
做到这一点?除了默认
的
cookies之外,我
浏览 2
提问于2016-04-05
得票数 2
1
回答
在Palantir Foundry
的
代码工作簿
中
如何分配执行者?
、
如果我在工作簿A
中
运行一个计算成本很高
的
pyspark转换,并试图在工作簿B
中
运行某些内容,则这两个队列都将永久排队,直到工作簿A
中
的
构建停止,然后工作簿B
中
的
生成立即运行,就好像它在等待工作簿A
中
的
构建
浏览 5
提问于2022-03-24
得票数 0
回答已采纳
1
回答
什么是databricks
spark
delta表?它们是否也存储特定
会话
的
数据,以及如何查看这些增量表及其结构
、
、
、
spark
delta表
的
用途是什么?它们是要永久存储数据,还是只保留处理数据直到
会话
持续。如
何在
spark
集群
中
查看它们,以及它们属于哪个数据库。
浏览 0
提问于2018-08-20
得票数 1
3
回答
如
何在
maven项目的同一个
模块
中
使用
com.fasterxml.jackson 2.8.1和2.6.5?
、
、
、
我有一个包含
Spark
2.1.0和Presto 0.166
的
模块
。
Spark
2.1.0需要com.faster.xml版本2.6.5,而Presto 0.166严格要求2.8.1。如
何在
相同
的
pom.xml
中
解决问题,以便可以在
相同
的
模块
中
运行它们?
浏览 1
提问于2017-06-02
得票数 2
1
回答
提交jars以激发集群时出现
的
问题
、
、
、
我试图
使用
IntelliJ在scala
中
创建一个基本作业。
使用
下面的代码,我必须构建scala并
使用
sbt assembly创建一个jar。然后将这些罐子连同火花-卡桑德拉连接器一起提交给星火星系团。因此,我
的
问题是如
何在
Intellij
中
不创建jar
的
情况下测试scala代码。而且,每次我更改我
的
build.sbt文件
中
的
某些内容。它启动了一个下载依赖项
的
后台任务,即使我已经将其
浏览 4
提问于2016-04-15
得票数 2
1
回答
如何将流与以前
的
窗口数据连接起来?
、
在
spark
structured streaming
中
,将
相同
in的当前记录集与以前
的
记录集连接
的
最佳方式是什么?如
何在
重启后重新初始化之前
的
状态?我们已经尝试了HBase来存储之前
的
状态,但是它变得非常慢。如果我们
使用
spark
任意
会话
,如
何在
重启后重新初始化以前
的
状态?我们现在已经在Kafka streams
中
实现了这一点。但是想知道在<e
浏览 2
提问于2020-07-15
得票数 2
1
回答
在databricks笔记本中
使用
多个火花连接
、
、
、
、
我想连接到一个数据库(注册商标)笔记本
中
的
两个数据库表,
使用
spark
和sparklyr:tbl_change_db(sc_one, "first_database_name") sc_two <-
sp
浏览 10
提问于2022-11-15
得票数 1
1
回答
将所有内容从ipython
中
的
模块
导入到当前命名空间
、
我希望将
模块
中
的
所有内容都导入到IPython
会话
中
的
全局名称空间中。所以我尝试了from <module> import *,但这不起作用。尽管这在python
会话
中
如
预期
的
那样工作。我如
何在
IPython
中
做到这一点? 我意识到这是一种糟糕
的
做法,但我只是想为一个经常
使用
的
模块
的</em
浏览 0
提问于2012-03-20
得票数 0
回答已采纳
3
回答
对执行者进行星火
会话
、
在部署星火结构流应用程序之后,如
何在
执行器上获得火花
会话
,以部署具有
相同
会话
和
相同
配置设置
的
另一个
作业?
浏览 0
提问于2018-02-18
得票数 4
回答已采纳
1
回答
如何
使用
sparkSession在数据采集卡中
使用
火花卡桑德拉连接器写火花放电
、
、
、
、
我
使用
的
是卡桑德拉数据库( cassandra )
中
的
spark
-cassandra-connector_2.11-2.3.0.jar和吡火花。我正在从一个键空间读取数据,并将其写入
另一个
不同
的
密钥空间。这两个密钥空间有不同
的
用户名和密码。.load()现在我需要创建
另一个
会话
,因为写表
浏览 6
提问于2020-06-10
得票数 1
回答已采纳
1
回答
从Scala火花代码
中
调用Pyspark脚本
、
、
、
Python中有多种资源可以
使用
Java/Scala代码,但我正在寻找scala->PysparkPythonInterpreter.initializePythonInterpreter()我看到一个错误,上面写着:"ImportError:没有一个
模块
名为pyspark“ 对于
浏览 0
提问于2021-08-12
得票数 1
回答已采纳
3
回答
Spark
1.6.0在集群模式下抛出类广播异常在本地模式下运行良好
、
我在集群模式和本地模式
的
spark
上尝试简单
的
字数统计示例,它在本地模式下工作得很好,但在集群模式下抛出类强制转换异常这里是代码片段… .set("
spark
.app.id", "
浏览 0
提问于2016-02-21
得票数 12
1
回答
天蓝色数据库
中
自定义python
模块
与
spark
/dbutils依赖关系
、
、
、
最近,我在Azure Databricks上
使用
了预览功能“repos
中
的
文件”,这样我就可以将我
的
许多通用功能从笔记本转移到
模块
,并减少为单个任务运行大量笔记本
的
开销。但是,我
的
几个函数直接依赖dbutils或
spark
/pyspark函数(例如dbutils.secrets.get()和
spark
.conf.set())。由于它们是在笔记本
的
后台导入
的
,并且直接绑定到底层
会话<
浏览 9
提问于2022-03-10
得票数 1
回答已采纳
1
回答
在自定义包
中
创建pyspark dataframe?
、
、
、
我对最佳实践以及如
何在
包
中
创建
spark
会话
感到有点困惑,其中包可以在databricks或local上
使用
。但是假设我有一个函数,它接受一些数据列表或字典,预期
的
输出是包含数据
的
pyspark dataframe。我认为单个
会话
应该足够了,因此需要检查
会话
是否存在,如果不存在,则创建一个
会话
。但我只是不确定如
何在
函数
中
做到这一点? 这是我
的
代码,为什么它不在一个
浏览 2
提问于2020-10-31
得票数 0
1
回答
如何
使用
SparkSession
的
自定义配置文件(不
使用
spark
-submit提交申请)?
、
我有一个独立
的
python脚本,它通过调用以下几行代码来创建SparkSession,我可以看到它完美地配置了
spark
-defaults.conf文件中提到
的
spark
会话
。
spark
= SparkSession.builder.appName("Tester").enableHiveSupport().getOrCreate() 如果我想要传递一个参数,
另一个
包含我想要
使用
的
spark
配置<
浏览 23
提问于2018-02-07
得票数 5
回答已采纳
1
回答
如
何在
所有文件中
使用
火花变量?
、
、
、
我正在
使用
JupyterLab,并且只在本地执行代码。我试图编写一个
使用
Spark
和Python
的
项目,但是我开始在
Spark
变量方面遇到一些问题。当我想在其他文件中
使用
spark
变量时,问题就开始了,例如,在代码片段中
使用
DataProviders.py:
浏览 3
提问于2021-07-12
得票数 0
回答已采纳
2
回答
在两个war文件之间共享
会话
数据
我有两个war文件,
如
war1和war2 如果我登录应用程序,
会话
将在war1
中
创建,如果am导航到war2,则需要
相同
的
会话
数据。我在服务器
的
context.xml
中
尝试了context.xml,这样就可以通过将数据存储在servletContext
中
来访问数据。但问题是,一旦我在chrome
中
丢失了屏幕,
会话
数据将存储在servletContext
中
,并且数据将保持到应用程序运
浏览 0
提问于2019-01-18
得票数 1
回答已采纳
2
回答
AWS ModuleNotFoundError:没有名为“pyarrow”
的
模块
、
、
、
、
使用
AWS EMR w/
Spark
2.4.3export PYSPARK_PYTHON=python3在火花壳
中
证实了这一点PYTHONPATH会不会因为我不
使用
anaconda而引起问题? 这与星火版和箭版有关吗?这是最奇怪
的
事
浏览 2
提问于2019-08-01
得票数 4
回答已采纳
1
回答
星星之火:从具有不同内存/内核
的
单个JVM作业
中
同时启动
、
、
、
、
为了提高性能,您必须
使用
不同
的
信任来启动每个任务,请参见下面的作业类型示例。,那么你如何用不同
的
会话
同时启动多个火花作业呢?等 解决问题
的
可能方法: 在
相同
的
SparkSession
中
为每个星火作业设置不同
的
会话
信任。启动
另一个
JVM只是为了启动
另一个
SparkSession,我可以称之为session服务。但你永远不知道有多少工
浏览 2
提问于2017-03-09
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Jupyter在美团民宿的应用实践
Spark的数据处理模型是什么,它与传统MapReduce有何不同?
Windows和PC机上搭建Spark+Python开发环境的详细步骤
如果你想月薪超过3万英镑,那么这项技能是必要的
如何在CDSW上运行TensorFlow
热门
标签
更多标签
云服务器
ICP备案
实时音视频
云直播
对象存储
活动推荐
运营活动
广告
关闭
领券