腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
为什么
使用
构建
器
设计
模式
来
创建
Spark
Session
?
scala
、
apache-spark
、
design-patterns
我是
Spark
的新手。谁能帮助我理解
为什么
SparkSession的
创建
遵循
构建
器
设计
模式
,而Scala有其他推荐的
设计
模式
(带有case类)来处理同样的情况?
浏览 10
提问于2019-07-02
得票数 0
1
回答
aws emr pyspark在对方付费电话上卡住
apache-spark
、
hadoop
、
pyspark
、
hadoop-yarn
、
amazon-emr
我
使用
的是emr版本5-30.1。我没有看到任何与此相关的日志。也许,我找错地方了。下面是
spark
-submit命令
spark
-submit --deploy-mode cluster --master yarn --conf
spark
.yarn.maxAppAttempts=1--conf
spark
.driver.memory=4g --conf
spark
.dynamicAllocation.enabled=true --conf
spark
.driver.
浏览 24
提问于2020-09-29
得票数 0
1
回答
AttributeError:'SparkSession‘对象没有属性’序列化程序‘
pyspark
、
pyspark-sql
我
使用
的是火花
器
2.0.1 print(l.b_appid) mrdd = sqlC.read.parquet("hdfs:/
浏览 3
提问于2017-02-21
得票数 1
1
回答
无法设置火花驱动程序内存
apache-spark
、
jupyter-notebook
、
hadoop-yarn
我正在
构建
一个火花(运行在ApacheSparkVersion2.4.3上)会话,如下所示
spark
_
session
.conf.set('
spark
.executor.cores', '3')
spark
_
session</em
浏览 1
提问于2020-02-26
得票数 1
回答已采纳
1
回答
如何测试此函数?
python
、
pandas
、
pyspark
、
python-unittest
我有这个函数: #
spark
already defined somewhere as: query = "SELECT * FROM table"@mock.patch("pyspark.sql.SparkSession&q
浏览 16
提问于2021-11-01
得票数 1
回答已采纳
2
回答
构建
器
模式
是否与构造函数中的参数数有关?
design-patterns
我在学习
设计
模式
。作为其中的一部分,我将介绍Builder
设计
模式
。定义说,“Builder
设计
模式
的目的是将复杂对象的构造与其表示分开”。我试图理解什么是“复杂对象”(.When),我在网上查看,人们提到构造函数是否有更多的参数或可选参数,然后再
使用
构建
器
对象。 这个解释是对的吗?如果我们有可选的参数,那么
为什么
我们不从构造函数中删除这些参数,如果客户端需要
使用
set方法
来
设置这
浏览 0
提问于2020-05-24
得票数 2
回答已采纳
4
回答
从行
创建
DataFrame将导致“推断
模式
问题”
apache-spark
、
pyspark
、
apache-spark-sql
当我开始学习PySpark时,我
使用
一个列表
来
创建
一个dataframe。现在已经不再推荐从list推断
模式
了,我收到了一个警告,它建议我
使用
pyspark.sql.Row。但是,当我尝试
使用
Row
创建
一个
模式
时,就会发现
模式
问题。_createFromLocal(map(prepare, data), schema) File "/
spark
2-client/python/
浏览 0
提问于2017-07-06
得票数 4
回答已采纳
2
回答
Spark
3.0和Cassandra
Spark
/ Python Conenctors:在写入之前没有
创建
表
python
、
pyspark
、
cassandra
、
spark3
我目前正在尝试将我的应用程序升级到
Spark
3.0.1。为了
创建
表,我
使用
cassandra-driver、Python-Cassandra连接
器
删除并
创建
表。然后,我
使用
spark
-cassandra连接
器
将数据帧写入到表中。只
使用
spark
-cassandra连接
器
创建
和删除表并不是一个很好的选择。在
Spark
2.4中,drop-create-write流
浏览 42
提问于2020-10-19
得票数 1
1
回答
为什么
在
构建
器
设计
模式
中
使用
嵌套类,
为什么
不能
使用
setter在同一个类中
构建
对象
java
、
class
、
design-patterns
、
static
、
nested
我访问过几个关于java
构建
器
设计
模式
的站点。它们中的大多数都显示了,要
构建
类,我们需要通过调用相应的setter
来
添加静态嵌套类,然后触发对象
创建
。但是,查询是,没有静态嵌套类,
为什么
不能在同一个类中
使用
这些setter。
浏览 1
提问于2016-05-07
得票数 0
回答已采纳
1
回答
我可以避免将相同的资源参数传递给不同类的实例吗?
python
、
pyspark
我想知道是否有更好的方法
来
实现我想要的。我有一个Python程序,在这个程序中我
使用
类
来
组织代码。但是,所有这些类都需要将打开的资源传递给它们才能工作。在我的特殊情况下,我定义了在
使用
星火会话资源读取的dataframe上执行不同转换的类,如下面的代码片段所示。我想知道是否有更好的
设计
模式
不需要我将相同的参数(在我的示例中是火花会话对象
spark
)传递给每个类成员。注意,有时我在其他类中启动类实例,这说明了
为什么
我需要传递相同的资源,而不是动态地<em
浏览 7
提问于2021-10-22
得票数 1
回答已采纳
1
回答
如何
使用
构建
器
设计
模式
和抽象
设计
模式
来
设计
复杂的GUI?
oop
、
design-patterns
、
builder
、
class-diagram
、
abstract-factory
我正在尝试
创建
一个复杂的GUI,假设主面板包含一个列表面板和一个按钮面板。按钮面板将再次包含两个按钮。我如何
使用
构建
器
设计
模式
和抽象工厂
设计
模式
来
设计
这个GUI?类图看起来会是什么样子? 我理解
构建
器
和抽象工厂
模式
,但是如何将它们一起
使用
呢?这就是我所说的
构建
器
模式
。这是抽象工厂
模式<
浏览 6
提问于2021-10-02
得票数 0
3
回答
蒙戈火花连接
器
: MongoTypeConversionException不能将DATE_TIME转换成NullType
java
、
mongodb
、
apache-spark
、
apache-spark-sql
我
使用
的是mongo-
spark
-connector_2.11版本的2.2.1,它说ConflictTypes有一个基本类型为StringType。因此,解决办法是传递
模式
、列名和类型,这样连接
器
就不会推断类型本身。但是如何传递
模式
呢?这是我从mongo读的Java代码 DataFrameReader x = ss.read().format("com.mongodb.
spark
.sql.DefaultSource").options("
spark<
浏览 2
提问于2018-03-17
得票数 2
1
回答
为kubernetes部署
构建
胖
spark
jars和捆绑包
scala
、
docker
、
apache-spark
、
kubernetes
我已经为
spark
-submits
构建
了很长一段时间的罐子,它们的效果非常好。如果结合
使用
sbt-native-packager和sbt-assembly
来
构建
docker镜像,其中包含启动
spark
驱动程序、运行代码(捆绑了所有库)所需的所
浏览 11
提问于2019-07-08
得票数 4
回答已采纳
1
回答
使用
参数化的构造函数(带有必填字段)和setter,而不是
使用
Builder
设计
模式
java
、
design-patterns
、
constructor
、
immutability
当我们有一个有很多字段的类,其中一些是强制的,一些是可选的,那么
使用
构造函数是一种糟糕的做法,因为有几个问题,其中一个是可读性差。
构建
器
设计
模式
可以是一种解决方案,我们可以在其中分离构造逻辑,并
使用
分步方法
来
创建
对象。我的问题是: 1.)
为什么
我们不能将Setter与参数化构造函数相结合,该构造函数将包含必填字段而不是Builder
模式
?可以
使用
setter设置可选字段。2.)
为什么</em
浏览 3
提问于2021-06-12
得票数 1
2
回答
在
创建
火花会话时,传递设置元组"
spark
.some.config.option“、”配置-值“意味着什么?
scala
、
apache-spark
在
使用
构建
器
模式
创建
火花会话时,我们通常
使用
("
spark
.some.config.option", "config-value")设置配置。我们到底是什么意思,它的意义是什么?例如: .config("
spark
.
浏览 1
提问于2019-01-04
得票数 0
回答已采纳
2
回答
如何解析Foundry中的大型压缩csv文件?
pyspark
、
palantir-foundry
、
foundry-python-transform
是否有一种
使用
Python转换将其解压缩、读取和写入数据集的方法,而不导致执行
器
到OOM?
浏览 5
提问于2021-08-31
得票数 4
回答已采纳
1
回答
从XSD推断AWS Glue数据目录架构,而不是
使用
craw
xsd
、
aws-glue
是否可以
使用
XSD文件推断AWS Glue数据目录的
模式
?
使用
爬虫来猜测XML文件的
模式
可能非常容易出错。可以直接
使用
Glue中的XSD Files在数据目录中
创建
表定义吗?
浏览 0
提问于2018-09-19
得票数 0
2
回答
为什么
我不需要在Databricks中
创建
SparkSession?
apache-spark
、
databricks
为什么
我不需要在Databricks中
创建
SparkSession?配置群集时是否自动
创建
SparkSession?或者是别人为我做的?
浏览 3
提问于2021-10-29
得票数 1
回答已采纳
1
回答
流畅的界面实现和反射。个案研究
java
、
design-patterns
整个实现由客户端代码
来
完成,但我仍然希望给出有效Java的fluent接口的印记。一谈到反思,我就想知道我做的是不是对的。
浏览 0
提问于2013-03-21
得票数 5
2
回答
通过全局变量调用父函数的子对象
javascript
、
event-programming
我有一个
Session
对象,其中一个全局实例
session
保存当前会话,它可以将自己持久化到服务
器
,处理undos等。 会话包含Objects的一个实例,在本例中它基本上是一组Cars对象。当用户更改(例如,表示汽车位置的地图上的标记)时,我希望更新相应的Car对象并保存会话,以便能够重做并将其保存到服务
器
上。糟糕的
设计
”感觉之外),这个问题就出现了,例如
使用
来自服务
器
的数据。在
Session
构造函数中,我
创建
一个新的Objects实
浏览 0
提问于2017-04-29
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
看SparkSQL如何支撑企业级数仓
PySaprk之DataFrame
金融巨头Capital One的无服务器实践
Spark SQL,DataFrames 以及 Datasets 编程指南
【云原生】Spark on k8s 讲解与实战操作
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券