腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如
何在
spark
配置文件
中
定义
total-executor-core
?
apache-spark
total-executor-cores是
spark
命令行的参数,例如
spark
-shell、
spark
-submit。我希望在
spark
-defaults.conf或
spark
-env.sh
中
配置这样的参数。我在
Spark
documents
中
找不到此参数的替代方法。请帮帮我。更新:
spark
.cores.max具有与
total-executor-core
类似的功能
浏览 28
提问于2020-10-27
得票数 0
回答已采纳
1
回答
在Microsoft Azure中将conf文件添加到类路径
azure
、
apache-spark
、
azure-databricks
我们有一个
配置文件
,它需要位于驱动程序(可能还有执行器)的类路径
中
。在Microsoft Azure
中
定义
Databricks集群时,我配置了自
定义
的
Spark
配置:
spark
.executor.extraClassPath和
spark
.driver.extraClassPath我将两个路径都指向包含我们的配置的dbfs
中
的一个目录。但正如一半人怀疑的那样,这并不管用。 问题是,这些
Spark
Configs支持哪
浏览 0
提问于2019-11-01
得票数 1
2
回答
Spark
on Yarn发送RPC和Slave lost失败
apache-spark
、
hadoop
、
hadoop-yarn
我想在Yarn上部署
spark
2.3.2,Hadoop2.7.3。dc00110.20.42.177 dc003./
spark
-submit --deploy-mode client --class org.apache.
spark
.examples.SparkP
浏览 0
提问于2019-02-20
得票数 3
1
回答
如何
定义
火花提交包的默认maven存储库
maven
、
apache-spark
当我执行我的星火壳或火花提交命令时--packages com.myrepo:
spark
-helpers:0.1 工作非常完美,我可以使用我自己的代码。由于有几个
配置文件
,
如
Sequ-defaults.properties和
spark
-env.sh,我假设您可以以某种方式配置这个设置。我所发现的是,您应该在火花-defaults.properties中使
浏览 2
提问于2016-12-16
得票数 2
1
回答
使用定制插件和调度框架优化Kubernetes上的Apache
Spark
apache-spark
、
kubernetes
、
plugins
、
scheduler
我的目标是在集群
中
优化运行
Spark
应用程序和无状态工作负载,以最大限度地利用集群资源。此外,此预留
定义
/实现也必须对所有其他非
Spark
pods可见,因为它们还必须记录其资源请求,
如
Spark
pods,以便我们对集群资源利用率有一个清晰的了解。目前的实现包括运行一个新的自
定义
调度器或实现一个调度器扩展器来做到这一点,但我想知道我们是否可以通过编写自
定义
调度器插件来实现这一点。此外,在多租户环境(具有不同类型的工作负载)
中</em
浏览 21
提问于2020-07-20
得票数 2
回答已采纳
2
回答
Hadoop纱簇性能调整
hadoop
、
apache-spark
、
hadoop-yarn
火花吐露:-
spark
.executor.memory = 5g纱线吐露:- yarn.scheduler.maximum-allocation-mb = 31744 在节点3& 5上,为什么要使用2gb
中
的节点1、2、4、5、6
浏览 0
提问于2015-11-09
得票数 0
2
回答
无法修改星图配置的值:
spark
.executor.instances
apache-spark
、
pyspark
、
apache-spark-sql
我正在使用
Spark
3.0并设置参数
spark
.conf.set("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
spark
.conf.set("
spark
.sql.files.maxPartitionBytes"
浏览 11
提问于2022-06-17
得票数 2
回答已采纳
1
回答
如何将HDFS
中
承载的
配置文件
传递给
Spark
应用程序?
apache-spark
、
hadoop
、
configuration
、
apache-spark-sql
、
spark-structured-streaming
我想将
配置文件
传递给我的
spark
应用程序。此
配置文件
托管在HDFS
中
。例如;
spark
{ master: "", etc.. kafkaSource如
何在
星火中读取此文件(hosted HDFS)?
浏览 1
提问于2019-05-07
得票数 1
回答已采纳
2
回答
如
何在
启动
Spark
History Server时指定
Spark
属性?
apache-spark
有人知道如
何在
启动
Spark
History Server时在SparkConf
中
设置值吗?
浏览 5
提问于2016-01-21
得票数 3
1
回答
braintree的Laravel
Spark
laravel-5.3
、
laravel-spark
如
何在
spark
with brain tree支付方式
中
添加自
定义
字段,
如
添加客户姓名、持卡人姓名、cvv等。在支付方式
中
,只有卡号和过期日期字段可用。
浏览 0
提问于2017-04-19
得票数 0
2
回答
如何为同一个
spark
作业设置多个
spark
配置
apache-spark
、
apache-spark-sql
、
spark-dataframe
我正在处理一个奇怪的情况,我有小表和大表要使用
spark
处理,而且它必须是一个
spark
工作。为了实现最佳性能目标,我需要设置一个名为
spark
.sql.shuffle.partitions= 500 for bigger tables 我想知道如
何在
spark
中
动态更改这些属性?我可以有多个
配置文件
并在程序
中
调用它吗?
浏览 4
提问于2018-03-07
得票数 1
1
回答
如何将文件
中
的配置参数作为
spark
作业的环境变量进行传递?
apache-spark
、
environment-variables
、
spark-submit
、
bigdata
我正在运行一个
spark
应用程序,它将使用文件
中
的配置参数。文件:-
Spark
.confpassword=ankushport=22如
何在
运行时使用此文件。如何让作业在运行时动态选取
配置文件
,而不是在更改
配置文件
时重新启动作业。我尝试使用--conf
spark
.yarn.a
浏览 0
提问于2017-09-01
得票数 0
2
回答
数据库的非交互配置.连接
databricks
、
databricks-connect
,这将允许我在开发环境
中
包含配置过程,Dockerfile和开发人员只需要在(重新)构建他们的本地开发环境时提供配置值。
浏览 6
提问于2021-12-24
得票数 1
回答已采纳
1
回答
增加
Spark
executors几乎不会提高性能
apache-spark
、
pyspark
我试图根据执行器和内核的数量来衡量
Spark
中
的性能。我们的想法是玩:
spark
.conf.set('
spark
.cores.max', 'x')当我改变执行器和核心的数量时,测试
Spark
的性能的影响。= SparkSession.builder.appName('Bas
浏览 0
提问于2019-02-07
得票数 1
1
回答
“远大期望”的方案配置
pyspark
、
great-expectations
关于如
何在
中使用JSON/YAML文件配置“远大期望”,有很多示例。但是,在我的示例
中
,表模式被
定义
为Python类,我的目标是将验证
定义
保留在这些类
中
。在玩游戏时,我注意到这种模式可以用于在没有任何
配置文件
的情况下验证单个期望: Row
浏览 10
提问于2022-08-10
得票数 0
回答已采纳
3
回答
如
何在
Visual 2017
中
重命名发布
配置文件
?
asp.net
、
.net
、
asp.net-mvc
、
visual-studio-2017
、
one-click-web-publishing
在Visual 2017
中
,当您创建自
定义
发布
配置文件
时,您没有设置
配置文件
名称的选项,它使用默认名称(
如
CustomProfile和CustomProfile1 )创建
配置文件
,并在发布工具栏
中
显示它们,如下所示:在Visual的早期版本
中
,当您创建发布概要文件时,会有一个对话框要求提供
配置文件
名。如
何在
Visual 2017
中
重命名发布
配置文件
?
浏览 2
提问于2017-07-12
得票数 11
回答已采纳
1
回答
用于
spark
3.0.0和Scala 2.12的Azure上的Databricks
Spark
监控
azure-databricks
我有一个Azure Databricks集群,它使用Databricks版本7.1 (
Spark
3.0.0和Scala 2.12)运行集群。为此,我尝试构建
spark
-listeners-loganalytics-1.0-SNAPSHOT.jar JAR文件,
如
GitHub readme中所述。要编译它,我需要编辑POM以创建一个Maven
配置文件
,其中包括我当前的
Spark
和Scala版本,因此我有以下
配置文件
: <profile> <id&
浏览 11
提问于2020-09-25
得票数 1
回答已采纳
2
回答
如何更改我的星火计划的HDFS复制因子?
scala
、
hadoop
、
apache-spark
、
hdfs
在搜索时,我想出了"
spark
.hadoop.dfs.replication“属性,但是通过查看,它似乎不再存在了。那么,如何从我的星火程序或使用火花提交更改hdfs复制因子呢?
浏览 1
提问于2017-09-07
得票数 3
回答已采纳
1
回答
无法在IntelliJ 14
中
生成
Spark
maven
、
intellij-idea
、
apache-spark
我按照
中
给出的步骤在IntelliJ
中
设置了
Spark
项目(github主分支)。当我尝试重新构建项目时,我得到了以下错误(
如
邮件列表中所报告的/home/test/workspac
浏览 1
提问于2015-03-10
得票数 1
1
回答
SonarQube Java插件自
定义
规则
java
、
sonarqube
我们在
中
实现了一个基于的自
定义
规则,
如
中所描述的。我们可以部署它,它似乎是一个新的插件在Sonar,但我们无法找到一个方法添加到任何质量
配置文件
。 这是实现自
定义
规则的正确方法吗?如果是,如
何在
配置文件
中正确地部署和使用它?
浏览 1
提问于2014-03-17
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何在Spark中处理结构化流式数据,如日志文件或传感器数据?
如何用Spark计算引擎执行FATE联邦学习任务?
优秀的数据工程师,怎么用Spark在TiDB上做OLAP分析
【行业资讯】PHP 框架 CodeIgniter 发布 4.3 版
python3,hadoop,spark安装搭建流程小记
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券