腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
hadoop
群集
+
禁用
spark
应用程序
在
特定
数据
节点
上
运行
的
任何
方式
apache-spark
、
spark-streaming
、
ambari
、
hdp
、
datanode
我们有
Hadoop
集群(带有ambari
的
HDP 2.6.5集群,有25台
数据
节点
机器) 我们正在使用
spark
流媒体
应用程序
(
在
Hortonworks 2.6.x
上
运行
的
spark
2.1) 目前
的
情况是,
spark
streaming
应用程序
在所有
数据
节点
机器
上
运行
但是
浏览 14
提问于2020-07-01
得票数 0
回答已采纳
1
回答
Apache &火花流: Twitter示例只
在
本地工作
apache-spark
、
apache-spark-sql
、
spark-streaming
、
apache-zeppelin
我刚刚从 (“流
数据
教程”一节)中将示例项目添加到Zeppelin笔记本中。我现在遇到
的
问题是,
应用程序
似乎只
在
本地工作。如果我将
Spark
解释器设置"master“从"local*”更改为“SQL ://master:7077”,则在执行相同
的
SQL语句时,
应用程序
将不再带来
任何
结果。我做错什么了吗?我使用以下安装:
Spark
1.5.1 (
Hadoop
2.6+预构
浏览 2
提问于2015-12-15
得票数 2
回答已采纳
1
回答
从ECS码头集装箱
运行
EMR作业
amazon-emr
、
amazon-ecs
我已经将用python编写
的
ML作业代码包含到一个码头容器中,并能够使用Amazon作为码头服务
运行
。我想使用星星之火以分布式
方式
运行
,并在亚马逊EMR.Can上部署,建立ECS和EMR之间
的
连接?
浏览 3
提问于2017-05-25
得票数 9
回答已采纳
1
回答
如何使PySpark
在
集群上工作
apache-spark
、
google-cloud-platform
、
google-cloud-storage
、
google-cloud-dataproc
我有一系列问题(很抱歉,Google文档太糟糕了,而且不方便用户使用):
在
Google,Dataproc
上
,亚马逊
的
EMR相当于什么?当我
在
本地
运行
Spark
作业并尝试访问时,我这样做是没有问题
的
。当我尝试使用Dataproc时,它会崩溃。中
的
主
节点
和工作
节点
上
。我
在
我
的
主
节点
和工作
节点
上将以下内容添加到/etc
浏览 3
提问于2019-01-18
得票数 3
1
回答
与星火历史服务器正在
运行
的
群集
通信
apache-spark
我有一个可以工作
的
Spark
集群,其中一个主
节点
和一些工作
节点
运行
在Kubernetes
上
。此
群集
已用于多个星火提交作业,并已开始
运行
。
在
主
节点
上
,我使用$
Spark
_HOME/sbin/start历史记录-server.sh脚本和一些信任来确定历史服务器
的
日志应该写在哪里,从而启动了一个星火历史服务器:
spark
.ev
浏览 2
提问于2021-09-16
得票数 1
回答已采纳
3
回答
hadoop
集群中
的
边缘
节点
hadoop
、
bigdata
有人能给我解释一下
hadoop
中Edge
节点
的
架构吗?我只能在互联网上找到定义,我有以下问题- 1)边缘
节点
必须是集群
的
一部分吗(如果它在集群内,我们有什么优势?)它是否
在
hdfs中存储
任何
数据
块。2)边缘
节点
可以
在
集群外吗?
浏览 5
提问于2013-05-22
得票数 12
1
回答
Google Dataproc集群属性
google-cloud-platform
、
google-cloud-dataproc
我想了解更多关于这些属性是针对整个集群\每个
节点
还是两者
的
组合
的
详细信息。对于示例
spark
:
spark
.executor.instances
浏览 1
提问于2019-11-12
得票数 1
2
回答
如何将
数据
加载到来自远程HDFS
的
spark
中?
apache-spark
、
hadoop
、
hdfs
我们
的
数据
存储
在
远程
Hadoop
集群中,但是为了执行某些PoC,我需要在我
的
机器
上
本地
运行
spark
应用程序
。如何从远程HDFS加载
数据
?
浏览 12
提问于2022-04-22
得票数 -3
2
回答
在
hadoop
的
映射阶段写入本地文件
hadoop
、
mapreduce
Hadoop
将中间结果写入本地磁盘,将reducer
的
结果写入HDFS。HDFS是什么意思。它在物理上翻译成什么?
浏览 1
提问于2012-09-14
得票数 0
回答已采纳
1
回答
我应该使用多少个火花
节点
来使用Mesos或Yarn?
apache-spark
、
hadoop-yarn
、
mesos
目前,我
运行
的
集群包含4个火花
节点
和1个solr
节点
。我希望快速地将集群扩展到20个
节点
,然后再扩展到大约100个
节点
。我只是不确定在多大
的
集群大小下使用Mesos或Yarn是有意义
的
?当我
的
节点
少于100个时,添加Yarn或Mesos是否有意义? 谢谢
浏览 3
提问于2016-04-01
得票数 0
回答已采纳
3
回答
Apache火花多
节点
聚类
apache-spark
、
apache-spark-sql
、
spark-streaming
、
hadoop-streaming
我是阿帕奇·斯派克
的
新手。我尝试过使用apache独立模式。我可以通过
在
客户机上提交具有部署模式
的
jar来
运行
我
的
代码。但是我不能
运行
多
节点
集群。我曾经用过工人
节点
是不同
的
机器。$$anon$1.run(DriverRunner.scala:79) 据我所知,驱动程序将
数据
和
应用程序
代码发送到worker
节点
。我不知道我
的
理解是否正确。因此,请帮助我
在</
浏览 3
提问于2015-10-20
得票数 0
1
回答
有没有办法
在
Hadoop
中为
数据
块提供辅助存储或备份?
hadoop
、
backup
、
hdfs
我让
Hadoop
运行
在具有非专用
节点
的
集群
上
(即,它与其他
应用程序
/用户共享
节点
)。当其他用户正在使用
群集
的
节点
时,不允许
在
该
节点
上
运行
Hadoop
作业。因此,在给定时刻可能只有几个
节点
可用,并且这几个
节点
并不具有
Hadoop
作业所需
的
所有
浏览 0
提问于2012-03-16
得票数 0
回答已采纳
1
回答
HDInsigh
Spark
如何使用以下代码
apache-spark
、
pyspark
、
azure-hdinsight
我是
Spark
和HDInsight
的
新手。我想知道下面的代码是如何工作
的
?我
的
意思是如何在集群
节点
之间调度作业。假设我有2个头
节点
和4个工作
节点
,哪些代码将在头
节点
上
运行
,哪些代码将在工作
节点
上
运行
? 我如何让
Spark
知道我想要在工作
节点
上
执行一些代码?// the code is fro
浏览 30
提问于2019-09-24
得票数 0
1
回答
Hadoop
-3.0.0与老版本
的
Hive、Pig、Sqoop和
Spark
的
兼容性如何
hadoop
、
apache-spark
、
hive
、
apache-pig
、
sqoop
我们目前
在
10
节点
群集
上
使用
hadoop
-2.8.0,并计划升级到最新
的
hadoop
-3.0.0。我想知道如果我们将
hadoop
-3.0.0与旧版本
的
Spark
和其他组件如Hive、Pig和Sqoop一起使用会不会有
任何
问题。
浏览 16
提问于2017-12-21
得票数 1
3
回答
独立经理诉。纱线Vs。梅索斯
hadoop
、
apache-spark
、
hadoop-yarn
、
mesos
在
3个
节点
上
,哪个调度器(Manager)能有效地工作?目前,我使用
的
是独立管理器,但对于每个火花作业,我必须明确指定所有资源参数(例如:内核、内存等),这是我想要避免
的
。我也尝试过Yarn,但是它
的
运行
速度比独立管理器慢10倍。集群详细信息:
Spark
1.2.1和
Hadoop
2.7.1
浏览 4
提问于2015-08-04
得票数 21
回答已采纳
1
回答
运行
在单个
节点
上
的
Apache和Mesos
apache-spark
、
hdfs
、
mesos
我对
在
Mesos
上
测试火花
运行
感兴趣。我
在
Virtualbox中创建了
Hadoop
2.6.0单
节点
集群,并在其
上
安装了
Spark
。我可以成功地
在
HDFS中使用
Spark
处理文件。然后,我
在
同一个
节点
上
安装了Mesos主和从服务器。我尝试使用将
Spark
作为一个框架在Mesos中
运行
。我
在
Spark</e
浏览 4
提问于2016-04-12
得票数 0
1
回答
为什么HDInsight
上
的
Python失败了,没有一个模块名为numpy?
python
、
azure
、
apache-spark
、
azure-hdinsight
我使用HDInsight脚本操作创建了一个带有的集群,如中所述 您可以使用HDInsight
上
的
Script 集群定制
在
Hadoop
中
的
任何
类型
的
集群
上
安装
Spark
。脚本操作只允许
在
创建
群集
时
运行
脚本来自定义
群集
。有关更多信息,请参见。我
运行
了一个基本
的
Python (word计数示例)脚本,但是当我启动一个使用NumPy<
浏览 0
提问于2014-12-23
得票数 1
1
回答
如何在不查询每个
节点
的
情况下使用PySpark对Elasticsearch
运行
查询?
python
、
apache-spark
、
elasticsearch
、
pyspark
、
elasticsearch-hadoop
我
的
最终目标是使用PySpark
在
Elasticsearch (ES)中高效地索引大量
数据
,然后对索引
运行
大量查询,并记录结果
的
统计信息。我尝试
在
ES查询中表达限制,但显然
Spark
忽略了这一点,所以我用
数据
框过滤器来表达它。即使我将查询更改为专门按单个文档ID进行搜索,它也会通过主
节点
对每个单独
的
分片
运行
查询,方法是
在
每次调用时指定一个
特定
的
分
浏览 20
提问于2019-02-13
得票数 0
2
回答
火花独立模式不将作业分配给其他员工
节点
apache-spark
我正在
运行
一个独立模式
的
火花作业。我已将我
的
工作
节点
配置为连接到主
节点
。他们正在成功地连接起来,但是当我
在
火花公子
上
运行
作业时,任务并没有被分发。我一直
在
收到以下信息- 我尝试
在
worker
节点
上
以本地<
浏览 2
提问于2016-03-21
得票数 0
1
回答
如何管理
Hadoop
集群
hadoop
我已经
运行
了4个
节点
hadoop
集群,并且我询问了
任何
远程管理该集群
的
方法。从我
的
膝上型计算机管理
群集
有办法远程这么做吗?
浏览 0
提问于2013-01-06
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
五大最佳数据框架的快速比较
Zzreal的大数据笔记-SparkDay01
如果你想月薪超过3万英镑,那么这项技能是必要的
Hadoop教程:功能,组件,集群和拓扑
推荐7款好用的Python工具
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券