我有2个节点的集群，当我运行查询时，它只在一个节点上运行，
node-scheduler.include-coordinatornode.properties
node.id=ffffffff-ffff-ffff-ffff-fffffffffffa
node.environment=pro
浏览 12提问于2019-07-25得票数 0
我使用带有可选组件presto的gcloud测试版创建了dataproc集群。gcloud beta dataproc clusters create presto-test --optional-components=PRESTO --image-version=1.3-deb9当我尝试执行下面的命令访问蜂巢目录时，它可以成功地打开presto。/presto \ --so
浏览 0提问于2018-12-06得票数 3
1回答
对于spark作业，我们尝试添加一个在本地文件系统上创建自定义日志文件的日志记录框架。在客户端模式下，一切都很好，文件由启动spark-submit的用户在本地文件系统上创建。但是，在群集模式下，本地文件是使用没有写入本地目录权限的用户yarn创建的……
有没有什么解决方案可以让提交作业的用户在集群模式下写入本地文件，而无需将权限更改为777 everywhere？在这种情况下(我
浏览 12提问于2020-07-02得票数 0
我正在设置一个EMR工作，并发现我必须指定主/核心/任务特定的安全组。拥有2有什么意义？如果我在client模式下运行-我将只使用主安全组任何方式。我相信如果我在cluster模式下运行EMR作业，它应该只使用核心/任务的安全组，这不对吗？这至少是我的理解，因为当我在client或cluster模式之间选择时，它告诉我如下：
在从节点(群集模
浏览 0提问于2021-02-19得票数 0
回答已采纳
iam使用hadoop apache 2.7.1和ha群集但有一个活动namenode的集群性能下降(操作变慢)我意识到current active namenode日志显示了尝试连接到以前的活动关闭名称节点的操作
Retrying connect
浏览 0提问于2017-07-03得票数 0
我正在使用 spark version 2.4.7-bin-hadoop.2.7java 8 具有1个主节点和2个工作节点的spark群集正在作为独立群集spark配置运行 spark.mastersbin/start-master.sh 从启动脚本为${SPARK_HOME}/sbin/start-slave.sh spark://localhost:7077 -c 1 -m 50M 我想在群集</
浏览 31提问于2021-04-17得票数 0
我必须在星星之火-提交集群部署模式和独立模式：
在我的例子中，驱动节点被动态地分配给火花。如何从本地自动发布应用程序
在我的例子中，我必须将app的jar部署到每个节点，因为我不知道哪个节点将是驱动节点。
浏览 1提问于2017-07-04得票数 2
目前，我以独立模式运行我的spark集群。我正在从平面文件或Cassandra(取决于作业)读取数据，并将处理后的数据写回Cassandra本身。我想知道如果我切换到Hadoop并开始使用像YARN或mesos这样的Resource manager，它是否会给我带来额外的性能优势，比如执行时间和更好的资源管理？
浏览 2提问于2016-04-01得票数 4
为什么Presto比Spark SQL快？
此外，Presto和Spark SQL在计算架构和内存管理方面的区别是什么？
浏览 3提问于2018-04-25得票数 32
回答已采纳
这样做的2个目标是: 1)允许我们将数据保留在EBS卷上，但删除ML集群堆栈，以便在集群空闲时节省EC2费用；2)删除所有集群堆栈实例，并将其替换为不同实例类型的新实例(以调整性能)。然而，我们遇到了一个问题:卷包含主机名(基本上是AWS内部IP )，如果您停止整个群集并启动一个新的群集，由于IP地址不匹配，群集将处于不可用状态。单个节点的替换通过自动伸缩组工作，因为这将仅替换1个节点(并使用Dyn
浏览 2提问于2019-04-04得票数 1
3回答
看起来HBase可以设置为使用现有的Hadoop集群(与其他一些用户共享)，或者可以设置为使用专用Hadoop集群？我想后者会是一个更安全的配置，但我想知道是否有人有使用前者的经验(但我不太确定我对HBase设置的理解是否正确)。
浏览 4提问于2012-03-30得票数 1
回答已采纳
文档--deploy-mode: Whether to deploy your driver on the worker nodes (cluster) or locally asan external client (client) (default: client)
如果我启动了Spark任务：
.将在工作节点之间共享吗？如果这是真的，那么这是否意味着fig1中的Driver Program机器可以被丢弃(因为它不再被使用)，因为S
浏览 3提问于2015-03-02得票数 52
回答已采纳
我的意思是，它能够让两个服务运行同一个quartz.properties文件，指向一个redis吗？编辑
无法配置JobStore类“net.joelinn.quartz.jobstore.RedisJobStore”道具。
浏览 3提问于2019-01-08得票数 3
回答已采纳
我发现除了apiServer之外，大多数K8S主组件都有一个领导者选择流程。如果任何时候只有一个节点是领导者，为什么我们需要3个以上的主集群来构建更大的k8s集群？
浏览 138提问于2019-08-27得票数 0
如果我需要一个3节点集群，我需要有3个实例吗？或者它们是在同一个实例中创建的？
浏览 3提问于2021-03-05得票数 0
2回答
我使用已经有一段时间了，并且我能够使用一台机器启动Python或R会话，而无需使用Spark。
对于也可以这样做吗？也就是说，用Python启动一个没有星火(和集群)的笔记本会话？
浏览 0提问于2018-10-11得票数 6
回答已采纳
1回答
我想知道一些可以帮助我快速开始使用亚马逊网络服务的好书，以及一些可以帮助我学习亚马逊网络服务的书籍。我的实际目标是使用EC2 & S3建立一个properly.My集群。
浏览 1提问于2011-12-23得票数 0
2回答
我正在学习Spark基础知识，为了测试我的Pyspark应用程序，我在AWS上创建了一个使用Spark、Yarn、Hadoop和Oozie的EMR实例。我成功地使用spark-submit从驱动程序节点执行了一个简单的pyspark应用程序。我有使用Yarn Resource Manager的AWS创建的默认/etc/spark/conf/spark-default.conf文件。一切都运行得很好，我还可以监控跟踪URL。但我无法区分spark<e
浏览 0提问于2020-01-27得票数 0
我在一个6节点集群上试验了Cassandra 3.0.2，发现了“不直观的”读扩展/工作负载模式。select count(*) from dvds
其中dvd有280k条记录。使用默认的vnode设置(num_tokens: 256)，我发现将节点数从1增加到2可以提高大约35%的读取性能，但是每增加一个节点超过2个节点就会降低大约30%的性能。在禁用vnode-s ( CPU
浏览 6提问于2016-01-03得票数 3
我已经使用Cloudera管理器CDH4设置了一个3节点的Hadoop集群。当在mapreduce模式下运行Pig作业时，对于相同的数据集，它花费的时间是本地模式的两倍。这是一种预期的行为吗？还有关于mapreduce作业的性能调优选项的文档吗？
非常感谢你的帮助！
浏览 2提问于2014-05-13得票数 1
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
腾讯云开发者
