我知道最好的做法是在不使用时删除集群，并在运行作业时启动一个集群，但我想知道我们是否可以让一个“集群”全天候运行，但在没有作业运行时(或在一段时间内没有活动)时停止所有工作进程，然后在作业启动时再次自动扩展
浏览 89提问于2020-11-03得票数 1
我正在考虑运行一个持久化GCP Dataproc集群，该集群承载一个Hive服务器，它将提供一个HiveQL接口，用于查询和更新存储在Google中的长期数据，通过访问。我正在阅读以下文档：
如果没有持久集群无法完成您的工作，则可以创建一个集群。如果有一种方法可以在短暂的集群上完成您的工作，那么这个选项可能很昂贵，并且不建议使用。除
浏览 3提问于2022-01-11得票数 2
是否有一种暂停Dataproc集群的方法，这样当我没有主动运行星际争霸或火花提交作业时，就不会收到账单了吗？此链接上的群集管理说明：
只显示如何销毁一个集群，但我已经安装了火花卡桑德拉连接器API，例如。除了创建每次需要安装的映像之外，我唯一的选择是吗？
浏览 6提问于2016-01-01得票数 8
回答已采纳
1回答
为了遵循这个，我决定尝试工作流模板API。看上去是这样的：gcloudbeta dataproc workflow-templates set-managed-cluster lifestage-workflow \
--master-machine-type n1当我从我已经存在的集群中手动运行它时，作业就可以</e
浏览 0提问于2018-04-17得票数 2
回答已采纳
通过将dfs.datanode.du.reserved设置为节点大小的95%或100%，可以在Dataproc上创建一个没有或非常小的HDFS空间的Hadoop集群吗？我确实创建了一个10-90分割的集群，并且没有注意到我的测试作业有任何问题。
如果采用这种方法，可能会出现Dataproc的稳定性问题吗？，是否担心从Dataproc的工作节点中删除数据节点守护进程
浏览 1提问于2022-07-11得票数 1
我使用的一个变体(因为我无法访问一般使用的存储桶)，一切正常工作，但是当我运行一个作业时，当集群启动并运行时，它总是导致一个Task was not acquired错误。我可以通过简单地在每个节点上重新启动dataproc代理来修复这个问题，但是我确实需要这样做才能在集群创建后立即运行作业。该脚本的这一部分似乎没有正常工作：
# Restarts Dataproc Agent a
浏览 2提问于2018-09-04得票数 0
回答已采纳
看看谷歌的云服务，DataProc似乎也可以做同样的事情。为什么谷歌同时提供这两种服务？
浏览 1提问于2017-09-27得票数 66
1回答
我在Dataproc集群上运行了一个Spark作业。如何配置环境，以便使用IDE在本地计算机上调试它？
浏览 1提问于2020-07-23得票数 6
回答已采纳
要执行源数据准备、数据转换或数据清理，我们应该在什么情况下使用Dataprep、Dataflow和Dataproc？
浏览 0提问于2018-06-20得票数 5
回答已采纳
1回答
我启动一个Dataproc集群并在其上服务Hive。远程从任何机器，我使用Pyhive或PyODBC连接到蜂巢和做事情。这不仅仅是一个查询。它可以是一个有间歇查询的长会话。即使在一个单一的活动查询期间，操作也不会显示为仪表板上的“作业”(我猜是Yarn)。相反，当我通过Pyspark“提交”任务时，它们就会显示为“乔布斯”。除了缺乏任务可见性之外，我还怀疑集群可能无法可靠地检测到Python客户端是否“连接”到它，因此集群的自动删除可
浏览 5提问于2021-03-13得票数 1
回答已采纳
在运行管道时，操作突然停止，日志中没有任何错误消息。已有所需的防火墙规则。请建议如何处理此问题。
浏览 1提问于2019-04-30得票数 4
正如前面的答案所解释的，更改星火集群的详细内容的理想方法是更改。但是，在dataproc上，Spark运行在Yarn上，因此，我们必须调整全局配置，而不是/usr/lib/spark/conf。若干建议：
在dataproc上，我们有几个gcloud命令和属性，可以在集群创建过程中传递。可以更改/etc/hadoop/conf下的log4j.properties吗？另一种方法是在集群init期间使用s
浏览 6提问于2016-03-23得票数 5
回答已采纳
1回答
Hadoop中的作业和任务调度
、、、、
当我读到关于延迟公平调度的文章时，我对Hadoop中的“作业调度”和“任务调度”这两个术语并不感到困惑。如果我的假设是错误的，请纠正我：
每个作业可以有多个映射和减少任务，它们是如何分配给每台机器的？单个作业的任务安排如何？“任务调度”的依据是什么？
浏览 6提问于2013-09-29得票数 5
回答已采纳
1回答
当使用FIFO调度器与纱线(FIFO是默认的对吗？)，我发现纱线预留了一些内存/CPU来运行应用程序。我们的应用程序不需要保留任何这些，因为我们希望固定数量的核心来完成任务，这取决于用户的帐户。这个预留内存使我们的计算不准确，所以我想知道是否有办法解决这个问题。如果不可能删除这一点，我们将尝试缩放集群(我们在GCP上使用dataproc )，但是如果没有优雅的分解，缩小集群就是关闭作业。
有什么办法可以摆脱保留的内存吗？
浏览 1提问于2017-08-30得票数 0
我有一个java应用程序，它从SQS队列中读取数据，并执行一些业务处理，最后将其写入数据存储。随着SQS队列的增长，我希望能够扩展以读取更多消息并处理它们。每条SQS消息大约需要15到20分钟来处理。我正在寻找像AWS Fargate或AWS Beanstalk这样的服务来部署我的应用程序。钱不是问题，但可用性才是问题。最好的平台是什么？
浏览 2提问于2019-05-14得票数 0
1回答
有许多父进程在单独的EC2实例上运行这些作业，因此当父进程启动时，它不能假设处于“处理”状态的任何作业都是孤立的，应该重新安排。由于我们的自动标度行为，我们不能真正标记那个特定“工人”以前已经开始的作业，所以它可以找到这些作业，并在重新启动时重新安排它们。那个工人可能永远不会重新启动。
我们通过心跳机制来处理。父进程在作业运行时将每个正在运行的子
浏览 0提问于2019-03-23得票数 3
我在GCP中有一个带有spark install的VM镜像集群Hadoop，但它不是一个dataproc。我可以在不使用dataproc的情况下安装spark bigquery连接器吗？
浏览 0提问于2020-11-14得票数 0
1回答
我目前正在研究加速和扩展长时间运行的匹配作业的方法，该作业目前在MSSQL2005中作为存储过程运行。匹配涉及具有多个不精确大小写的多个字段。考虑到我不太了解它们是如何运行的内部实现，我想知道是否可以通过使用主过程划分数据集来将进程拆分为并行过程，主过程然后启动子过程，子过程在较小的数据集上工作。也许
浏览 0提问于2010-11-19得票数 2
回答已采纳
2回答
每天部署数十万份短期工作
、、、、
我有一个系统，每天需要部署数十万份短期工作。每个任务运行时间从几秒钟到几个小时不等。每个作业都向外部web服务器发出HTTP请求，将数据写入磁盘(从几兆字节到数百web)，并与数据库建立一系列连接。每个作业都是同一个Docker容器，运行同一个Java进程。每个作业都有不同的配置，作为环境变量传递。
我们目前使用“作业”规范在Kubernetes集群上部署这些作业。然而，当大量的工作将被运行
浏览 0提问于2019-07-11得票数 2
我正在使用气流触发数据库上的工作。我有许多DAG在运行databricks作业，我希望只能使用一个集群而不是多个集群，因为据我所知，这将降低这些任务将产生的成本。使用DatabricksSubmitRunOperator，有两种方法可以在databricks上运行作业。或者使用正在运行的集群按id调用它。-db3-scala2.11', },
现在，我想尽量避
浏览 1提问于2019-02-06得票数 8
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
云直播
腾讯会议活动推荐
腾讯云开发者
