我正在为专业数据工程师学习，我想知道对于Dataproc上的热门数据，"Google推荐的最佳实践“是什么(考虑到成本问题)？如果成本是一个问题，那么我发现了一个建议，将所有的数据都存储在云存储中，因为它更便宜。
是否可以建立一种机制，使所有数据都在云存储上，而最近的数据则自动缓存在HDFS上？
浏览 7提问于2020-03-09得票数 2
回答已采纳
1回答
我可不可以租一块云硬盘，在云硬盘里存好系统、环境、训练用到的图片等数据，然后按需租GPU云服务器？比如先租一年的云硬盘，然后这几天需要了就租块GPU跑，跑完就不租了；过一周需要的时候再租GPU跑。
浏览 199提问于2022-10-04
2回答
但是我的数据是在上，我了解到我可以使用Spark直接查询它，这是Google推荐的。
在这种情况下，是否有必要拆分整个集群？星火在谷歌云存储上的效率和HDFS一样高吗？
浏览 2提问于2018-08-13得票数 0
回答已采纳
1回答
我计划实现mapreduce和hdfs作为分布式文件系统。问题是，我要做的第一步是什么？我应该从什么开始呢？我对Hadoop框架进行了深入的研究。
浏览 2提问于2015-02-04得票数 0
共享文件系统，如NAS
如果上述任何一种选择都不可能，是否还有其他推荐的策略来支持我的数据？
浏览 5提问于2015-02-04得票数 8
回答已采纳
我正在使用亚马逊网络服务Ec2实例来放置用PHP.Right编写的应用编程接口，现在我已经使用Log4PHP进行错误记录。我想知道亚马逊网络服务Ec2是否还有其他内置的错误记录工具。？
浏览 2提问于2020-06-28得票数 0
2回答
这意味着我希望将这个“聊天”事件流转换为HDFS中的“块状”文件。在云环境中，我可能使用S3或Azure存储而不是HDFS。，至少，它们有推荐的模式吗？
浏览 3提问于2014-10-31得票数 3
我正在尝试运行Spark结构化流作业并将检查点保存到Google Storage，我有几个作业，一个没有聚合的完美工作，但第二个聚合抛出异常。我发现有人在S3上遇到了类似的检查点问题，因为S3不支持写后读语义，但GS支持，一切都应该很好，如果有人愿意分享他们使用检查点的经验，我会很高兴。 .format("kafka") .option("kafka.bootstrap.servers", "localho
浏览 9提问于2019-05-15得票数 6
1回答
可以在mac上运行hdp沙箱吗？
、、、、
$AbstractRunner.connect(WebHdfsFileSystem.java:722) at org.apache.hadoop.hdfs.web.WebHdfsFileSystem:1020)
at org.apache.ambari.view.utils.hdfs.HdfsApi$4.run(HdfsA
浏览 2提问于2021-10-03得票数 0
回答已采纳
1回答
AGPL -密码
、、
我正在使用AGPL下发布的代码为作者提供一个粉丝站点。根据AGPL，据我理解，我需要发布我的代码修改。这完全没问题。AGPL会“传染”吗？如果是这样的话，我如何绕过提供包含私有数据库密码之类的下载代码的要求？
浏览 0提问于2018-08-13得票数 1
我正在学习Spark，但如果我必须在Hadoop/Yarn或Mesos上运行spark，我会感到困惑。现在，我正在一个4节点集群上独立运行。
浏览 0提问于2015-07-24得票数 1
4回答
然而，Cassandra需要一些实例来支持这个存储(也不建议存储>1Tbpn 1 Cassandra节点)
对于这种情况，您会推荐什么解决方案？
浏览 22提问于2017-09-20得票数 11
我正在托管主机供应商上运行vSphere私有云配置。物理主机有双14核CPU和128 GB内存.这对我来说没有任何意义，但我对此还不太了解，一般都依赖于供应商的推荐。关于这个警告他们是对的吗？
浏览 0提问于2016-07-18得票数 4
问题是，在亚马逊云上，没有什么比虚拟Ip更能使用Linux-ha获得高可用性。
有没有人能做到这一点。请让我知道所需的步骤？
浏览 7提问于2012-10-06得票数 1
回答已采纳
4回答
我正在尝试将IMS大型机数据注入Hadoop。我想知道有没有可能通过以下任何一个)阿帕奇火花或MapReduce工作。B)任何其他工具/技术。
浏览 1提问于2020-02-04得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
