1回答
为什么google cloud click to deploy hadoop工作流程需要选择本地持久磁盘的大小，即使您计划将hadoop连接器用于云存储？默认大小为500 GB。我在想，如果它确实需要一些磁盘，它的大小应该小得多。在google云中使用hadoop云存储连接器时，是否有推荐的持久化磁盘大小？默认部署创建1个主VM实例和2个工作VM，每个实例具有4个vCPU、15 G
浏览 7提问于2014-11-23得票数 0
我正在从事一个Hadoop项目，并在我的本地集群中生成大量数据。不久之后，我将使用基于云的Hadoop解决方案，因为与实际工作负载相比，我的Hadoop集群非常小，但是到目前为止，我还没有选择我将使用哪一个，即基于Windows Azure、EMR或其他什么。我在本地生成了大量数据，并希望将这些数据存储到一些基于云的存储中，因为我稍后将在
浏览 0提问于2012-05-08得票数 2
回答已采纳
这并不是设计用来在基于云的复杂场景中运行的。但是，由于云允许通过VM模拟单个节点，基于云的Hadoop集群应运而生。但这给我带来了理解上的困难。当我研究Hadoop集群的任何标准解释时，总是基于prem架构，因为所有Hadoop体系结构都是用逻辑和简单的on-prem视图来解释的。但这给理解基于</em
浏览 2提问于2020-09-30得票数 0
回答已采纳
我有一些关于固件的一般性问题-宇宙，如果它们是基本的，很抱歉，但我正在努力了解宇宙的架构和使用。
我看到你正计划将Apache Spark整合到Cosmos中？你有实现这一目标的路线图或日期吗？可以使用哪些Hadoop服务源？我想我读到Cosmos支持Cloudera CDH服务和原始Hadoop服务器服务？那么HortonWorks或MapR呢？我知道非标准文件系统可以与Hadoop一起使用，例如MapR-FS，这样的选项在Cosmos中可能吗？我还读到Cosmos“
浏览 7提问于2016-05-27得票数 1
1回答
我是hadoop的新手。我正在使用雅虎提供的Linux，因为我不允许在我的机器上安装操作系统。我需要利用云服务，并且必须在hadoop相关项目上工作。当我在谷歌上搜索"Hadoop & Cloud“时，大多数时候我得到的是。但为了访问它，他们要求，因为我是在基于wi
浏览 4提问于2013-04-01得票数 2
在我创建了一个基于google-cloud的支持hadoop的集群之后，我想要将默认存储桶更改为不同的存储桶，我该怎么做呢？我在谷歌云文档中找不到答案。谢谢!
浏览 8提问于2015-10-28得票数 0
1回答
我正在考虑给客户买雪花，但是我不能告诉他们文档在哪里存储数据？似乎是s3，但为什么这么昂贵的存储成本？用户的s3或雪花中的数据是s3吗？
浏览 2提问于2020-03-12得票数 0
回答已采纳
我正在创建火花会话使用下面的代码片段在python笔记本上的AWS EMR集群。spark = SparkSession.builder \ .getOrCreate()df_songs = spark.read.option
浏览 10提问于2022-10-10得票数 0
回答已采纳
我想我了解Hadoop架构和结构的基本知识。在将数据写入datanode之前，我会得到它被缓存在本地临时文件位置中。这是每个namenode的一个文件位置吗?在namenode为每个namenode指定要存储在哪个datanode之前，是否存储到集群中的所有数据(可能来自多个上载)？或者Hadoop甚至可以处理来自不同位置的</e
浏览 4提问于2015-01-09得票数 0
回答已采纳
1回答
我有十几个存储不同数据的数据库，每个数据库的大小都是100 in。所有数据都存储在AWS服务中，如RDS、Aurora和Dynamo。很多时候，我发现自己需要跨数据库执行“联接”，例如，在多个数据库中显示一个学生ID，其中包含我想要收集的数据。连接通常是在数据从数据库中流出之后进行的，因为数据不在同一个数据库中，这有时只需要对数千条记录进行几个小时。诸如或之类的服务是否允许您以某种方式从许多数据源“导入”数据，然后您可以执行SQL查询来加入它们？
Hadoop<
浏览 0提问于2018-01-10得票数 3
回答已采纳
1回答
目前，Hadoop通过将任务分配给包含数据的节点或接近该节点的节点(例如相同的机架)来实现数据局部性。但是，我想知道是否可以将相同的概念应用于部署在一组虚拟机上的云计算中，因为有关物理层的信息，例如哪些物理机器当前承载了这些VM，可能是不可用的。
浏览 5提问于2014-01-21得票数 2
回答已采纳
2回答
我想将Hadoop部署到Openstack云中。有什么自动的方法吗？有什么比柔术更好的吗？我想在Opensuse实例上部署Hadoop，所以juju只是我的临时解决方案。现在它不起作用，但我想我迟早会处理的，但当然欢迎任何教程。
浏览 0提问于2012-07-19得票数 1
1回答
我试图在hdfs和gcp云存储之间复制数据。这不是一次数据复制。第一次复制后，我希望只复制新文件，更新文件。如果文件在on上被删除，那么它也应该从云存储中删除。然而，我意识到，当目标是云时，基于快照差异的复制不能工作。-update标志似乎不适用于云存储。它复制所有文件，即使对其没有任何更改。带有快照diff的命令
hadoop distcp --conf
浏览 16提问于2022-07-29得票数 0
嗨
嗨，我想用netbeans软件在cloudsim中实现hadoop。你能指点我吗。同时，我已经有hadoop类的源代码了。
浏览 2提问于2016-07-09得票数 1
1回答
我正在考虑使用HDInsight来处理必须在静态时加密的数据。我仍处于早期研究阶段，但我假设我可以添加一个执行解密的map步骤。
我是不是走错了路，或者这是一条可行的前进道路？另外，在内部使用什么协议来传达之前的map/reduce操作的结果？它有动态加密的选项吗？
浏览 7提问于2014-11-11得票数 0
我们正在尝试为Hadoop集群中的工作者节点使用d2.x大型实例类型。它说基于HDD的本地存储。
是EBS存储系统吗？还是附加到EC2实例？
浏览 1提问于2018-03-30得票数 1
回答已采纳
1回答
为了在GCP中实现Cloudera备份和AWS类功能的灾难恢复，我正在寻找一些替代方案。
然后用gsutil rsync [OPTION]... src_url dst_url同步hdfs如果上面的方法是不可能的，那么在Google云存储(GCS)中实现Cloudera BDR还有其他选择吗？
浏览 5提问于2022-02-16得票数 0
我在Hadoop有4年的经验，我想学习新的技术，什么对我来说是最好的学习.net或SalesForce？
浏览 0提问于2015-12-09得票数 0
我是Hadoop的新手，我试图了解应该如何安装/配置Hadoop。从文档中我看到Hadoop通常应该知道物理服务器配置(例如在机架之间复制数据)。因此，对于我来说还不清楚，如果Hadoop安装在某些管理程序层(例如使用OpenStack)之上，在这种情况下如何实现正确的复制呢？请你指出这方面的文章/文件好吗？
浏览 0提问于2015-02-11得票数 -1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
