0回答
上传文件到HDFS是否会自动以分布式方式存储文件？
hadoop、hdfs
我刚刚开始学习Hadoop，我对如何以分布式方式存储数据感到有点困惑。我有MPI背景。对于MPI，我们通常有一个主处理器，它将数据发送到各种其他处理器。这是由程序员显式完成的。有了Hadoop，您就拥有了Hadoop分布式文件系统(HDFS)。那么，当您将本地服务器中的某些文件放入HDFS时，HDFS是否会自动以分布式方式存储此文件，而无需程序员执行任何操作？HDFS这个名字似乎暗
浏览 8提问于2019-01-26得票数 1
回答已采纳
1回答
用于blob数据的分布式文件存储
hdfs、distributed-computing
我想使用HDFS来存储图像/文件。但是我在网上读到，关于HDFS由于单一namenode的缺点。我遇到了这个名为Cassandra的框架，它是一个nosql分布式数据库，但对于blob存储来说，它的性能同样不好。对于这个问题有什么建议吗?例如，一个用于blob数据的分布式文件存储？
浏览 3提问于2013-05-28得票数 0
1回答
如何指定在提交Spark应用程序时从HDFS读取数据的位置？
apache-spark、hdfs
我已经成功地部署了spark集群，但是对于如何在从服务器上分发我的HDFS数据感到困惑吗？是否需要手动将数据放在从节点上，以及如何指定从客户端提交应用程序时从何处读取数据？我已经搜索了多个论坛，但没有找到如何在没有使用Hadoop的情况下使用HDFS与Spark。
浏览 0提问于2017-12-03得票数 0
回答已采纳
1回答
Hadoop到底是干什么用的，主要的应用场景和应用领域是什么，主要解决的核心问题又是什么，我们个人可以用它来干什么 产生价值呢?
浏览 1089提问于2020-09-24
2回答
将小文件合并为用于Hadoop分布式缓存的大文件？
hadoop、hdfs
我有很多小文件(大小约1MB)需要分发。众所周知，Hadoop和HDFS更喜欢大文件。但我不知道这是否也适用于分布式缓存，因为分布式文件存储在本地计算机上。如果它们需要合并，在HDFS上以编程方式合并文件的最佳方式是什么？
还有一个问题:使用symlink的好处是什么？谢谢
浏览 1提问于2013-04-07得票数 2
回答已采纳
1回答
hdfs /user空间在hdfs中分配的位置
hadoop、hdfs
我搞不懂hdfs的/user空间是在哪里分配的。它在Linux文件系统中不可见。但是在hdfs中有一个名为/user的目录。我猜是因为配置的原因？它是否跨集群中的所有节点创建？
浏览 6提问于2015-02-21得票数 0
1回答
度量收集和分析体系结构
database、amazon-web-services、architecture、bigdata、iot
首先，不需要存储所有数据，因为用户只需要指定时间段的图表，因此需要一些聚合。什么样的数据库解决方案适合它？我相信没有RDMS会处理这么多的数据。那么，如何获取度量的平均数据来将其呈现给最终用户呢？AWS具有共享的时间序列数据处理架构：
很简单，我是这样想的：
以
浏览 0提问于2018-11-26得票数 1
2回答
HDFS和ADLS有什么区别？
hadoop、hadoop2、azure-data-lake
与HDFS不同的是，我对天蓝色数据湖的存储方式感到困惑。有谁能简单地解释一下吗？
浏览 2提问于2020-07-09得票数 1
回答已采纳
2回答
在hadoop的映射阶段写入本地文件
hadoop、mapreduce
Hadoop将中间结果写入本地磁盘，将reducer的结果写入HDFS。HDFS是什么意思。它在物理上翻译成什么？
浏览 1提问于2012-09-14得票数 0
回答已采纳
1回答
有/没有HDFS的Alluxio
hadoop、hdfs、distributed-filesystem、alluxio
我有一个集群，将HDFS作为一个未存储的分布式文件系统，但我刚刚读到关于冲积is 的快速和灵活的内容。所以，我的问题是:我应该在HDFS中使用Alluxio还是Alluxio替代HDFS？(我在他们的站点中看到，用于下存储文件系统的共享存储可以是网络文件系统(NFS)。因此，我认为HDFS不是必需的。如果我犯了错误，请纠正我。在哪种模式下性能更好: HDFS与Alluxio或All
浏览 1提问于2018-08-30得票数 2
回答已采纳
1回答
如何构建基于hadoop和lucene的分布式搜索
hadoop、lucene、katta
我正准备使用lucence和hadoop制作分布式搜索模块，但我对以下内容感到困惑：
众所周知，hdfs是一个分布式文件系统，当我将一个文件放到hdfs中时，文件将被分成几个块，并存储在claster中的不同的从机中，但是如果我使用lucene在hdfs上编写索引，我希望看到每台机器上的索引，如何实现它？我读过一些hadoop/cont肋骨/index和一些katta，但不理解“碎片，看起来像索引的一部分”的概
浏览 2提问于2013-12-08得票数 1
1回答
HDFS可以作为机器的本机文件系统运行吗？
hadoop、hdfs
每当我必须执行操作时，我必须将文件从VM文件系统传输到HDFS，在我看来，将所有文件从本机文件系统(在我的示例中为VM本机文件系统)复制到HDFS会产生一定的开销。hdfs dfs -put <FILE_IN_VM_FS> <FILE_IN_HDFS>
HDFS在工业环境中是否作为本机文件系统运行，或者以上提到的方法是这样做的事实。
浏览 2提问于2015-09-18得票数 1
1回答
是分布式文件存储(HDFS/Cassandra/S3等)是否强制spark在群集模式下运行？若有，原因为何？
apache-spark、hadoop、hdfs
是分布式文件存储(HDFS/Cassandra/S3等)是否强制spark在群集模式下运行？若有，原因为何？
Spark是用于计算海量数据的分布式数据处理引擎。假设我在mysql中存储了大量数据，我想对这些数据进行处理。Spark从mysql读取数据，并在集群节点本身上执行内存(或磁盘)计算。我仍然不能理解为什么在集群模式下运行spark需要分布式文件存储？
浏览 3提问于2021-03-25得票数 0
1回答
Hadoop的目的是保存在RAM或磁盘中？
hadoop、hdfs
通过查看互联网上的文档，我得到了这样的印象: HDFS的想法是将其保存在RAM中，以加快速度。现在我们的架构师说HDFS的主要思想是可伸缩性。我没意见。但他也声称，主要的想法是把它放在硬盘上。HDFS基本上是一个可伸缩的硬盘。我的观点是，硬盘支持HDFS是一种选择。但是，主要的想法是将其保存在RAM中。现在谁来了？我现在真的很困惑，我想说，这一点对于理解Hadoop是至关重要的。
浏览 2提问于2013-08-01得票数 1
回答已采纳
1回答
关于配置单元表存储
hive
如果它分布在不同的数据节点上，那么我们如何才能看到\hive\warehouse文件夹下的一个文件呢？
另外，请不要说明这个存储是如何分配给一个分区表的。
浏览 2提问于2015-02-26得票数 0
1回答
使用spark和HDFS作为文件存储系统，使用YARN作为资源管理器的优势是什么？
apache-spark、hadoop、hdfs
既然spark在使用HDFS作为spark的存储系统时，将对数据的操作保存在内存中，那么它是否利用了HDFS的分布式存储？例如，假设我在HDFS中存储了100 it的CSV文件，现在我想对其进行分析。如果我将其从HDFS加载到spark，它将触发将完整数据加载到内存中进行转换，或者它将使用分布式环境来完成其作业，该作业是由在hadoop中编写的MapReduce程序所利用的。如果不是，那么使用spark比使用
浏览 17提问于2019-01-27得票数 0
回答已采纳
1回答
对于Hadoop:哪个数据存储？
hadoop、hbase、store
为此，我正在考虑将Hadoop用于MapReduce和分布式计算。使用MapReduce模式，我可以创建每组100.000条记录，并将它们分布在集群上，以便进行一些分布式分析/计算。除此之外，我还必须存储所有这些记录，并每个月使用它们来改进我每天计算的算法。哪家商店最适合这种情况？我正在考虑HBase或CouchDB，因为我认为它们很适合我的需求。
浏览 3提问于2015-02-11得票数 0
1回答
是否有可能使用key-value将数据存储在HDFS中？
nosql、hdfs、key-value-store
在NoSQL数据库中存储数据可以提供键值存储模型。但是，HDFS在Hadoop生态系统中是一种分布式文件存储。Key-value由mapreduce集群使用。因此，此分布仅在处理阶段生成。我需要知道是否有可能将静态数据存储在HDFS中，其中每个值都由一个键标识。
浏览 44提问于2019-03-06得票数 0
回答已采纳
1回答
来自不同服务器的Hadoop输入
java、hadoop、mapreduce
对于这两个数据节点，每个节点在自己的HDFS中都有一个日志文件。现在，我想运行Hadoop在主节点上执行map/reduce，输入应该是来自两个数据节点的HDFS的两个日志文件。我能这么做吗？有没有可能来自不同datanode的HDFS的输入位于不同的服务器中？
浏览 0提问于2013-07-10得票数 0
回答已采纳
云服务器
ICP备案
对象存储
即时通信 IM
云直播
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号