HDFS磁盘使用情况是否反映PC上本地硬盘空间的使用情况？
HDFS（Hadoop Distributed File System）是Apache Hadoop生态系统中的分布式文件系统，主要用于存储和处理大规模数据集。HDFS的磁盘使用情况不直接反映PC上本地硬盘空间的使用情况。
HDFS将数据分布在Hadoop集群中的多个节点上，每个节点都有自己的本地硬盘用于存储数据块。HDFS使用分布式存储的方式，将大型文件切分成小的数据块并在集群中的多个节点上进行备份存储，以提高数据的容错性和可靠性。
在HDFS中，数据块的存储位置和分布是由Hadoop集群管理器（如NameNode）负责维护和管理的。因此，HDFS的磁盘使用情况主要反映的是集群中所有节点上存储的数据块占用的空间，而不是PC上本地硬盘的使用情况。
如果想了解PC上本地硬盘空间的使用情况，可以通过操作系统提供的工具或命令来查看，例如在Windows系统中可以使用资源管理器或运行"dir"命令，而在Linux系统中可以使用"df"命令或"du"命令。
腾讯云提供了与HDFS类似的分布式存储服务Tencent Cloud Object Storage（COS），它是一种高扩展性、低成本的云端对象存储服务，适用于存储和处理大规模数据集。如果您在使用腾讯云的分布式计算服务（例如腾讯云EMR），可以结合使用Tencent COS来存储和管理数据。您可以通过腾讯云的官方文档了解更多关于Tencent COS的信息：腾讯云对象存储COS
请注意，由于您要求不提及特定的云计算品牌商，因此在回答中没有提供与腾讯云以外的其他云计算品牌商相关的信息。
相关·内容
我试图使用云度量来监视Dataproc2.0上本地磁盘的使用情况(百分比)。这将有助于监视星火临时文件填充磁盘的情况。
默认情况下，Dataproc似乎只发送本地磁盘性能指标、CPU等。度量和集群级HDFS度量，但不包括本地磁盘使用情况。
Dataproc映像上似乎安装了堆栈驱动程序代理，但它没有运行，因此Dataproc显然使用了另一种收集度量的方法。我检查了在/etc/stackdriver/collectd.conf中启用了df插件。但是，启动代理失败：
Jul 16 03:01:57 metrics-test-m systemd[1]: Starting LSB: start and
浏览 2提问于2021-07-16得票数 3
回答已采纳
1回答
我需要知道我的SOLR集合在索引和存储数据时消耗了多少内存，但是找不到任何可靠的来源。我在路径hdfs://nameservice1/solr1/my_collection/core_node1/data上使用了hdfs dfs -du，但它提供了两种不同的数据大小：
143.3 M 429.8 M hdfs://nameservice1/solr1/my_collection/core_node1/data
但我不知道这是不是正确的路径，或者哪个大小是正确的。
浏览 0提问于2015-10-19得票数 0
1回答
我们希望将本地文件复制到HDFS
示例
su hdfs -c 'hadoop fs -put -f /tmp/hadoop-streaming.jar /hdp/apps/2.6.4.0-91/mapreduce'
此命令实际上是将用户切换到HDFS，并将/tmp下的本地文件复制到/hdp/apps/2.6.4.0-91/mapreduce
最大的问题是-如何知道文件传输是否成功？
只捕获$可以吗？从CLI？
作为
su hdfs -c 'hadoop fs -put -f /tmp/hadoop-streaming.jar /hdp/apps/2.6.4.0-91
浏览 17提问于2019-10-25得票数 0
回答已采纳
1回答
背景
使用java将文件上传到s3的简单老问题稍微有点扭曲
S3不支持流(AFAIK)，因此在上传数据之前，需要将数据分组到适当大小的文件中。
在创建上述临时文件时，有一些关于位置的选项。
一些指定目录中的本地目录
在HDFS中本地(如果可能的话，我甚至不知道Hadoop中的H)
到hadoop集群中的HDFS
问题
哪一个可能更快？
使用HDFS (本地或集群)与本地FS，HDFS本质上更接近S3格式是否有优势？
技术和基础设施
EC2，linux，java
浏览 0提问于2016-09-23得票数 0
回答已采纳
1回答
我正在为远程hdfs构建一个local disk cache，当从hdfs读取时，系统将在本地磁盘上缓存文件。我认为这会增加吞吐量。
如果从PageCache读取数据，它确实会有很大的改善；但是，如果清除PageCache，则磁盘IO的性能在不同的测试条件下是不稳定的。
具体来说，我通过数据库测试了Parquet文件(每个文件100 To )。在同一个数据集中，当我扫描select * from table (即扫描所有列)时，我看到本地IO率是hdfs的五倍；但是当I select result from table (即扫描一列)时，我发现本地IO率是本地的两倍。
在这个测试中，除了文件系
浏览 4提问于2022-10-01得票数 0
我不得不说，我有点搞混了，我对apache 没有兴趣，我有以下几个问题。
我的最终目标只是让本地的齐柏林飞艇与本地、hdfs和本地 required 一起工作，以便进行简单的实践，并提供所需的最小安装。
问题
齐柏林飞艇的安装是否足够？它是否包括本地hdfs、spark的组件？
如果不是，我还需要安装什么才能产生本地火花和hdfs？
我是否需要安装本地hdfs (假设我想使用hdfs)，以及是否需要安装本地星星之火(假设我想使用本地星星之火)。
谢谢
浏览 3提问于2017-12-16得票数 0
回答已采纳
1回答
我刚刚检查了我的硬盘上有多少可用空间
:~$ free -t
total used free shared buffers cached
Mem: 4063056 1075744 2987312 0 65064 551704
-/+ buffers/cache: 458976 3604080
Swap: 4124668 0 4124668
Total: 8187724 1075744 711198
浏览 0提问于2013-06-09得票数 0
回答已采纳
1回答
我们有10个节点的HDFS (Hadoop - 2.6，cloudera - 5.8)群集，其中4个节点的磁盘大小为10 TB，6个节点的磁盘大小为3 TB。在这种情况下，小容量磁盘节点上的磁盘不断变满，而高磁盘大小节点上的磁盘是空闲的。
我试图理解namenode如何将数据/块写入不同磁盘大小的节点。无论它是平均分配的，还是写入数据的某个百分比。
浏览 1提问于2017-05-24得票数 1
我使用以下方法将文件从本地PC上传到hdfs：
FileSystem fs = FileSystem.get(conf);
boolean deleteSrc = true;
String destFile = "/user/admin/my.csv";
fs.copyFromLocalFile(deleteSrc,new Path(inputFile), new Path(destFile));
这将导致文件从loca存储中删除。所以，这个副本实际上是一个“移动”。
如何上传本地文件的副本？
浏览 4提问于2017-10-01得票数 0
回答已采纳
1回答
我有一个由分区的拼图文件组成的大型Impala数据库。我直接使用HDFS将一个Parquet分区复制到本地磁盘。此分区总共有15 of，由许多文件组成，每个文件大小为10MB。我正在尝试使用Pandas与Pyarrow引擎或Pyarrow直接读取，但它在内存中的大小使用了超过60‘t的RAM，并且它在使用所有内存之前不会读取整个数据集。内存使用量如此之大的原因可能是什么？
浏览 32提问于2019-02-02得票数 1
1回答
群集上不健康的节点
、、、、
集群上的节点处于不健康状态的原因是什么？
根据我有限的理解，当给定节点上的HDFS利用率超过阈值时，通常会发生这种情况。此阈值是用最大磁盘利用率-每个磁盘百分比属性定义的。
我曾经观察到，当一个内存密集的火花作业在星火上被触发时-sql或者使用pyspark节点会进入不健康状态。进一步看一下，我对处于不健康状态的节点进行了ssh，发现实际上dfs利用率低于75%，并且在我的集群中为上述属性设置的值为99。
因此，我推测还有其他一些事实，我遗漏了，这基本上是导致这种行为的原因。
提前谢谢你的帮助。
马尼什·梅拉
浏览 3提问于2017-05-06得票数 1
回答已采纳
当我试图从本地系统将文件放入hdfs时，我一直面临着这个问题。下面我已经粘贴了这个错误
15/04/06 15:26:01 WARN hdfs.DFSClient: DFSOutputStream ResponseProcessor exception for block BP-828097856-192.168.2.80-1424273979398:blk_1073752341_11540
java.io.IOException: Bad response ERROR for block BP-828097856-192.168.2.80-1424273979398:blk_1073752
浏览 1提问于2015-04-06得票数 3
1回答
Windows资源监视器是一个不错的(内置的)工具，它提供了对资源利用的快速概述。在安装了Hyper-V的服务器上，它正确地显示了虚拟机生成的CPU和磁盘活动，但不知何故，它们被排除在内存负载统计之外。有办法把他们包括进去吗？
浏览 0提问于2011-10-19得票数 1
回答已采纳
1回答
HDFS或HBase中是否存在最大存储空间配置？
我发现
dfs.data.dir：“逗号分隔的路径列表在DataNode的本地文件系统上存储其块”和
dfs.datanode.du.reserved：，但它是为HDFS预留的非DFS空间
在中
对于HBase，我发现了一些堆大小配置和压缩间隔，Memstore刷新大小，但这些配置似乎都不能调节单个节点的最大大小。
对HBase或HDFS是否有任何配置来调节它们在单个节点中将占用多少空间？
(我正在一台机器上运行测试)
浏览 1提问于2021-08-24得票数 1
回答已采纳
我对HDFS存储和数据节点存储有点困惑。以下是我的怀疑。
将映射函数输出保存到数据节点本地磁盘，并将减速机输出发送到HDFS。众所周知，数据块存储在数据节点中，本地磁盘中是否还有其他的磁盘空间供HDFS在数据节点中使用？
减速器输出文件的物理存储位置(part-nnnnn 00001)是什么？它会存储在名称节点硬盘中吗？
所以我假设数据节点是HDFS的一部分，假设数据节点本地磁盘也是HDFS的一部分。
向Suresh致意
浏览 6提问于2014-04-22得票数 1
简而言之，我的服务器没有空闲的硬盘空间了，所以我运行了这里找到的脚本，以便了解可以从：http://www.sqlteam.com/forums/topic.asp?TOPIC_ID=10932中删除旧数据的表，但是当我得到结果时，删除旧数据似乎并不是我的解决方案。我有一种感觉，在这里还有一些我应该注意的事情.
来自sp_spaceused的结果
database_name database_size unallocated space
prod 993333.19 MB 94327.32 MB
reserved data
浏览 0提问于2017-06-27得票数 3
回答已采纳
2回答
我在Google实例上运行一个JupyterHub服务器，最近出现了一个问题，我的硬盘空间用完了，这导致JupyterHub服务器出现了500个错误等等。我应该指出，我正在使用运行JupyterHub服务器。我查看了扩展实例硬盘空间的选项，建议的操作似乎是附加分区持久磁盘。我跟踪了，它看起来和预期的一样。请参见下面df -h的输出，这表明它已按预期进行了挂载。
但是，我无法确定这个新的硬盘驱动器是否真的被VM / JupyterHub服务器用于存储。我担心，当我继续使用JupyterHub服务器时，它只会再次填充原来的20 up /dev/sda1磁盘，而不会使用新的200 up /
浏览 5提问于2020-10-01得票数 0
回答已采纳
我正在运行一台戴尔E6400笔记本电脑，硬盘空间有限，需要恢复Ubuntu使用的硬盘空间。
稍后，我希望将Ubuntu安装到外部硬盘驱动器上，以便继续使用Ubuntu的多功能性。
如何删除Ubuntu并恢复其分区空间？
浏览 0提问于2014-02-11得票数 0
我正在使用Hadoop2.6.0。当我运行"hdfs -report“时，我得到了如下(简化)的内容：
Configured Capacity: 3 TB
Present Capacity: 400GB
DFS Remaining: 300 GB
DFS Used: 100 GB
我想知道什么是“配置容量”和“当前容量”是什么。看来“目前的能力”实际上就是这样的。我怎么才能增加这个呢？
浏览 3提问于2015-06-26得票数 4
回答已采纳
4回答
我知道HDFS在数据节点中使用常规的linux文件系统存储数据。我的HDFS块大小是128 MB。假设我的hadoop群集中有10 GB磁盘空间，这意味着，HDFS最初有80 blocks作为可用存储。
如果我创建一个比方说12.8 MB的小文件，#available HDFS块将变为79。如果我创建另一个小的12.8 MB文件，会发生什么？#availbale block会保持在79，还是会降到78？在前一种情况下，HDFS基本上在每次块分配后根据可用磁盘空间重新计算#可用块，因此，只有在超过128MB的磁盘空间被消耗后，#可用块才会变为78。请澄清。
浏览 0提问于2013-02-25得票数 16
回答已采纳
我已经在我安装在windows10上的vmware中的Ubuntu上安装了一个伪分布式独立hadoop版本。
我从网上下载了一个文件，并复制到ubuntu本地目录/lab/data中。
我在ubuntu中创建了名为namenodep和datan1的namenode和datanode文件夹(不是hadoop文件夹)。我还在hdfs中创建了一个文件夹，名为/input。
当我将文件从ubuntu本地复制到hdfs时，为什么在以下两个目录中都存在该文件？
$ hadoop fs -copyFromLocal /lab/data/Civil_List_2014.csv /input
$hadoop
浏览 10提问于2015-10-10得票数 0
回答已采纳
1回答
在重新创建emr群集后，是否可以将HDFS存储的状态保留在emr群集上？根据我的经验，所有存储在本地的文件都会丢失。 是否可以选择使用已挂载的卷，例如EFS，并将EMR集群挂载到该文件挂载上？例如： <property>
<name>dfs.datanode.data.dir</name>
<value>file:///mnt/my/efs/location/</value>
</property> 希望找到一种方法，如果集群被删除，可以在集群最后一次停止的地方找到它。任何帮助都将不胜感激。
浏览 12提问于2020-03-21得票数 0
2回答
对不起，也许是我的英语，我找不到正确的答案。如果问题已经存在，请关闭我的问题。
我即将开始一个新的大项目，一个iPad应用程序，它将使用一大堆数据，包括图像，PDF文件和变量，我正在考虑将所有数据存储在本地(在Sql Lite中)。
我想知道我可以在iPad上保存多少数据？是否可以使用所有硬盘空间(基于每个不同iPad的不同磁盘度量)？？
谢谢
浏览 0提问于2013-02-05得票数 0
回答已采纳
3回答
有时，我喜欢清理我的硬盘(S)或可移动媒体(外部驱动器、闪存盘、存储卡等)上未使用的文件或文件夹。在运行OS的计算机上，使我的硬盘空间使用率尽可能低。
理想情况下，我希望找到一些可以执行以下操作的软件：
分析硬盘，并根据硬盘大小显示文件和文件夹占用硬盘的空间。理想情况下，某种类型的图表最好能够更容易地与之交互。例如，如果使用饼图，饼片将与文件或文件夹的大小成正比。
能够选择文件或文件夹并对它们执行操作、预览、移动、删除、存档等，这样就可以回收空间。
程序还可以在分析计算机硬盘空间使用情况时执行重复文件搜索的能力，以便通过允许用户删除可疑的重复文件来进一步减少文件空间的使用。
程序能够与时间机器
浏览 0提问于2014-02-10得票数 4
1回答
正如我所了解的Hadoop -减少映射器输出写入本地存储而不是HDFS的作业，因为它最终是一个丢弃的数据，因此没有必要在HDFS中存储。
但是，正如我所看到的，在Sqoop输出文件中，part-m-00000被写入HDFS。所以我怀疑Hadoop中是否有一些设置来控制mapper输出写到哪里？默认情况下它被设置为本地存储？
浏览 2提问于2015-05-14得票数 1
回答已采纳
我是否可以在运行Linux的二手笔记本电脑或PC上使用任何命令来告诉我系统是否有问题？如果是的话，他们是什么？
例如，电池寿命/状态、硬盘空间、坏扇区、RAM、总线速度、视频/音频硬件和驱动器规格、局域网卡规格等。
浏览 0提问于2016-03-02得票数 2
回答已采纳
5回答
在以前的版本中，我会打开Nautilus并检查statusbar，这将告诉我有多少空闲空间。现在，默认情况下不显示statusbar。我知道您可以从View菜单中启用它，但是99%的用户不会这样做(如果可能的话，我也不想这么做)。那么，是否有新的推荐方法来监视硬盘的使用情况呢？或者，也许还有其他的方法，我应该使用在过去，但从来没有注意到？
浏览 0提问于2011-10-24得票数 6
回答已采纳
我的理解是，作业跟踪器在datanode上启动任务( mapper /还原器)，并在该数据上运行该任务并在本地存储它的中间输出？
所以我的问题是: mapper在datanode上运行，所以它将中间数据存储在datanode的RAM中？由于datanode磁盘是hdfs的一部分，中间输出不存储在hdfs上。
浏览 6提问于2016-08-14得票数 5
回答已采纳
您刚刚执行了一个MapReduce作业。从Mapper的map方法发出后，中间数据写到哪里？
A.中间数据通过网络从Mapper流到Reduce，从未写入磁盘。
B.在运行Mapper的TaskTracker节点上进入内存缓冲区，该缓冲区溢出并写入HDFS。
C.进入内存中的缓冲区，溢出到运行Mapper的TaskTracker节点的本地文件系统。
D.进入内存中的缓冲区，该缓冲区溢出到运行减速器的TaskTracker节点的本地文件系统(HDFS之外)
E.在运行减速器的TaskTracker节点上的内存中缓冲区溢出并写入HDFS。
浏览 7提问于2015-02-19得票数 4
2回答
在本地运行PIG脚本和在mapreduce上运行PIG脚本的实际区别是什么？我知道mapreduce模式是当你在安装了hdfs的集群上运行它时。这是否意味着本地模式不需要HDFS，因此即使是mapreduce作业也不会被触发？有什么不同?你什么时候做其他的？
浏览 1提问于2012-07-26得票数 8
回答已采纳
如果我在两个位置都存储数据，那么这两个位置的大小是否都计为1，或者它们是分开的。例如，如果在本地存储10MB，在手机上存储indexdDB中的5 MB，则会抱怨空间不足？
浏览 37提问于2018-08-10得票数 0
当我用Ubuntu设置我的上网本时，我选择了“加密主分区”。磁盘使用分析器现在报告说占用的空间是实际使用的两倍。我见过这个问题问过几次，但通常的反应是，“..ecrypts/..Private是你真正的家庭驱动器，并且是加密的，显示为家庭驱动器是虚拟的，它实际上并没有占用硬盘空间”，这很好地识别了问题，但无助于修复它。
现在，不管硬盘是否真的满了，系统都把它当作满的。我不断收到警告:我还有10 my的空间；我无法更新我的dropbox文件夹；我无法高效地移动文件；机器看起来不太好，等等。唯一的方法是修复这个问题，以便执行危险的解密过程，该过程涉及永久地从机器上删除主文件夹，并且可能无法解密备份
浏览 0提问于2011-07-25得票数 22
1回答
我在一台机器中使用相同的输入数据对HDFS和Cassandra的存储量进行了评估。HDFS和Cassandra都只有一个副本。我的输入数据是二进制字节，总计3100万。事实证明，HDFS的数据比Cassandra少。
HDFS : 16.4 M (使用COMPRESS.BLOCK策略)(
卡桑德拉:50米。(使用CQL接口，具有默认设置(例如压缩))
既然卡桑德拉使用柱状存储器，那怎么可能呢？
有人能帮我弄清楚吗？非常感谢。
我的卡桑德拉版本是2.1.9。
浏览 2提问于2018-01-10得票数 0
1回答
在cloudera中，我需要将hdfs内存从50 GB扩展到200 GB。我使用的是具有300 GB空闲spage的虚拟机，但hdfs仅配置为在hdfs上使用50 GB。我的dfs.namenode.name.dir指向默认的dfs/nn
<name>dfs.namenode.name.dir</name>
<value>file:///dfs/nn</value>
我的hdfs dfsadming -report给了我：
[root@localhost conf.cloudera.hdfs] hdfs dfsadmin -report
浏览 1提问于2016-08-11得票数 1
1回答
Following the question in this link，还有一个关于在Hadoop HDFS上创建目录的问题。 我是Hadoop/Flume的新手，我选择了一个使用Flume将csv数据保存到HDFS的项目。Flume水槽的设置如下所示： contract-snapshot.sinks.hdfs-sink-contract-snapshot.hdfs.path = /dev/wimp/contract-snapshot/year=%Y/month=%n/day=%e/snapshottime=%k%M 使用此Flume设置，相应的csv文件将保存到HDFS中的以下文件夹下：
浏览 47提问于2021-01-11得票数 1
回答已采纳
我们希望使用带有RocksDB后端(HDFS)的Apache Flink来进行有状态流处理。但是，我们的应用程序状态(键控状态)将是of级的。 据我所知，当我们从保存点恢复作业时，所有操作员状态数据都将从HDFS上的保存点位置发送到每个任务管理器。如果状态是to级的，那么如果所有这些状态都需要传输，那么每次部署都将导致非常长的停机时间。 我想知道，在RocksDB的情况下，是否可以配置延迟加载，其中键控状态在需要时从HDFS中检索，然后缓存到本地磁盘上。 谢谢!
浏览 29提问于2020-04-23得票数 0
第二天，在一家使用linux电子邮件服务器的新公司，由于错误重新启动服务器，现在服务器告诉我它已经满了，而且根本不会重新启动，他们是否有可能在机器启动时释放一些硬盘空间？
我知道这不是很好的描述，但是服务器上没有留下任何文档，因为把它放在一起的人是一个plonka。
浏览 0提问于2011-08-16得票数 1
我想比较HDFS和本地文件系统对1000个小文件(1-2MB)的性能。在不使用序列文件的情况下，HDFS读取1000个文件所需的时间几乎是本地文件系统的两倍。我在这里听说过序列文件- 我想展示HDFS在检索这些记录方面比本地文件系统有更好的响应时间。序列文件是否有帮助，或者我是否应该寻找其他文件？(可能是HBase)
编辑:我正在使用Java程序读取像这里的这样的文件
浏览 11提问于2015-06-30得票数 0
我们的团队正在探索HDFS到本地数据获取的选项。我们被建议使用StreamSets，而团队中没有人对此有任何想法。有人能帮助我理解这是否符合我们的要求，即从HDFS获取数据到我们的本地系统吗？
只是一个额外的问题。
我已经在本地安装了StreamSets。例如，在本地ip: xxx.xx.x.xx:18630上，它在一台机器上工作得很好。但是当我试图从网络上的其他机器访问这个URL时，它就不起作用了。而我的另一个应用程序，如闪亮服务器等，在相同的机制下工作得很好。
浏览 0提问于2018-07-26得票数 1
回答已采纳
首先，我对虚拟环境很陌生，我不是来自软件背景(英语也不是我的第一语言，所以请恕我直言)。我确信conda环境在某种程度上被优化为不重复磁盘上的包，而是以某种方式使用链接。但是当检查使用过的硬盘空间(右击Linux上的->属性)时，它看起来很高:超过2GB( env有python、numpy和大熊猫)。
有人能告诉我(或指点方向)这是如何工作的吗？
浏览 2提问于2020-06-16得票数 5
回答已采纳
2回答
在mac上，我想计算文件夹的大小：
ls -la会生成以下输出：
PC:aggregations user$ ls -la
total 16
drwxr-xr-x 4 user staff 136 Dec 6 14:33 .
drwxr-xr-x 23 user staff 782 Dec 6 11:29 ..
-rw-r--r--@ 1 user staff 1954 Dec 6 14:33 test_agg_1.csv
-rw-r--r--@ 1 user staff 1954 Dec 4 11:00 test_agg_2.csv
为什么当前目录(.)
浏览 4提问于2016-12-06得票数 2
我有一个带有i7处理器的Mac，16 i7内存，以及通过OS并行运行的足够的存储器Win 8.1。我有一个23 PC的MySQL数据，我想知道我是否能够将这么大的数据加载到我的PC中的MySQL中。我开始导入数据，但在抛出错误一小时后停止。
错误1114 (HY000)在第223行。表X已经满了。
我在googled上搜索了这个错误，并发现了Stackoverflow中讨论的相同错误(但没有这么多数据)。我试图使用给定的解决方案来解决问题，但失败了。MySQL导入大约3G的数据，然后抛出错误。
下面是我的三个主要问题。
我的数据是否比PC上的MySQL数据引擎大得多？
如果不是
浏览 7提问于2015-04-14得票数 0
回答已采纳
我有一个在CentOS6虚拟机上运行VMWare (32位)的Windows。根据这些指示，我试图安装一个单节点Cloudera。
有一次我被要求
for x in `cd /etc/init.d ; ls hadoop-hdfs-*` ; do sudo service $x start ; done
我收到了以下错误：
ls: cannot access hadoop-hdfs-*: No such file or directory
当我cd到我的/etc/目录并发出ls时，我会收到以下消息：
ls: reading directory .: Input/output error
从g
浏览 0提问于2013-11-19得票数 1
我有远程服务器凭据和mysql root密码。当我访问远程机器并尝试转储时，它会抛出"'Got error 28 from storage engine‘When to dump tablespaces“。因此，我计划从我的本地机器获取转储。那么，我如何获取数据库转储。提前感谢！
浏览 0提问于2010-10-27得票数 5
回答已采纳
我需要从MYSQL导入数据，运行MR并将其导出回MYSQL。我能够用DBInputFormat和DBOutputFormat成功地在一张先生的工作中成功地完成几张记录。当我将输入记录缩放到100+百万条记录时，job先生会挂起。替代方法是将数据导出到HDFS，运行MR job并将其推回我的SQL。
对于包含大约百万条400+记录的庞大数据集，使用DBInputFormat和DBOutputFormat或使用HDFS作为数据源和目标，哪个选项更好。
使用HDFS会在我的MR工作之前和之后增加一个步骤。由于数据存储在HDFS上，它将被复制(默认为3)，并将需要更多的硬盘空间。谢谢Rupesh
浏览 0提问于2013-07-26得票数 0
回答已采纳
先决条件：
有些系统使用基于HDFS的HBase。
该系统管理的表是A、B和C。
一个master node管理n slave nodes。
我希望将表B和C的数据分发给slave node 1、slave node 2、slave node 3的主存，而不是磁盘。
问题：
Q1。将表B和C的分区数据存储在图中的Rigional Server (slave node)的memstore部分中正确吗？
Q2。或者表B和C的内容分散在slave node的磁盘上，并被收集并调用到master node的主内存中。
Q3。我需要一个帮助，以确定哪个是在Q1或Q
浏览 0提问于2018-05-10得票数 0
3回答
使用SparkSQL，我将把一个小桌子加入到星火公园的一个大桌子上。我遇到的问题是，我的本地磁盘正在被洗牌填充，大约在连接过程中写到。
是否有一个火花设置，我可以使用它来泄漏洗牌数据，不是本地磁盘，而是我们的hdfs存储(大型Isilon集群)？
在输出大于组合本地磁盘存储的情况下，是否还有其他方法来进行连接？
我已经确保两个输入表都是分区的，并且输出表是分区的。
我不关心查询的性能，我只想在不崩溃的情况下完成它。
详细信息
我在运行Spark1.5.1。我也对尝试使用蜂巢持开放态度，但我的经验告诉我，这会更快地崩溃。
有关我的集群的更多细节，您还可以看到。
浏览 2提问于2017-04-27得票数 1
回答已采纳
Hadoop将中间结果写入本地磁盘，将reducer的结果写入HDFS。HDFS是什么意思。它在物理上翻译成什么？
浏览 1提问于2012-09-14得票数 0
回答已采纳
我试图理解HDFS文件系统块大小与底层物理文件系统块大小之间的关系。
根据我的理解，hdfs只是一个虚拟文件系统，它将实际数据存储在底层的物理文件系统上。hadoop 2中的HDFS块大小为128 MB；然而，在大多数基于linux的文件系统中，块大小为4KB。
我的问题：
Q1)当HDFS块被写入实际的文件系统时，它是否写入底层文件系统的多个块？也就是说，对于单个HDFS块，它必须写到128 * 1024 KB /4KB --> 32,768块？
( Q2)如果上面的内容是正确的，那么它不是涉及到磁盘头上的大量查找吗？这不是很费时吗？Hadoop如何有效地完成这个过程？
有人能帮我理解
浏览 3提问于2017-04-01得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
