4回答
火花基本面
、、
在复习基本面时，我不太清楚一些基本的事情：
查询1.对于分布式处理--可以不使用HDFS - Hadoop文件系统而在集群上工作(比如创建自己的分布式文件系统)，还是需要一些基本的分布式文件系统，如HDFS查询2.如果我们已经在HDFS中加载了一个文件(作为分布式块)，那么Spark将再次将其转换为块，并在其级别上重新分发(用于
浏览 7提问于2015-08-24得票数 1
回答已采纳
1回答
我正在AWS上的EMR集群中测试火花放电作业。目标是使用Lambda函数触发火花作业，但现在我正在手动运行火花作业。因此，我将SSH发送到主节点，然后运行spark作业，如下所示：我的桶参数传递给火花作业。hdfs://ip-xxx-xx-xx-xx.ec2.internal:8020/home/hadoop/o
浏览 4提问于2019-12-03得票数 0
hadoop fs -put popularNames.txt /user/hadoop/dir1/popularNames.txt
我的文件夹非常大，大约有3 TB。我不想复制文件夹，我想将hdfs设置到该位置。怎么做呢？
浏览 0提问于2016-06-25得票数 0
它们应该是相等的吗？jenkins在Mon Apr 22 10:48:26 PDT 2013编译的 Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git://ubuntu-slave07
浏览 138提问于2013-08-09得票数 118
回答已采纳
然后是$HADOOP_HOME/bin/start-all.sh。)
我使用put将文件放在HDFS中。Q5.)我创建的这些文件位于/user/yv/中。它们到底在/user/yv/在哪里?它们是否在我的核心-
浏览 2提问于2012-10-02得票数 0
回答已采纳
在中描述了输入文件被划分为M个输入分割。我知道Hadoop中的HDFS自动对64MB的块进行分区(默认)，然后将这些块复制到集群中的少数其他节点，以提供容错。我想知道HDFS中的这种文件分区是否意味着在提到的MapReduce论文中描述的输入拆分。容错是造成这种分裂的唯一原因，还是有更重要的原
浏览 0提问于2012-10-15得票数 4
回答已采纳
1回答
Spark支持gzip格式吗？
、、、、
对于大数据项目，我计划使用，它有一些很好的功能，比如重复工作负载的内存计算。它可以在本地文件上运行，也可以在HDFS上运行。有没有办法手动实现gzipped文件的读取，或者在读取.gz文件时解压已经自动完成了？
浏览 1提问于2013-04-30得票数 46
回答已采纳
1回答
Cassandra使用Cassandra文件系统(CFS)，Hadoop使用Hadoop分布式文件系统(HDFS)卡桑德拉可以用HDFS代替CFS?
浏览 0提问于2014-04-03得票数 0
我已经成功地部署了spark集群，但是对于如何在从服务器上分发我的HDFS数据感到困惑吗？是否需要手动将数据放在从节点上，以及如何指定从客户端提交应用程序时从何处读取数据？我已经搜索了多个论坛，但没有找到如何在没有使用Hadoop的情况下使用HDFS与Spark。
浏览 0提问于2017-12-03得票数 0
回答已采纳
1回答
我在Hadoop分布式文件系统路径和相关的hive表上有一个文件。这张桌子两边有30个隔板。我从HDFS中删除了5个分区，然后在hive表上执行"msck repair table <db.tablename>;"。它完成了精细但输出
我尝试运行select count(*) <db.tablename>; (在tez上
浏览 1提问于2019-08-27得票数 1
回答已采纳
在给定的时间，我的应用程序中有用户文件系统(apache )。随着它的规模越来越大，我怀疑是否要迁移到hadoop (HDFS)，因为我们还需要运行一些统计数据。问题:当前文件系统提供文件的版本控制。在HDFS中是否已经有什么可用于管理文件版本的东西了，还是我真的必须自己编写它(不想重新发明热水，但也找不到合适的解决方案)。答案
有关详细信息，请参见下文对答复<e
浏览 7提问于2017-03-13得票数 5
回答已采纳
1回答
我们正在试验在我们的项目中运行Spark，没有Hadoop，也没有像HDFS这样的分布式存储。Spark安装在具有10核和16 on的单个节点上，并且该节点不属于任何群集。假设Spark driver占用2个内核，其余的在执行时被执行器(每个2个)消耗。如果我们处理存储在Spark本地磁盘中的一个大CSV文件(大小为1 GB)作为RDD，并将其重新分区到4个不同的分区</e
浏览 10提问于2019-02-01得票数 0
回答已采纳
1回答
我计划在我的基于web的应用程序中实现Hadoop框架。但我只是将其托管在本地主机中。我计划实现mapreduce和hdfs作为分布式文件系统。问题是，我要做的第一步是什么？我应该从什么开始呢？我对Hadoop框架进行了深入的研究。了解它是如何工作的，并尝试使用互联网上的wordcount示例。
浏览 2提问于2015-02-04得票数 0
Hadoop到底是干什么用的，主要的应用场景和应用领域是什么，主要解决的核心问题又是什么，我们个人可以用它来干什么 产生价值呢?
浏览 961提问于2020-09-24
我刚刚开始学习Hadoop，我对如何以分布式方式存储数据感到有点困惑。我有MPI背景。对于MPI，我们通常有一个主处理器，它将数据发送到各种其他处理器。这是由程序员显式完成的。有了Hadoop，您就拥有了Hadoop分布式文件系统(HDFS)。那么，当您将本地服务器中的某些文件放入HDFS时，HDFS是否会自动以分布式方式存储此文件，而无需程序员执行任何操作？<e
浏览 8提问于2019-01-26得票数 1
回答已采纳
Hadoop将中间结果写入本地磁盘，将reducer的结果写入HDFS。HDFS是什么意思。它在物理上翻译成什么？
浏览 1提问于2012-09-14得票数 0
回答已采纳
如果我转到http://ec2-****:8888/hue/home/上的色调链接，我可以访问色调仪表板，创建和保存文件等。但是，当我使用SSH浏览系统时，我无法看到这些文件。这些文件存储在系统中的什么位置？
浏览 1提问于2020-11-12得票数 4
8回答
你好，我是hbase和hadoop的新手。我找不到为什么我们要在hbase上使用hadoop。我知道hadoop是一个文件系统，但是我读到我们可以在没有hadoop的情况下使用hbase，那么我们为什么要使用hadoop呢？
thx
浏览 1提问于2012-05-19得票数 10
回答已采纳
hbase-site.xml @HBase的配置<property> <value>file:///D:/LocalData/
浏览 1提问于2015-03-24得票数 0
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
