1回答
我已经创建了一个带有存储桶的表设置hive.enforce.bucketing=true；将数据LOCAL INPATH '/home/jugal/Desktop‘加载到表empl_buck；
现在如何查看存储在文本文件或HDFS中
浏览 1提问于2015-04-16得票数 0
2回答
文件或目录如何存储在hadoop中
hadoop、hdfs、hadoop2
我使用以下命令在hdfs中创建了一个文件通过使用以下命令，我可以看到创建的文件但是，我无法通过使用linux命令(使用查找或定位)找到位置本身。它说，hdfs是虚拟存储。在这种情况下，它是如何使用哪个分区或需要使用多少分区，在哪里存储元数据
浏览 1提问于2016-08-19得票数 1
回答已采纳
1回答
Hadoop可以在每台机器上有不同的数据目录吗？
hadoop
我正在设置HDFS。顺便说一下，我只被允许使用特定的目录。因为创建目录有限制，所以我被卡住了。e.g.Machine 1 uses /hadoop/machine1/hdfs_root或 <name>dfs.name.dir</name
浏览 1提问于2013-12-13得票数 1
1回答
pig.temp.dir属性是强制性的吗？
hadoop、apache-pig、hdfs
Pig Execution Mode = Local 存储中间结果
猪将MapReduce作业之间生成的中间数据存储在HDFS上的临时位置上。在使用HDFS之前，这个位置必须已经存在。可以使用pig.temp.dir属性配置此位置。该属性的默认值是"/tmp“，与Pig
浏览 0提问于2016-03-17得票数 0
2回答
合并后使用Pig脚本删除文件
apache-pig、hdfs
我正在尝试合并大量的小文件(200k+)，并想出了以下超级简单的小猪代码：store Filesinto 'hdfs/output/path' using PigStorage();
一旦Pig完成合并，有没有一种方法可以删除输入文件？我想检查文件是否已经写入并且不是空的(即0字节)。我不能简单地删除输入路径中的所有内容，因
浏览 2提问于2016-03-30得票数 0
从我读过的各种博客中，我了解到HDFS是计算机中存在于本地文件系统之上的另一层。这是我的问题..我在配置文件中添加了一个tmp.dir参数。当namenode守护进程尝试访问datanode时，它是否与单个文件夹对话？？
浏览 2提问于2013-05-29得票数 6
回答已采纳
1回答
运行存储在HDFS位置中的单元脚本
hadoop、hive、hdfs
我试图运行一个存储在HDFS位置(hdfs://nameservice1 1/user/neeraj)中的单元脚本(.hql文件)，但是我无法找到正确的命令来执行它。有没有一种方法可以直接从HDFS位置运行它，而不是将它移动到我的/home/位置？
浏览 0提问于2017-03-08得票数 2
2回答
日安，hadoop fs -put query1.txt .
现在我想删除它，但我不知道该文件的HDFS位置。有什么方法可以移除它吗？
浏览 0提问于2014-02-12得票数 0
1回答
HDFS存储数据的地方
hadoop、configuration、hdfs
我试图了解hadoop在HDFS中存储数据的位置。我引用配置文件，即：core-site.xml和hdfs-site.xml
在hdfs-site.xmldfs.namenode.name.dir文件中:/hadoop/hdfs/namenode dfs.datanode.data.dir<e
浏览 6提问于2014-03-21得票数 24
回答已采纳
1回答
如何在HDFS中查找文件的不同片段
hadoop、hdfs
有没有办法找出我放在Hdfs中的文件碎片到哪里去了？我的意思是关于文件碎片存储在hdfs中的位置的信息？
浏览 0提问于2012-06-05得票数 0
回答已采纳
1回答
群集配置和hdfs
hadoop
hadoop/tutorial/module2.html
<property> </property> <name>dfs.data.dir</name>
<value>
浏览 3提问于2014-11-20得票数 0
3回答
hdfs目录在linux中的位置？
hadoop、hdfs、bigdata、hadoop2
我在hdfs中创建了一个目录以这种方式创建的目录驻留在hdfs主diri.e /usr/hdfs (..?)中。
浏览 5提问于2015-04-29得票数 3
回答已采纳
2回答
在AWS上使用Apache-Spark加载数据
amazon-web-services、amazon-ec2、apache-spark、filesystems、hdfs
在主节点上，我有一个目录data，其中包含要处理的所有csv格式的数据文件。datafile.collect()
当每个从节点运行任务时，它从其本地
浏览 1提问于2015-07-23得票数 0
1回答
在mapper中处理输入块的哪个副本？
java、hadoop、mapreduce、hdfs
因此，在作业的Map阶段，我希望记录有关已处理数据的位置的信息。
映射阶段的MapReduce作业处理输入拆分，该拆分由HDFS中的几个文件块组成。该块有几个(通常是3个)副本。换句话说，我可以获得Mapper读取的本地文件系统中特定文件的完整路径吗？
浏览 3提问于2015-09-14得票数 0
1回答
在S3中同时存储内部表和外部表的区别
amazon-s3、hive
在HDFS和S3中使用内部表有什么区别？存储在S3中的内部表和外部表有什么区别？如果我在S3中删除外部表，主节点中的元数据将被删除，而数据将在S3中，那么由于元数据被删除，我如何访问S3中的数据？
浏览 4提问于2017-09-19得票数 2
1回答
Spark Livy Server: Python脚本如何返回json对象？
json、rest、apache-spark、pyspark、cloudera
我们使用Spark进行ML和数据处理，请求来自基于web的UI前端。因此，我们使用Livy REST服务器完成此任务。代码将根据此处的教程正确运行到完成：if __name__ == "__main__":
#do some spark processing to create 'result' dictionary这会将
浏览 3提问于2016-06-12得票数 2
2回答
蜂巢数据存储在哪里？
hadoop、hive、hdfs、hive-metastore
它是否将数据存储在HDFS或RDBMS中?？Hive Meta商店是否使用RDBMS来存储蜂窝表元数据?？
提前谢谢!！
浏览 6提问于2017-04-27得票数 6
回答已采纳
2回答
指定配置单元文件位置
import、hive、load、hdfs
我想知道在Hive中是否可以为导入的数据指定HDFS地址？例如，我有来自三个城市的文件，我想导入特定节点上每个城市的相关信息。
浏览 0提问于2013-12-30得票数 0
1回答
将映像存储到HDFS、配置单元中
java、hadoop、mapreduce、hive
我正在使用Hadoop 2.5 Vanilla版本，我需要将大量的图像数据集存储到HDFS和Hive中，但我不知道该怎么做？提前谢谢你
浏览 2提问于2015-01-14得票数 0
云服务器
ICP备案
对象存储
实时音视频
云点播
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号