1回答
有一个多级分区的Hive表，现在需要删除比某些年份旧的分区文件夹。 多级分区如下所示。company=cde/year=2017/month=11
/data/warehouse/suite/catalyst/site/company=cde/year=2016/month=11 如果要删除超过2年的分区，意味着需要删除/y
浏览 34提问于2019-12-13得票数 0
回答已采纳
从hbase读取数据，如//create rdd classOf[org.apache.hadoop.hbase.io.ImmutableBytesWritable],例如，hBaseRDD有5个分区，现在worker上的executor获取分区数
浏览 17提问于2017-07-28得票数 0
回答已采纳
2回答
HDFS与单元分区
、、、、
当数据被加载到HDFS时，它的分布并加载到多个节点中。对数据进行分区和分布。
对于单元，有一个单独的选项来划分数据。我非常肯定，即使您没有提到分区选项，在加载一个hive表时，数据也会被拆分并分发到集群中的不同节点。在这种情况下，这个命令会带来什么额外的好处。
浏览 3提问于2017-07-18得票数 5
回答已采纳
4回答
PARTITIONED BY (t string, y string, m string, d string, h string, hh string)STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'
OUTPUTFORMAT'org.apache.hadoo
浏览 9提问于2017-01-25得票数 4
回答已采纳
错误输出： at org.apache.hadoop.hdfs.server.namenode.NameNode&
浏览 0提问于2021-03-18得票数 1
我设置了一个Hadoop集群(HDP 2.6)，它包含3个节点，每个节点上有以下HDFS挂载点。配置(Ambari) dfs.datanode.data.dir = /mnt/datadisk1,/mnt/datadisk2,/mnt/datadisk3中设置。我现在的问题是:如果我从我的Hadoop节点的/mnt/datadisk3 one中删除例如，那么会发生什么？HDFS会被重新平衡并
浏览 3提问于2017-11-08得票数 3
我已经在linux机器上安装了hadoop。是否可以在集群机器中执行cd /user/hadoop操作。
浏览 3提问于2014-02-20得票数 0
1回答
我已经按照ubuntu版CDH4-Quick-Start.pdf中的说明安装了CDH4。默认情况下，在/var/lib中创建了三个目录，即: hadoop-hdfs、hadoop-mapreduce和hadoop-yarn。因为我在这个分区中没有太多空间，所以我希望在另一个分区中至少有hdfs。我已经停止了hdfs，并更改了hdfs-site.
浏览 0提问于2014-02-01得票数 0
我有问题，如何在hadoop中创建文件夹，但命名路径文件夹的年，日期，时间？示例：/user/hdfs/2015/10/10/0000
hadoop fs -mkdir /user/hdfs/2015/10如何使用hadoop fs -mkdir获取路径文件夹，如/use
浏览 3提问于2015-10-22得票数 1
2回答
配置单元分区验证
、、
我已经创建了一个分区的配置单元表。我在这个表中插入了数据。现在假设我使用where子句执行一个select *查询，那么我如何确保该hive查询使用分区？
浏览 1提问于2018-06-14得票数 2
当我使用show partitions命令时，我可以在Hive中看到数据分区。但是，当我尝试通过hadoop fs的-ls /path/ to /分区访问该文件夹时，我得到了消息:没有这样的文件或目录。
我不知道为什么会这样？我不能进入date分区文件夹吗?即使里面没有数据(我也不能将数据移动到这个分区)
浏览 2提问于2015-05-16得票数 0
我来自Hadoop背景，在hadoop中，如果我们有一个包含大量小文件的输入目录，每个映射任务每次都会选择一个文件并对单个文件进行操作(我们可以改变这种行为，让每个映射器选择多个文件，但这不是默认行为)
浏览 4提问于2015-08-05得票数 1
回答已采纳
1回答
使用Ambari 2.4.0.1的HDP-2.5.0.0
现在，Step3。表必须是ORC +压缩+分区的，也可能是管理的。，如dataaggregate_avro_compressed行格式SERDE 'org.apa
浏览 3提问于2016-10-17得票数 1
4回答
' 'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat' 'hdfs://nameservice1/hadoop/raw/omega/scheduled_events' 'avro.schema.url'='hdfs
浏览 3提问于2017-09-19得票数 15
回答已采纳
1回答
我正在阅读Hadoop和Spark文档，以了解spark如何在Hadoop集群上工作。根据Hadoop文档，Hadoop集群是一组具有计算和数据存储能力的通用硬件，它们还假定“移动计算比移动数据便宜”。
现在，当我处理一个大文件，它是存储在HDFS上使用火花。Spark是否会随机地将文件中的数据重新分发到Hadoop集群，或者它知道存储数据分区的节点将要求各自的节点处理其数据？我提出了这个问题，因为没有提到火花如何处理Hado
浏览 11提问于2022-09-13得票数 1
回答已采纳
错误:找不到或加载主类org.apache.hadoop.hdfs.server.namenode.NameNode
The java implementation"/home/582092/hadoop-2.6.0"#export HADOOP_CONF_DIR=$HADOOP_
浏览 4提问于2016-11-30得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
