腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
hive
中
是否
支持
基于
表达式
的
分区
?
hadoop
、
hive
、
data-partitioning
我有一个包含列
的
表,
是否
可以
基于
使用该列
的
表达式
创建
分区
我读到IBM
的
Big SQL技术有这个特性。 我也知道我们可以用一个列来划分
hive
,但是
表达式
呢?在本例
中
,我要做
的
是一个cast..it可以是任何
表达式
CREATE TABLE INVENTORY_A ( product varchar(50), trans_tstimest
浏览 14
提问于2019-04-09
得票数 0
2
回答
从蜂巢视图加载蜂巢
分区
sql
、
view
、
hive
、
partition
我有一个带有4个
分区
的
外部
Hive
表。
基于
不同
的
蜂巢表,我还有4个蜂巢视图。CREATE TABLE
hive
_table AS SELECT * FROM
hive
_view; 但是,
是否
有一种从视图
浏览 3
提问于2014-10-10
得票数 0
回答已采纳
1
回答
配置单元
分区
表查询优化
hadoop
、
hive
、
hiveql
我是新来蜂巢
的
general.From
中
的
hadoop生态系统我学到了
Hive
的
基础知识您可以
基于
某个attributes.And在
hive
表上创建
分区
如果查询提到了该属性,那么它应该会获得性能提升,因为
hive
只扫描特定
的
分区
文件,而不是扫描整个table.My问题是假设我们在data.Say中有一些分层结构我根据唯一
的
状态值对表进行
分区
,每次查询
基于<
浏览 0
提问于2020-06-03
得票数 0
2
回答
如何像
Hive
Table Partitions一样在Hbase Table
中
创建
分区
hbase
我们计划从CDH3迁移到CDH4,作为迁移
的
一部分,我们还计划将HBASE引入外部系统,因为它还会更新数据,在CDH3
中
,我们使用
Hive
作为仓库。在这里我们遇到了迁移
中
的
主要问题,
Hive
支持
分区
到表。我们
的
系统有许多不同模式
的
表,有些表有
基于
日期
的
分区
,我们有过去5年
的
数据历史(有些表
中
存在365*5个
分区
浏览 3
提问于2013-09-25
得票数 3
1
回答
创建由一个/多个列
分区
的
BigQuery外部表
google-bigquery
、
google-cloud-storage
我正在将一个java应用程序从Hadoop/
Hive
移植到Google /BigQuery。应用程序将avro文件写入hdfs,然后在文件之上创建一个/多个
分区
的
Hive
外部表。据我所知,Big目前只
支持
日期/时间戳
分区
,不
支持
嵌套
分区
。 我们现在处理
hive
的
方式是生成ddl,然后使用rest调用执行它。我在BigQuery docs
中
找不到对创建外部表<e
浏览 0
提问于2018-08-17
得票数 0
回答已采纳
1
回答
我可以在一个配置单元外部表
中
创建存储桶吗?
hadoop
、
hive
、
hiveql
、
bucket
、
hadoop-partitioning
我正在创建一个引用HDFS位置
中
的
ORC文件
的
外部表。ORC文件
的
存储方式是按照日期对外部表进行
分区
(映射到HDFS上
的
date wise文件夹,作为
分区
)。然而,我想知道我
是否
可以在这些外部表上强制'Bucketing‘,因为底层数据/文件不是由
hive
’管理‘
的
。它们是在外部编写
的
,因此可以在
Hive
外部表中使用bucketing吗?但我不能理解
hi
浏览 17
提问于2020-07-30
得票数 1
回答已采纳
1
回答
将数据从一个表复制到另一个
分区
表
hive
、
hiveql
、
partitioning
、
hive-partitions
%
hive
我想将数据从行项复制到
分区
表NEWPARTITIONING
浏览 3
提问于2020-10-02
得票数 1
4
回答
用星星之火覆盖蜂窝
分区
scala
、
amazon-web-services
、
apache-spark
、
hadoop
、
hive
我正在使用AWS,我有使用Spark和
Hive
的
工作流。我
的
数据是按日期划分
的
,所以每天我在S3存储中都有一个新
的
分区
。我
的
问题是,当有一天加载数据失败时,我必须重新执行该
分区
。通过搜索,我发现
Hive
支持
这种覆盖,只
支持
分区
,但是使用hql语句,我没有它。 我们需要
Hive
上
的
解决方案,所以我们不能使用这个 (直接到csv)。我发现这个应该能解
浏览 2
提问于2018-04-23
得票数 11
回答已采纳
1
回答
如何使aws弹性mapreduce命令并行运行
amazon-web-services
、
hive
、
elastic-map-reduce
我在这里复习过, 此外,设置此选项
是否
等同于执行以下操作?cat
hive
_script.hql | parallel --gnu
hive
-e '{}' 我
的
hive
脚本可以按任何顺序运行,因为它只是为现有表
的
每个新(
基于
时间
的
)
浏览 3
提问于2014-01-27
得票数 1
回答已采纳
1
回答
Hadoop MapReduce -如何创建动态
分区
java
、
hadoop
、
mapreduce
、
hadoop-partitioning
如何使用java映射减少创建动态
分区
,就像sql一样,按国家列分组。例如,我有
基于
国家
的
数据集,需要根据国家(
分区
)分离记录。我们不能限制国家。因为每天都会有新
的
国家数据。
浏览 1
提问于2018-04-29
得票数 0
回答已采纳
1
回答
sqoop
是否
支持
使用
hive
进行动态
分区
?
hadoop
、
hive
、
sqoop
、
bigdata
sqoop
是否
支持
使用
hive
进行动态
分区
?我尝试使用下面提到
的
选项:--
hive
-partition key和--
hive
=partition vlaue仅用于静态
分区
例如: sqoop import --connect“jdbc:mysql://ickstart.cloudera:3306/prac”--username root --password cloudera --
hive
-import
浏览 1
提问于2017-09-17
得票数 0
1
回答
配置单元表保留
支持
hadoop
、
hive
我希望对旧
分区
的
Hive
表
支持
保留。基本上,我需要在特定时间段后自动删除配置单元
分区
。我可以手动执行此操作,也可以使用脚本执行此操作,但我注意到每个配置单元表中都存在保留属性,但我找不到有关它
的
许多信息。例如,在配置单元表中使用descibe时,会有一个保留属性 desc formatted my_
hive
_table;col_name data_type我找到了这个2014年
的
Jira,但我不
浏览 11
提问于2019-04-02
得票数 0
3
回答
HIVE
:如何创建一个包含另一个表
中
除其中一列以外
的
所有列
的
表?
hadoop
、
hive
当我需要将一列更改为
分区
()时,我希望创建一个新表来复制除一列之外
的
所有列。我目前在原始表中有>50列。有什么干净
的
方法可以做到这一点吗?
浏览 1
提问于2015-08-28
得票数 1
5
回答
从一个蜂窝表
中
删除所有
分区
?
hive
、
elastic-map-reduce
如何删除当前加载在
Hive
表
中
的
所有
分区
?我可以用恢复
分区
语句加载所有
分区
。但我似乎不能放弃所有
分区
。 我使用
的
是EMR
支持
的
最新
的
Hive
版本,0.8.1。
浏览 3
提问于2013-03-19
得票数 14
回答已采纳
1
回答
根据时区创建配置单元
分区
hive
、
airflow
、
hive-partitions
我正在尝试物化
基于
文件
的
hive
表,这些文件在GCS
中
存储为parquet,路径类似于gs://abc/dt=02-02-2019/hr=02(
基于
UTC
的
物理
分区
) 现在我想创建两个
hive
表,其中
的
逻辑
分区
基于
时区,一个用于UTC,另一个用于CET,我如何进行
分区
,以便
基于
日期和小时
的
分区</e
浏览 10
提问于2019-02-14
得票数 0
1
回答
从har档案
中
查询数据- Apache
Hive
hadoop
、
hive
、
partitioning
、
hadoop-archive
我正在使用Hadoop,并面临着大量小文件
的
可怕问题。我需要能够从现有的蜂巢
分区
中
创建har档案,并同时查询它们。然而,
Hive
显然只
支持
在托管表
中
存档
分区
,而不
支持
在外部表
中
存档--这是非常可悲
的
。我试图通过使用hadoop
的
归档工具手动归档
分区
目录
中
的
文件来找到解决办法。现在,我需要配置
hive
,以便能够查询存储在这些归档文
浏览 3
提问于2016-06-03
得票数 1
回答已采纳
3
回答
蜂巢比星火更快吗?
hadoop
、
apache-spark
、
hive
、
apache-tez
、
bigdata
我不知道这
是否
会在星火更慢,因为现在与DataFrames,他们可能是可比
的
,但我不确定,因此问题。他使用最新
的
蜂巢,这似乎是使用Tez。
浏览 11
提问于2016-09-09
得票数 6
回答已采纳
1
回答
执行前蜂箱查询执行估计
的
强度
hadoop
、
hive
、
cloudera
、
hiveql
、
cloudera-cdh
我
支持
带有
HIVE
服务
的
Hadoop集群,但是我不是一个
HIVE
开发人员。其中一个开发人员正在运行一个长查询(请参见下面的示例)。作业失败与一些神秘
的
错误信息(请参阅下文)。我如何知道查询
是否
会过于紧张? 当我监视
Hive
服务器时,负载仅为(w输出) 1.5,网络带宽达到5.7 Mbps/秒
的
峰值。顶级java进程消耗
的
CPU不足2%。我没有看到真正
的
证据表明查询破坏了
hive
服务器(在<
浏览 20
提问于2016-05-05
得票数 0
回答已采纳
1
回答
Hive
中
的
行级事务
hadoop
、
hive
、
bigdata
、
hiveql
、
apache-zookeeper
我是HiveQL
的
新手。当我创建一个表时,我意识到我们需要保持事务
的
某些属性是真的。然后我经历了以下这些:
hive
>set
hive
.enforce.bucketing = true;
hive
>set
hive
浏览 1
提问于2019-03-04
得票数 0
回答已采纳
1
回答
使用HBase代替配置单元
hive
、
hbase
、
schemaless
今天,我们使用
Hive
作为我们
的
数据仓库,主要用于批处理/批量数据处理-
hive
分析查询/连接等- ETL管道 最近,我们正面临一个问题,我们试图将
基于
hive
的
ETL管道公开为服务。在
Hive
中
,一旦创建了
分区
,我想它们就不能被更改了,也就是说,我们不能在旧
分区
中
添加新
的
列,而只用数据填充该列。我们必须用新
的
模式重新创建
分区</em
浏览 6
提问于2017-04-28
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Hive相关的简介
Hive MetaStore 在快手遇到的挑战与优化
Flink on Hive构建流批一体数仓
【挑战年薪300K】Hive语句详解之DDL操作
Apache Calcite:异质数据源优化查询框架
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券