腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Hive
Tez
reducers
运行
速度
非常
慢
hadoop
、
hive
、
query-optimization
、
hiveql
、
apache-tez
我真的不确定如何调优查询并使其
运行
得更快。目前,我正在做试错,看看这是否能产生一些结果,但这似乎不是working.Mappers
运行
得更快,而是
reducers
需要永远完成。SET
hive
.execution.engine=
tez
; SET
hive
.qubole.cleanup.partial.data.on.failure=true; SET
浏览 154
提问于2019-02-02
得票数 3
回答已采纳
1
回答
如何减少查询中的容器数量
hive
、
mapreduce
、
ambari
、
apache-tez
、
hive-configuration
查询在
Tez
上
运行
。 提前感谢
浏览 2
提问于2019-04-01
得票数 1
回答已采纳
1
回答
并行执行带有IN子句参数的配置单元查询
performance
、
hadoop
、
hive
、
query-optimization
、
hiveql
union all我将
hive
.exec.parallel
浏览 9
提问于2018-01-28
得票数 3
1
回答
特兹。慢速减速器
hadoop
、
apache-tez
我对
TEZ
mapreduce有奇怪的行为。谢谢你的建议。
浏览 3
提问于2016-02-15
得票数 1
2
回答
避免使用
hive
.optimize.sort.dynamic.partition选项的单个文件
hadoop
、
hive
、
hiveql
、
reducers
、
hive-configuration
(TezProcessor.java:194) at org.apache.hadoop.
hive
.ql.exec.
tez
.ReduceRecordSource$GroupIterator.next(ReduceRecordSource.java:356) at org.apache.
浏览 0
提问于2018-10-21
得票数 3
回答已采纳
1
回答
将为蜂窝中的分区表创建多少映射器和减缩器。
hadoop
、
hive
、
mapreduce
、
reduce
、
mapper
在这种情况下,在加载数据期间将
运行
多少个映射器和还原器?
浏览 0
提问于2017-03-16
得票数 2
2
回答
信息:
Tez
会话尚未创建。开始会话“挂起”
hadoop
、
mapreduce
、
hive
、
tez
我正在使用HDP 2.3.0.0-2557,我试图
运行
一个蜂巢查询,如下所示:In order to change the average load for a reduc
浏览 1
提问于2016-07-13
得票数 1
3
回答
Hive
-4表联接
performance
、
hadoop
、
hive
我需要连接4个表,并且在每个连接条件中,连接列是不同的Table emp - 8TTable college - 800 MB查询-Left outer join stu b(a.id=b.id)left outer join address d(a.seq_no=d.seq_no a
浏览 2
提问于2017-05-31
得票数 0
2
回答
在
Hive
中所有推荐的优化技术是什么?
hadoop
、
hive
、
hiveql
、
bigdata
在
TEZ
模式下
运行
蜂箱。但是,除此之外,还有其他优化技术存在于蜂箱中。
浏览 2
提问于2016-06-06
得票数 0
回答已采纳
1
回答
如果减速器的蜂巢数与键数不同,会发生什么情况?
hadoop
、
hive
、
mapreduce
、
reduce
、
hive-configuration
在
Hive
I中,经常执行如下查询:我读了一些mapreduce示例,一个减速机只能产生一个键。
浏览 8
提问于2020-06-14
得票数 2
1
回答
蜂巢性能调优
performance
、
hive
我已经找到了九个最重要的参数,它们将有助于优化
hive
的性能。它们如下(没有具体的顺序):
浏览 3
提问于2017-07-17
得票数 0
1
回答
hive
tez
mapr分发查询与
tez
引擎有问题。
hive
、
mapr
、
apache-tez
查询在
tez
上失败,但对先生很好。我们尝试了许多不同的排列和集合组合。无法在
tez
中成功
运行
此查询。查询在MR中
运行
约20分钟,但是
tez
引擎,我们看到查询在集群中消耗了大量内存,当这个查询
运行
时,我看到集群上的内存使用量不断上升,在许多节点上达到100%,并且在丢失的节点消息上容器退出导致查询失败。=6144;--set
tez
.am.task.max.fail
浏览 15
提问于2022-02-25
得票数 1
2
回答
通过
TEZ
处理
Hive
的ORC表时出错
hadoop
、
hive
、
orc
、
tez
我们正在尝试从
HIVE
(1.2.1)中的“ORC”表中读取数据,并使用“TextInputFormat”将该数据放入表中。有些条目在原始数据中太大,在操作过程中会发生以下错误: org.apache.hadoop.
hive
.ql.metadata.HiveException: org.apache.
tez
.runtime.library.common.sort.impl.ExternalSorter我们使用
TEZ
引擎执行查询,简单的MR引擎没有错误。Upd 2:简单的“选择”从ORC工作
非常
好的任何引
浏览 0
提问于2016-02-10
得票数 1
1
回答
我们可以在查询之前对
Hive
表的列进行排序吗?
hadoop
、
hive
我的
Hive
表是ORC格式的,当where子句中的列被排序时,其中的查询
运行
得最快。但在我的例子中,目前还没有。在查询之前对列进行排序的语法是什么?
浏览 0
提问于2018-03-05
得票数 0
1
回答
配置单元计数*内存不足
java
、
sql
、
hadoop
、
hive
hive
> select count(*) from ipaddress where country='China'; In order to change t
浏览 10
提问于2016-09-22
得票数 0
1
回答
配置单元查询多次命中同一视图,这是处理此查询的最佳方式
hadoop
、
hive
、
query-optimization
、
hadoop-yarn
、
apache-tez
我们支持一个正在
运行
通过ETL工具触发的巨大配置单元查询的应用程序。 映射后的查询在配置单元上
运行
。这个查询
非常
大,但是它的结构看起来像这样。我是新的,在支持方面,但这个查询
运行
了几个小时,所以需要检查它是否以正确的方式
运行
。我确信一个内部选择可以被丢弃,任何其他我可以尝试的东西。
浏览 13
提问于2019-03-08
得票数 1
6
回答
有什么建议可以让
Hive
在Hadoop上
运行
得更快吗?
performance
、
hadoop
、
hive
我是
Hive
和Hadoop的新手。我将Hadoop配置为伪分布式操作,一个数据节点和一个名称节点都在localhost上。0: jdbc:
hive
2://localhost:10000> select * from emp;WARNING:
浏览 1
提问于2017-12-05
得票数 0
1
回答
用一个文件在蜂巢中创建表
hive
、
create-table
、
hive-partitions
、
hiveddl
、
hive-configuration
我正在
Hive
中创建一个新表,使用:我的问题是,在创建表之后,它会为每个分区生成多个文件,而我只想为每个分区生成一个文件
浏览 2
提问于2017-07-23
得票数 4
2
回答
如何将数据插入到单个文件中。
azure
、
hadoop
/hiveblob/sample.csv’SELECT *; 那么
浏览 5
提问于2015-06-08
得票数 1
4
回答
执行“插入.值”很慢
hadoop
、
hive
、
hadoop-yarn
、
tez
我构建了hadoop &
hive
集群,并尝试进行一些测试。但它真的很慢。|| 'hdfs://avatarcluster/
hive
scratch data dir, path=hdfs://avatarcluster/tmp/
hive
/hadoop/_
tez
_session_dir
浏览 30
提问于2017-05-31
得票数 5
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
数仓应用工具Hive:从底层设计窥见其优化策略
大数据生态圈及其衍生物
初次遇见大数据及Hadoop生态系统
大数据基础知识:Hadoop分布式系统介绍
Hadoop老矣,为什么腾讯还要花精力在其开源发布上?
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券