腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
在
使用
带有
多个
映射器
的
sqoop
导
入时
创建
单个
文件
我想
使用
sqoop
import从Cobol-DB2导入数据,但我
的
要求是我想
使用
4个
映射器
,但它应该只
在
hdfs目标目录中
创建
一个
文件
。有没有办法做到这一点?
浏览 27
提问于2020-05-01
得票数 0
2
回答
Sqoop
在从数据库导入数据时
创建
了太多
的
小
文件
、
、
、
我已经
创建
了一个自动进程,
使用
sqoop
将数据从数据库逐步导入到hdfs。现在,hadoop
创建
了
多个
小
文件
,而不是像块一样大小
的
文件
。如何指示
sqoop
将
文件
大小设置为块大小?
浏览 14
提问于2017-08-28
得票数 0
3
回答
如何在
使用
带有
多个
映射器
的
sqoop
导
入时
创建
单个
文件
、
我想
使用
sqoop
import从Mysql导入数据,但我
的
要求是我想
使用
4个
映射器
,但它应该只
在
hdfs目标目录中
创建
一个
文件
,有什么方法可以做到吗?
浏览 2
提问于2016-10-25
得票数 0
1
回答
由于任务超时,
Sqoop
导入作业失败
、
、
我尝试
使用
sqoop
将MySQL中
的
1 TB表导入到HDFS中。
使用
的
命令是:
sqoop
import --connect jdbc:mysql://xx.xx.xxx.xx/MyDB --username myuser --password mypass --table我认为,这是因为执行在每个
映射器
中运行
的
select查询所用
的
时间超过了为超时设置
的
时间(
在
<em
浏览 2
提问于2013-02-04
得票数 3
1
回答
使用
Sqoop
导入表时
的
主键错误
、
、
我尝试
使用
sqoop
将所有表导入到一个directories.But中,其中一个表没有主key.This,这是我执行
的
代码。
sqoop
import-all-tables --connect "jdbc:mysql://quickstart.cloudera/retail_db" 我知道,我们可以只对
单个
表--split-by
使
浏览 3
提问于2016-07-30
得票数 2
1
回答
sqoop
分成小尺寸
的
多个
部分
、
、
我有10个
映射器
的
sqoop
stmt。
在
hadoop中,整个数据分成10个部分,每个部分超过1 1GB。我想将数据分成
多个
较小部分
的
文件
,不用说超过10个,大约50个
文件
,每个200MB。然而,由于DB瓶颈问题,我不能在一个
sqoop
中
创建
超过10个
映射器
。如果有什么简单
的
解决方案,请告诉我。
浏览 4
提问于2017-03-10
得票数 0
3
回答
进口。可以执行多少个最大映射程序?
在
Sqoop
导入中可以执行多少个映射程序。此外,
在
使用
sqoop
导
入时
,有任何情况下还原器正在运行。
浏览 9
提问于2017-04-04
得票数 1
3
回答
Sqoop
--尽管表中有主键,但导
入时
发生了拆分错误。
、
、
、
、
2 | Fitness | 4 | Apparel | 6 | Outdoors
Sqoop
查询-m 2 \ --username'select * from departments where dept_id <
浏览 3
提问于2016-08-11
得票数 1
回答已采纳
6
回答
sqoop
中仓库dir命令和目标dir命令之间
的
区别
我无法理解
sqoop
中以下命令之间
的
区别。如果有人能用一些小例子来解释,那就更好了。谢谢
浏览 4
提问于2016-05-24
得票数 11
回答已采纳
1
回答
如何
使用
sqoop
将数据从数据库导入到
多个
hdfs
文件
中?
我
使用
sqoop
将数据以avro格式从oracle导入hdfs。我想通过写入
多个
hdfs
文件
(每个
映射器
实例一个)来并行这个过程,因为记录顺序对我来说并不重要。
在
sqoop
中有这样做
的
选项吗?
浏览 1
提问于2015-05-15
得票数 0
3
回答
与
sqoop
相关
的
查询-导入?
、
存储
在
多个
文件
中
的
HDFS目录中
的
数据如下:部-m-00001部分m-00003 我
的
问题是,当从HDFS目录读取存储
的
数据时,我们必须读取所有
文件
因为当我阅读这些数据时,我发现HDFS中
的
数据有点丢失。是发生了还是我错过了什么?
浏览 1
提问于2011-12-22
得票数 1
回答已采纳
3
回答
如果我们
使用
sqoop
中
的
6个
映射器
从Oracle导入数据,那么
在
sqoop
和源之间将建立多少个连接
、
、
、
、
如果我们
使用
sqoop
中
的
6个
映射器
从Oracle导入数据,那么
在
sqoop
和源之间将建立多少个连接。 是
单个
连接,还是每个
映射器
有6个连接。
浏览 0
提问于2016-07-14
得票数 2
2
回答
Sqoop
没有
使用
所有指定
的
映射器
。
我正在
使用
Sqoop
从Oracle导入数据到Hadoop。
在
Oracle表中,我有大约200万条
带有
主键
的
记录,这是我作为拆分字段提供
的
。我
的
sqoop
工作正在完成,我得到了正确
的
数据,到目前为止,我
的
工作正在运行30分钟。当我检查输出
文件
时,我看到第一个
文件
大约是1.4GB,第二个
文件
大约是157.2 MB,最后一个
文件
(20个
文件</
浏览 9
提问于2014-10-17
得票数 0
2
回答
在
hadoop上
使用
sqoop
导入命令时出错。
、
、
你好,我正在
使用
sqoop
命令下面的命令,我认为它应该可以工作。谢谢 警告: /usr/lib/
sqoop
/../accumulo不存在!Accumulo
的
进口将失败。请将$ACCUMULO_HOME设置为Accumulo安装
的
根目录。19/11/17 10:12:10 INFO
sqoop
.
Sqoop
:运行
Sqoop
版本: 1.4.6-cdh5.13.0 19/11
浏览 9
提问于2019-11-17
得票数 1
1
回答
Sqoop
合并工具
在
单个
文件
中生成输出
、
、
、
、
目前,我正在执行以下命令 除了merge
在
多个
部件
文件
中生成输出外,一切都工作得很好,因为这是hadoop中
的
mapreduce任务,它
使用
多个
还原器。部件
文件
是拼板
文件
,我想要
创建
单个
文件
,因为相同
的
文件
将被输入到我
的
下一个进程,下一个进程是
在
同一个提取
的
文件
浏览 2
提问于2018-06-26
得票数 0
2
回答
sqoop
与TDCH
的
区别
、
、
需要详细区别
Sqoop
和
的
Hadoop.建议将Teradata作为源,hadoop作为目标推荐哪种?我们需要实现不同类型
的
负载,比如增量、历史记录和附加
浏览 4
提问于2016-07-22
得票数 0
回答已采纳
1
回答
当默认值为4时,
sqoop
映射器
如何将数据分割成块?
、
、
我知道
Sqoop
映射器
的
默认值是4,我们可以更改该值。但是,由于数据是
在
Sqoop
导入期间保存在HDFS中
的
,所以假设我
的
块大小为128 MB,数据
的
总大小为3 GB。这意味着我
的
数据将分裂成24个部分,不包括所有数据
的
复制。我
的
问题是,如果我
使用
4个
sqoop
映射器
,那么它如何被分成24个部分?每个
映射器
内部是否将数据分成6部
浏览 1
提问于2021-02-07
得票数 0
回答已采纳
3
回答
为什么
Sqoop
中默认
的
最大映射数是4?我们可以
在
-m参数中提供4个以上
的
映射器
吗?
、
我正在尝试理解
sqoop
作业中默认
的
最大
映射器
背后
的
原因,以及我们是否可以
在
sqoop
作业中设置四个以上
的
映射器
以实现更多
的
并行性。
浏览 1
提问于2017-04-21
得票数 4
3
回答
如何为
sqoop
1.4.6启用oraoop
、
、
我
使用
的
是
带有
ojdbc6驱动
的
sqoop
1.4.6和Oracle 11g。谢谢
浏览 3
提问于2016-02-12
得票数 2
2
回答
Sqoop
投机处决
、
、
我
在
Sqoop
有下面的问题吗? 谢谢
浏览 1
提问于2015-04-22
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
大数据系列 sqoop1的核心命令
Java 高级框架之认识 springMVC
使用impdp,expdp数据泵进入海量数据迁移
深入浅出MyBatis:MyBatis解析和运行原理
Fireworks 8.0 简体中文版下载
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券