腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(449)
视频
沙龙
2
回答
配置单元中的
增量
更新
、
、
、
我有一个源
MySql
表。出于分析目的,我必须将数据导出到
Hive
。最初,当
MySQL
中的数据较小时,使用Sqoop将
Mysql
数据完全导出到
Hive
不是问题。现在,随着我的数据大小的增长,我如何将
MySql
数据
增量
更新到
hive
?
浏览 0
提问于2016-05-03
得票数 0
2
回答
Sqoop:
增量
导入问题
、
、
我有一个需求,我需要从
mysql
导入一个表,以
增量
的方式存储,并且在这样做时会遇到问题。这就是我迄今尝试过的: --create test2 -- import --username username --
hive
-import--di
浏览 5
提问于2014-07-17
得票数 1
1
回答
如何使用阿里巴巴的DistCp工具
增量
迁移HDFS数据
命令:在上面的代码中,我需要添加哪些参数来实现
增量
同步
?
浏览 0
提问于2018-12-30
得票数 1
回答已采纳
2
回答
将sqoop
增量
导入到单元表
、
、
我正在尝试对
hive
表执行sqoop
增量
导入(lastmodified)。它在sqoop 1.4.5中工作,但在sqoop 1.4.6中不工作。:2011年11月13日17:57:58 +0530 2017 --incremental lastmodified option for
hive
浏览 3
提问于2017-11-13
得票数 2
回答已采纳
1
回答
Sqoop
增量
加载到分区的
hive
表
、
、
、
如何将
增量
数据加载到已分区的配置单元表中id bigint,created_on string(yyyy-MM-dd),我已经创建了一个sqoop作业,根据上次修改日期以
增量
方式导入 sqoop job --create users -- import --connect jdbc:
mysql
://<ip>/product --dri
浏览 5
提问于2016-11-18
得票数 0
1
回答
如何将更新的记录以及从RDBMS表到
Hive
表的
增量
导入?
、
、
、
我使用Sqoop
增量
导入,每天将数据输入到我的
hive
表中。中,使用Sqoop
增量
导入,通过cron作业将数据导入到shell脚本来完成工作。DATE=$(date +"%d-%m-%y")sqoop import --connect jdbc:
mysql
</home/cloudera/Desktop/MyScripts/tab
浏览 2
提问于2017-04-17
得票数 1
回答已采纳
2
回答
使用Azure Data V2只支持Server到Azure Sql的
增量
同步
吗
、
我尝试
增量
同步
来设计
MySQL
和Azure之间的
增量
同步
数据,引用了,在为设计管道时发现查找组件只支持SERVER。问题我们可以使用哪些其他组件从
Mysql
中选择数据?
浏览 0
提问于2018-03-06
得票数 0
回答已采纳
1
回答
hdfs和
hive
有什么关系?
、
我有psudeo分布式hadoop环境,并使用sqoop和
hive
进行数据导入和分析。我使用sqoop将数据从
mysql
导入到蜂箱中,它起作用了,我在我的蜂巢位置(也就是/user/
hive
/warehouse/ )获得了数据,我可以在
hive
表中看到数据。我的怀疑是: 为什么它要在我的hdfs中创建/user/
hive
浏览 5
提问于2017-01-11
得票数 0
3
回答
使用Sqoop从
MySQL
导入到
Hive
、
、
、
、
我必须通过Sqoop从
MySQL
表(具有复合主键)导入>4亿行到分区的
Hive
表单元中。该表有两年的数据,列出发日期为20120605
至
20140605,一天有数千项记录。版本如下:Apache
Hive
- 0.9.0据我所知,有三种方法:
MySQL
->非分区
Hive
表->从非分区的
Hive
表插入到已分区的
Hive<
浏览 3
提问于2013-06-27
得票数 1
1
回答
导入
mysql
时sqoop会自动创建配置单元表注释吗?
、
、
、
现在,我知道我可以使用--
hive
-import选项来告诉
hive
在
hive
中自动创建表,但是
hive
中自动创建的表不包含
mysql
表中的注释。CREATE TABLE `orders` ( `current_day` varchar(11) NOT NULL DEFAULT '' COMMENT 'ordertot
浏览 11
提问于2015-05-25
得票数 0
0
回答
使用sqoop
增量
更新来更新
Hive
表
、
、
、
我正在尝试根据
mysql
表中的记录更新配置单元表。Fitness4 Apparel6 Outdoors我正在尝试使用sqoop,在department_id 8中使用
增量
更新将
mysql
表中的最后一条记录导入到
hive
表中。-password xxx --table delimiter_test --
hive
-import --
hive
-table my_test --split-by depart
浏览 12
提问于2016-12-28
得票数 0
回答已采纳
2
回答
-不支持
hive
导入的
增量
“最后修改”选项
、
、
、
port}/sqoop \ -- import --null-string "null" --null-non-string "null" --
mysql
-delimiters--
hive
-drop-import-delims \ --incrementalcolumnId \ --target-di
浏览 2
提问于2020-01-17
得票数 0
1
回答
增量
附加到文件
、
、
、
我在
MySQL
中有表,我想使用sqoop导入数据。我导入了数据并以file的形式存储在file中。现在,我想在hdfs中对这个文件运行
增量
更新。I am talking about files not
Hive
tables。 我希望
增量
数据作为单独的文件,而不是合并的文件。我的意思是,我们可以对文件进行
增量
更新吗?
浏览 3
提问于2017-03-17
得票数 0
回答已采纳
2
回答
在
同步
的
mysql
服务器上设置手动
增量
值
、
我有一个
mysql
\PHP应用程序托管在内部网和互联网上。两台
mysql
服务器都被复制,即实时
同步
。 我有一些以自动
增量
id作为主键的表。当
同步
关闭时,对于新的事务,在线和内部网服务器上使用相同的自动
增量
值。因此,即使服务器连接并开始
同步
,具有相同自动
增量
id的记录也无法
同步
。具有非重叠值的Ids会在服务器连接后立即
同步
。为了解决这个问题,我正在考虑在intranet和online上使用不同范围的手动
增量</
浏览 3
提问于2013-04-02
得票数 2
1
回答
添加到
mysql
中的新列在
Hive
中反映了相同的内容。
、
、
今天,我在
mysql
中有4列3行的表。我已经将这些数据直接导入到一个蜂巢表中。表测试:1 sam 123 hyd3 red 456 qer1 sam 123 hyd3 red 456 qer现在,我希望
hive
表与
mysql
表
浏览 2
提问于2017-03-06
得票数 0
回答已采纳
3
回答
如何使用Sqoop从
MySQL
增量
导入到配置单元?
、
、
、
我可以使用Sqoop成功地执行从
MySQL
到HDFS的
增量
导入,方法是这是一个bug吗?预期的行为?有没有人有从
MySQL
增量
导入数据并通过配置单元提供数据的过程? 我基本上希望我的Hadoop集群成为我的
MySQL
数据库的读从服务器,以便进行快速分析。如果除了<em
浏览 0
提问于2012-12-28
得票数 2
2
回答
使用自由格式查询的Sqoop作业
增量
导入
、
、
我正在尝试使用自由形式查询进行sqoop作业的
增量
导入。下面是正在使用的查询 sqoop job --create importjobinl -- import --connect jdbc:
mysql
://localhost/test --username当我使用
mysql
intest而不是--query时,它是有效的,但是我希望使用--query使用unix_timestamp将日期转换为纪元时间,因为
mysql
表intest中的值是yyyy-mm-dd
浏览 1
提问于2015-09-06
得票数 0
1
回答
通过oozie从sqoop作业的
增量
导入不会更新sqoop的元存储中的incremental.last.value
、
、
、
尝试通过创建sqoop job从
mysql
到
hive
进行
增量
导入,它在命令行中工作得很好,但当我尝试使用oozie执行同样的操作时,它不会更新sqoop的metastore中的incremental.last.value
浏览 4
提问于2017-04-28
得票数 0
1
回答
如何将
mysql
表与单元表
同步
?(sqoop -不支持
增量
的最后修改的蜂箱导入)
、
、
、
我想将
mysql
表
同步
到
hive
表中。因为orders表中的记录在不久的将来通常会发生变化。我要把他们更新到蜂巢里。 --password $PASSWORD \--fields-terminated-by '\t' \ --target-dir '/da
浏览 0
提问于2019-01-11
得票数 1
4
回答
如何在SQOOP中自动执行
增量
导入?
、
、
我们如何在SQoop中自动执行
增量
导入?在
增量
导入中,我们需要给--last-value从最后一个值开始导入,但我的工作是频繁地从关系型数据库导入,我不想手动给出最后一个值,有没有什么方法可以自动化这个过程?
浏览 4
提问于2016-01-14
得票数 4
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
NIFI1.21.0_Mysql到Mysql增量CDC同步_日期_以及null数据同步处理
干货 | 百万QPS,秒级延迟,携程基于实时流的大数据基础层建设
DataX二次开发小记
大数据开发平台在有赞的最佳实践
python-可配置化的数据同步及计算方案
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券