腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(175)
视频
沙龙
2
回答
配置单元中的
增量
更新
、
、
、
我有一个源
MySql
表。出于分析目的,我必须将数据导
出到
Hive
。最初,当
MySQL
中的数据较小时,使用Sqoop将
Mysql
数据完全导
出到
Hive
不是问题。现在,随着我的数据大小的增长,我如何将
MySql
数据
增量
更新到
hive
?
浏览 0
提问于2016-05-03
得票数 0
2
回答
如何将Hbase表导
出到
MySql
表
、
、
我正在尝试使用sqoop将Hbase表导
出到
mysql
表。以下是我的查询:> --connect jdbc:
mysql
://mysqlserver_ip:3306/mysqldb > -
浏览 3
提问于2013-07-09
得票数 1
3
回答
如何在Sqoop导出中使用自动
增量
in
、
我在HDFS中有一个以制表符分隔的文本文件,并希望将其导
出到
MySQL
表中。 由于文本文件中的行没有数字ID,如何使用SQL INSERT (自动
增量
)期间自动设置的ID导
出到
表中?
浏览 2
提问于2012-04-11
得票数 5
回答已采纳
2
回答
将sqoop
增量
导入到单元表
、
、
我正在尝试对
hive
表执行sqoop
增量
导入(lastmodified)。它在sqoop 1.4.5中工作,但在sqoop 1.4.6中不工作。:2011年11月13日17:57:58 +0530 2017 --incremental lastmodified option for
hive
浏览 3
提问于2017-11-13
得票数 2
回答已采纳
1
回答
如何将HDFS输出存储到
MySQL
表中?
、
、
我在存储在HDFS中的dataset上使用了Pig和
Hive
进行MapReduce操作。现在,我希望将该输出传输到
MySQL
表中。 如何将输出传输到
MySQL
?
浏览 0
提问于2018-04-28
得票数 0
回答已采纳
1
回答
Sqoop
增量
加载到分区的
hive
表
、
、
、
如何将
增量
数据加载到已分区的配置单元表中id bigint,created_on string(yyyy-MM-dd),我已经创建了一个sqoop作业,根据上次修改日期以
增量
方式导入 sqoop job --create users -- import --connect jdbc:
mysql
://<ip>/product --dri
浏览 5
提问于2016-11-18
得票数 0
1
回答
如何将更新的记录以及从RDBMS表到
Hive
表的
增量
导入?
、
、
、
我使用Sqoop
增量
导入,每天将数据输入到我的
hive
表中。中,使用Sqoop
增量
导入,通过cron作业将数据导入到shell脚本来完成工作。DATE=$(date +"%d-%m-%y")sqoop import --connect jdbc:
mysql
</home/cloudera/Desktop/MyScripts/tab
浏览 2
提问于2017-04-17
得票数 1
回答已采纳
3
回答
sqoop与hdfs命令
、
、
、
据我所知,Sqoop命令用于将数据从
MySql
等数据库导入到HDFS,反之亦然;HDFs命令用于处理HDFS中的数据,例如从HDFS获取数据到本地文件系统,反之亦然。
浏览 0
提问于2017-01-29
得票数 0
1
回答
hdfs和
hive
有什么关系?
、
我有psudeo分布式hadoop环境,并使用sqoop和
hive
进行数据导入和分析。我使用sqoop将数据从
mysql
导入到蜂箱中,它起作用了,我在我的蜂巢位置(也就是/user/
hive
/warehouse/ )获得了数据,我可以在
hive
表中看到数据。我的怀疑是: 为什么它要在我的hdfs中创建/user/
hive
浏览 5
提问于2017-01-11
得票数 0
1
回答
MySQL
中的单元外部表
、
、
、
目前,我正在执行以下步骤(hadoop 1.1.2、
Hive
0.11和Sqoop-1.4.3.bin__hadoop-1.0.0): 我想知道是否可以将步骤2和步骤3--直接写入
MySQL
数据库的
Hive
查询的输出--结合起来。线程谈到JDBC,但找不到同样的
Hive</em
浏览 1
提问于2013-07-18
得票数 1
0
回答
使用sqoop
增量
更新来更新
Hive
表
、
、
、
我正在尝试根据
mysql
表中的记录更新配置单元表。Fitness4 Apparel6 Outdoors我正在尝试使用sqoop,在department_id 8中使用
增量
更新将
mysql
表中的最后一条记录导入到
hive
表中。-password xxx --table delimiter_test --
hive
-import --
hive
-table my_test --split-by depart
浏览 12
提问于2016-12-28
得票数 0
回答已采纳
2
回答
-不支持
hive
导入的
增量
“最后修改”选项
、
、
、
port}/sqoop \ -- import --null-string "null" --null-non-string "null" --
mysql
-delimiters--
hive
-drop-import-delims \ --incrementalcolumnId \ --target-di
浏览 2
提问于2020-01-17
得票数 0
1
回答
增量
附加到文件
、
、
、
我在
MySQL
中有表,我想使用sqoop导入数据。我导入了数据并以file的形式存储在file中。现在,我想在hdfs中对这个文件运行
增量
更新。I am talking about files not
Hive
tables。 我希望
增量
数据作为单独的文件,而不是合并的文件。我的意思是,我们可以对文件进行
增量
更新吗?
浏览 3
提问于2017-03-17
得票数 0
回答已采纳
1
回答
如何将拆分的HDFS文件加载到Oracle数据库?
、
、
我需要将数据从HDFS上的拆分文件加载到Oracle数据库。hdfs://XXXXXX/split_files/test_folder/test_table_with_partitions/*drwxrwxrwx - bigsql hdfs 0 2017-07-24 01:00 hdfs://XXXXXX/split_files/test_folder/test_table_with_partitions/tm=2017-07-24/dept=1 drwxrwxrwx
浏览 5
提问于2017-07-26
得票数 0
回答已采纳
1
回答
添加到
mysql
中的新列在
Hive
中反映了相同的内容。
、
、
今天,我在
mysql
中有4列3行的表。我已经将这些数据直接导入到一个蜂巢表中。表测试:1 sam 123 hyd3 red 456 qer1 sam 123 hyd3 red 456 qer现在,我希望
hive
表与
mysql
表
浏览 2
提问于2017-03-06
得票数 0
回答已采纳
2
回答
如何使用Sqoop将S3中的拼花数据导入HDFS?
、
、
、
、
我考虑使用s3将数据从Sqoop导入HDFS,然后使用Sqoop将其导
出到
RDS表中。我找到了将数据从HDFS导
出到
RDS的命令。但是我找不到从S3导入拼花数据的方法。
浏览 4
提问于2021-09-08
得票数 0
回答已采纳
1
回答
Sqoop -从
hive
导
出到
mysql
时出错
、
、
、
我在使用sqoop将
hive
数据导
出到
mysql
时遇到了问题。添加sqoop命令--table {username} --columns "column1,col
浏览 1
提问于2017-03-28
得票数 0
回答已采纳
3
回答
如何使用Sqoop从
MySQL
增量
导入到配置单元?
、
、
、
我可以使用Sqoop成功地执行从
MySQL
到HDFS的
增量
导入,方法是这是一个bug吗?预期的行为?有没有人有从
MySQL
增量
导入数据并通过配置单元提供数据的过程? 我基本上希望我的Hadoop集群成为我的
MySQL
数据库的读从服务器,以便进行快速分析。如果除了<em
浏览 0
提问于2012-12-28
得票数 2
2
回答
使用自由格式查询的Sqoop作业
增量
导入
、
、
我正在尝试使用自由形式查询进行sqoop作业的
增量
导入。下面是正在使用的查询 sqoop job --create importjobinl -- import --connect jdbc:
mysql
://localhost/test --username当我使用
mysql
intest而不是--query时,它是有效的,但是我希望使用--query使用unix_timestamp将日期转换为纪元时间,因为
mysql
表intest中的值是yyyy-mm-dd
浏览 1
提问于2015-09-06
得票数 0
1
回答
通过oozie从sqoop作业的
增量
导入不会更新sqoop的元存储中的incremental.last.value
、
、
、
尝试通过创建sqoop job从
mysql
到
hive
进行
增量
导入,它在命令行中工作得很好,但当我尝试使用oozie执行同样的操作时,它不会更新sqoop的metastore中的incremental.last.value
浏览 4
提问于2017-04-28
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
大数据系列 sqoop1的核心命令
Sqoop使用实例讲解
利用sqoop将hive和mysql数据互导入
Sqoop使用流程
干货 | 百万QPS,秒级延迟,携程基于实时流的大数据基础层建设
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券