sqoop中的最后一个值(增量导入)
sqoop中的最后一个值(增量导入)
提问于 2018-04-02 13:18:56
sqoop import --connect \\
jdbc:mysql://localhost:3306/ydb --table yloc --username root -P --check-column rank --incremental append --last-value 我们不知道上一个表的最后一个值。如何编写查询？
回答 2
Stack Overflow用户
发布于 2018-04-12 15:35:26
你可以尝试两种方法来解决这个问题。
- 查询表并获取最后一个值列的最大值。
- 在sqoop中创建一个作业，并将该列设置为增量列，然后继续前进，您的作业将在增量的基础上运行
Stack Overflow用户
发布于 2018-09-12 07:27:01
对于.sqoop
- open文件，请使用vi或您最喜欢的editor.
- search
- incremental.last.value
转到pwd
- cd metastore.db.script文件
它应该是这样的
INSERT INTO SQOOP_SESSIONS VALUES('incimpjob','incremental.last.value','2018-09-11 19:20:52.0','SqoopOptions')注意:我假设您已经创建了一个Sqoop Job。“incimpjob”是我的sqoop作业的名称。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/49605699
复制相关文章
相似问题