我可以使用Sqoop成功地执行从MySQL到HDFS的增量导入,方法是
sqoop job -create JOBNAME ... --incremental append --check-column id --last-value LAST
sqoop job -exec JOBNAME
以日志消息结束,如下所示
INFO tool.ImportTool: Saving incremental import state to the metastore
INFO tool.ImportTool: Updated data for job: JOBNAME
检查作业会发现incrementa
我使用sqoop将数据从MySQL导入到hdfs,并将其作为片材文件,在该文件中由Impala使用。将MySQL日期类型转换为Impala时间戳存在问题。
执行compute stats table或select *时的Impala错误消息是:
File 'hdfs://....parquet'
has an incompatible type with the table schema for column 'day'.
Expected type: INT32. Actual type: INT64
将日期列的数据类型更改为BIGINT或STRING将使错