尝试使用模式合并加载parquet文件时 df = spark.read.option("mergeSchema", "true").parquet('some_path/partition_dateFailed to merge incompatible data types int and bigint 有没有更好的方法来读取包含不兼容类型的模式演变的数据?谢谢
INT类型的源数据库字段通过OLE DB Source读取。它最终被写入一个平面文件目的地。目标平面文件连接管理器>高级页面将其报告为four-byte signed integer [DT_I4]。
这个数据类型使我认为它表示二进制。显然,事实并非如此。我原以为这会失败,但事实并非如此。这个过程产生了相同的结果,尽管字段的值总是> 127。为什么这不会失败呢?作为一个相关的问题,是否可以将二进制数据输出到平面文件中?如果是,应该使用哪些设