在尝试使用Spark从FTP读取数据时出错。0.0 in stage 0.0 (TID 0, localhost): java.io.IOException: Seek not supported
at org.apache.hadoop.fs.ftp.FTPInputStream.seek如何在没有问题的情况下读取FTP文件?
我需要上传多个文件从目录通过FTP和SFTP的服务器。我已经用python,paramiko和线程解决了SFTP的这个任务。但是我在FTP上遇到了问题。我尝试使用ftplib for python,但它似乎不支持线程,我一个文件一个文件地上传,速度很慢。我想知道有没有可能在不创建单独的连接/授权的情况下使用FTP协议进行多线程上传(这需要太长时间)?
解决方案可以是Python或PHP。也许是卷曲?如果有任何想法都会很感激的。