腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何使用Pyspark将数据
库
与
SFTP
连接起来?
pyspark
、
databricks
、
sftp
、
azure-databricks
我希望使用Pyspark (使用私钥)
从
databricks集群连接到
sftp
(读取存储
在
文件
夹
中
的
文件
)。
从
历史上看,我一直
从
sftp
下载
文件
到linux盒,并将其移动到蔚蓝容器
中
,然后再用pyspark读取
文件
。是否有一种方法可以使用databricks
从
sftp
直接读取? 谢谢你调查此事。
浏览 12
提问于2022-08-17
得票数 0
2
回答
Google Cloud Dataproc OOM问题
python
、
google-cloud-platform
、
google-cloud-dataproc
在
Spark
cluster (Dataproc)上执行代码时,我遇到了OOM问题。 环境:2节点集群,每节点6G内存。测试
文件
大小为20 is。_jsc.hadoopConfiguration().set('fs.
sftp
.impl', 'org.apache.hadoop.fs.
sftp
.SFTPFileSystem') data = sc.textFile("
sftp
://user:pass@54.23.12.
浏览 12
提问于2019-02-12
得票数 3
1
回答
在
EMR
中
运行时
,
Spark
SFTP
库
无法
从
sftp
服务器
下载
文件
apache-spark
、
apache-spark-sql
、
sftp
我
在
我的
spark
作业中使用com.springml.
spark
.
sftp
从
sftp
服务器
下载
文件
。基本代码如下所示。format("com.springml.
spark
.
sftp
"). option("host", "myhost.test.com").load("/data/test
浏览 48
提问于2020-10-19
得票数 0
2
回答
使用SSH.NET
下载
时
文件
为空
c#
、
.net
、
sftp
、
ssh.net
我使用SSH.NET
从
SFTP
下载
文件
,下面是我的代码:string usernamecsv格式的
文件
被
下载
了,但里面没有任何数据。我也更改了remoteFile路径,但
下载
的
文件
中
仍然包含空数据。或者推荐其他
库
从
SFTP
服务器<
浏览 1
提问于2014-10-07
得票数 0
2
回答
用Pyspark
从
SFTP
读取大型Parquet
文件
很慢
python
、
pyspark
、
sftp
、
parquet
我
在
使用SQLContext
从
SFTP
服务器
读取数据时遇到了一些问题。我找到了一些办法来读它,但它几乎花了一个小时..当数据不在某些
sftp
服务器
中
时,我使用下面的代码,即使
在
大
文件
中
,它也通常工作得很好
浏览 4
提问于2022-07-22
得票数 1
回答已采纳
1
回答
在
SSIS/C#
中
的两个远程FTP和
SFTP
服务器
之间传输
文件
,然后将源
文件
存档到另一个目录
c#
、
.net
、
ssis
、
ftp
、
sftp
我已经为此挣扎了一段时间,我不太明白如何使用SSIS来解决这种情况(我正在考虑
在
C#
中
创建一个脚本任务) 这是我的问题:每天都会在特定
服务器
的某个目录
中
创建和存储
文件
(我可以
在
客户机
服务器
应用程序(如FileZilla我希望将该
文件
传输到使用
SFTP
协议的另一台
服务器
。然后,一旦成功地放置
在
该
服务器
中
,将原始
文件
移动到源FTP
服务器</e
浏览 18
提问于2021-04-02
得票数 2
回答已采纳
2
回答
使用Java
中
的
SFTP
,如何将
文件
从一个
文件
夹传输到另一个
文件
夹?
java
、
sftp
、
jsch
我有一个有两个
文件
夹的简单目录-
在
SFTP
_1
文件
夹
中
,我有一个位图图像。而
SFTP
_2
文件
夹只是一个空
文件
夹。 Java有要使用的原生
SFTP
库
吗?
浏览 3
提问于2015-09-23
得票数 0
回答已采纳
4
回答
web应用程序处理用户
从
SFTP
服务器
下载
文件
的请求的功能
java
、
download
、
sftp
在
我们的Java应用程序
中
,客户希望将一些大
文件
上传到
SFTP
服务器
并直接从那里
下载
。客户不希望使用任何第三方工具,而是希望应用程序本身具有此功能。因此,我必须决定
从
SFTP
服务器
下载
文件
的策略。 一种选择是解析请求,然后连接到
SFTP
服务器
并通过HTTP
服务器
对
文件
进行流。当对
SFTP
文件
的
浏览 17
提问于2009-09-22
得票数 1
1
回答
Linux -如何配置
SFTP
服务器
以及本地Git存储
库
git
、
unix
、
hosting
、
sftp
目前,我正在同一台
服务器
上配置
SFTP
和Local存储
库
。有两种类型的组:
sftp
-users & git-users。我只将
sftp
-usres限制
在
使用ChrootDirectory %h的home目录
中
。现在,当我只允许
sftp
-users使用
SFTP
(
下载
/查看
文件
)时,它就不允许git-users通过putty登录或在客户端克隆项目。那么,
在
同一
浏览 2
提问于2017-10-04
得票数 1
回答已采纳
1
回答
如何使用Jsch将
文件
从
shell通道上传到另一个
SFTP
服务器
?
shell
、
unix
、
sftp
、
jsch
1:会话连接session.connect()channel = session.openChannel("shell");channel.connect(); shellStream.flush();code to
浏览 3
提问于2015-01-27
得票数 0
回答已采纳
1
回答
用弹性映射约简将
SFTP
到S3分布式
文件
复制
amazon-web-services
、
amazon-s3
、
sftp
我需要定期使用
SFTP
将
文件
从
服务器
复制到AWS S3桶
中
。目前,我正在使用Python的Paramiko模块和AWS Boto完成cron任务。我想知道是否有办法通过AWS弹性地图还原(
EMR
)更有效地做到这一点。S3DistCp工具非常适合使用
EMR
将数据
从
S3复制到S3存储桶,但是我还没有找到
从
SFTP
到S3的分布式
文件
副本的任何内容。
浏览 3
提问于2014-11-27
得票数 1
1
回答
Python paramiko获取命令路径语法
python
、
path
、
sftp
、
paramiko
我希望将
文件
从
sFTP
服务器
下载
到本地计算机,并希望
在
文件
下载
时指定
文件
的位置。我已经使用以下代码成功地连接到了
sFTP
服务器
:ssh = paramiko.SSHClient() #OPEN
SFTP
浏览 6
提问于2022-10-06
得票数 0
回答已采纳
4
回答
在
java
中
从
SFTP
服务器
检索
文件
列表
java
、
ftp
、
sftp
我想要
sftp
服务器
或ftp
服务器
中
存在的特定目录的
文件
列表。我编写了以下代码来执行此操作,但它不适用于我。catch (Exception e) { } 我替换了jsse的jar,但现在上面的代码没有给出任何output.It,也没有返回任何
文件
名所以任何人都知道如何
从
ftp或
sftp
服务器
上获得所有
文件
的列表,只使用java和开源
库</em
浏览 2
提问于2010-07-26
得票数 0
回答已采纳
2
回答
以二进制模式将大型机
文件
下载
到Unix
中
unix
、
sftp
、
mainframe
我希望使用
SFTP
命令
从
大型机
服务器
下载
一个
文件
到Linux机器,并希望保留EOL。实际
文件
似乎没有EOL字符,因为
SFTP
进程
在
将EOL字符
下载
到Linux
服务器
时添加了EOL字符。有使用
SFTP
命令以二进制模式
下载
文件
的选项吗? 我尝试使用FTP和
SFTP
从
大型机
服务器
下载
数据。二进制模式
浏览 0
提问于2019-07-26
得票数 3
1
回答
从
远程
文件
中
获取流内容
文件
php
、
xml
、
zip
、
sftp
、
phpseclib
我使用
从
PHP连接到
SFTP
。我需要从
SFTP
服务器
获取压缩
文件
。这些zip
文件
包含xml和jpg
文件
。我应该
从
xml中提取数据,并从jpg
文件
中流式传输,然后将所有数据保存在数据
库
中
。我
无法
下载
zip
文件
,因为我没有写入权限。 是否可以
从
远程
文件
获取流内容
文件
(zip、xml和jpg)?注意
浏览 1
提问于2014-06-23
得票数 0
1
回答
使用shell脚本
中
的
SFTP
协议
从
sftp
服务器
删除
文件
shell
、
sftp
、
file-transfer
我试图使用
SFTP
协议
从
远程
服务器
中
删除一个
文件
。虽然我可以
下载
该
文件
,但我
无法
删除post
下载
。这是我的密码: if [ $?-ne 0 ]; then Error "Cannot Download TEST file from
SFTP<
浏览 7
提问于2020-06-12
得票数 0
回答已采纳
2
回答
从
spark
服务器
执行
SFTP
时
在
大型机
服务器
上记录级别数据截断
scala
、
apache-spark
、
sftp
、
jsch
、
mainframe
我正在通过
SFTP
从
scala
中
开发的
spark
应用程序向大型机
服务器
发送csv
文件
。我正在使用jsch (java安全通道)包版本0.1.53版本来完成
从
spark
服务器
到大型机
服务器
的
SFTP
连接。我面临的问题是,
在
大型机
服务器
上,csv
文件
被截断为每条记录行的1024字节。。经过研究,我发现在大型机上,我们有一些选项,比如使用"l
浏览 8
提问于2021-05-10
得票数 2
1
回答
将大量
文件
从一台
服务器
传输到另一台
服务器
ssh
、
cpanel
我正在移动
服务器
,我们的图像目录有大约15,000张图像(2 2GB大小),需要移动到新
服务器
上。 图像在新
服务器
上会有不同的路径,所以不能只迁移整个CPANEL。
浏览 1
提问于2012-05-04
得票数 1
1
回答
SFTP
- JSch重命名
文件
正在加载
java
、
sftp
、
jsch
我正在开发一个程序,它将从
SFTP
服务器
检索一组
文件
到另一个本地目录。这些
文件
是用get方法
下载
的。connection = connect(host, port, user, password);业务要求是,如果
文件
未被完全
下载
,则
无法
从
本地目录检索。在
下载
未完成之前
浏览 3
提问于2015-06-03
得票数 1
回答已采纳
1
回答
如何使用PHP
从
SFTP
服务器
下载
文件
php
、
download
、
sftp
、
phpseclib
我希望允许用户直接
从
sftp
服务器
下载
文件
,但可以
在
浏览器中
下载
。 我找到了读取
文件
和回显字符串(使用ssh2.
sftp
或phpseclib连接)的方法,但我需要
下载
,而不是读取。此外,我还看到了一些解决方案,建议
从
sftp
服务器
下载
到web
服务器
,然后使用readfile()
从
web
服务器
到
浏览 3
提问于2013-04-22
得票数 3
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
用shell脚本获取数据库服务器文件到应用服务器中完整版
FTP,SFTP,FTPS各是什么?你搞混过吗?
Php sftp
如何限制指定账户不能SSH只能SFTP在指定目录
说说SSH、SCP和SFTP的那些事儿
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券