腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
如何将字符串作为
gzip
Nodejs上载到
s3
node.js
、
amazon-s3
、
upload
、
gzip
我有一个
从
Redis
读取
字符串数组的node.JS程序。在上传之前,我需要以AWS
s3
格式以
GZIP
格式将这个字符串上传到我的
桶
中
,而不是在本地创建一个
gzip
文件
。基本上,我希望将
读取
字符串
从
Redis流到
s3
桶
gzip
压缩。除了上述问题之外,我还想知道以这种方式进行编程的有效方法和推荐的方法,因此将
存储
在
S3
中</
浏览 0
提问于2019-01-19
得票数 2
回答已采纳
1
回答
在Hadoop中使用
S3
输入
文件
时如何优化
GZip
读取
性能
optimization
、
hadoop
、
amazon-s3
、
hadoop-streaming
在我的Hadoop流工作的第一步,我得到了非常糟糕的表现:在我看来,映射器
从
S3
读取
约40
S3
/s-50
S3
/s。
从
S3
读取
大约100 be的数据需要一个多小时!数据的
存储
方式:在
GZip
桶
中
存储
数千个5-10 in的
S3
文件
。最近,我将一个示例100 my数据集的所有
文件
解压缩,并将
浏览 2
提问于2012-07-03
得票数 1
1
回答
使用Glue Data crawler处理压缩的gz
文件
以创建表模式
amazon-web-services
、
aws-glue
我在
S3
存储
桶
中有一个压缩的
gzip
文件
。客户端每天会将
文件
上传到
S3
存储
桶
中
。解压缩后的
gzip
将包含10个CSV格式的
文件
,但只有相同的模式。我的目标是处理
gzip
文件
,使用数据爬虫创建表模式,然后将所有数据加载/合并到一个新的单个表
中
。 Glue crawler是否可以
读取
gz
文件</e
浏览 3
提问于2018-02-16
得票数 2
1
回答
循环通过压缩的
gzip
文件
在第二次迭代时抛出“Errno 2]没有这样的
文件
或目录:'part-r-00001.gz'”
python
、
amazon-s3
、
gzip
我正在
s3
桶
中
遍历多个
文件
。第一次迭代非常好,但是一旦跳到下一次,我就会收到一个“Errno 2没有这样的
文件
或目录:'part-r-00001.gz'”。(正确访问了-r-00000.gz部分)logger.info("map folder: %s",
浏览 6
提问于2022-06-18
得票数 0
1
回答
从
s3
存储
桶
中
读取
gzip
文件
python
、
amazon-web-services
、
amazon-s3
、
gzip
、
boto3
嘿,我正在尝试
从
s3
存储
桶
中
读取
gzip
文件
,下面是我的尝试: s3client = boto3.client( region_name='us-east-1' bucketname
文件
,我这样做:
gzip
.open(filedata,'rb') 但它抛出了一个错误: ValueError: embedd
浏览 22
提问于2021-02-11
得票数 1
回答已采纳
2
回答
在不使用.gz
桶
的情况下,
从
远程服务器将数据
从
S3
文件
加载到redshift的postgresql实例?
python
、
amazon-s3
、
amazon-redshift
有没有一种方法可以将我在远程服务器
中
的.gz
文件
加载到红移数据库表(postgresql)
中
,而不首先在
s3
桶
中加载它?我看到了两个选择:- 连接到数据库后的"copy <tablename> from program "
gzip
-d <file location in remote server> with delimeter导入psycopg2导入
gzip
conn_string==‘dbname’>端口=‘5
浏览 6
提问于2016-02-16
得票数 1
回答已采纳
1
回答
AWS Athena外部表未返回数据
amazon-web-services
、
amazon-s3
、
amazon-athena
我使用下面的DDL脚本在Athena
中
创建了一个外部表。表在Athena
中
创建成功,但是当我查询它时,它返回0行。指定的
s3
存储
桶
中
的
文件
是csv.gz
文件
(我正尝试在TBLPROPERTIES中排除一个json
文件
)。
s3
存储
桶
所在的帐户与我查询它的帐户不同。假设我使用的IAM角色有权
从
另一个帐户的源
S3
存储
桶</em
浏览 2
提问于2020-10-15
得票数 0
2
回答
S3
重定向到子目录
nginx
、
amazon-s3
、
static-site
我有一个网站
从
S3
的Nginx与以下Nginx配置。on;
gzip
_vary on;
gzip
_comp_level 6; expires 30d;目前,每当我构建新版本时,我只是删除
浏览 1
提问于2019-02-05
得票数 0
1
回答
无法
从
Hadoop访问公共
S3
存储
桶
hadoop
、
amazon-s3
我正在使用Hadoop来处理Google Books ngram,这些ngram在亚马逊
S3
中
存储
为Hadoop序列
文件
。
S3
包含
从
Hadoop
读取
数据的功能(使用Hadoop
存储
桶
作为虚拟的“
文件
系统”),只需在
文件
名上指定
s3
://或s3n://协议即可。 不幸的是,它需要您设置您的AWS访问权限和密钥。因为我想要
读取
的
浏览 0
提问于2012-06-21
得票数 4
1
回答
如何将
文件
从一个
S3
存储
桶
传输到两个不同用户的另一个
存储
桶
python
、
python-3.x
、
amazon-web-services
、
amazon-s3
、
boto3
我需要编写代码(python)将
S3
文件
从一个
S3
存储
桶
复制到另一个
存储
桶
。源
存储
桶
在不同的AWS帐户
中
,我们使用IAM用户凭据
从
该
存储
桶
中
读取
。代码运行在与目标
存储
桶
相同的帐户
中
,因此它具有IAM角色的写访问权限。我能想到的一种方法是创建与源帐户的
s3
客户
浏览 6
提问于2019-07-09
得票数 0
回答已采纳
2
回答
从
SageMaker或
S3
将数据导入Amazon
amazon-web-services
、
amazon-s3
、
amazon-ec2
、
amazon-sagemaker
在SageMaker文档
中
,他们编写SageMaker可以
从
AWS
S3
桶
导入数据。由于数据集很大,我将其压缩(到多个zip
文件
),并将其上传到一个
S3
桶
中
。花了几个小时。有几种选择:
浏览 41
提问于2022-10-18
得票数 1
3
回答
在
S3
上压缩
文件
amazon-s3
、
compression
、
hive
、
file-transfer
、
emr
我在
S3
上有一个17.7
S3
的
文件
。它是作为配置单元查询的输出生成的,并且没有压缩。我还没有找到任何直接的方法来在
S3
上压缩
文件
,或者在s3cmd、boto或相关工具
中
启用传输时压缩。
浏览 0
提问于2013-01-24
得票数 29
回答已采纳
1
回答
Kinesis写入
S3
云表订阅筛选器,但
文件
不可读
amazon-cloudwatch
、
amazon-kinesis-firehose
、
firehose
我已经注意到,Kinesis消防软管会将
文件
写入kinesis,但是这些
文件
是不可读的人类格式(可能是压缩的或二进制的)。我没有选择拉链或者加密。 如何将此
文件
的内容转换为人类可读的格式?
浏览 5
提问于2022-04-13
得票数 0
2
回答
管理每周备份
linux
、
bash
、
ubuntu
、
mysqldump
我已经写了一个脚本,它接受mysql转储并将其上传到
S3
,我已经将该脚本添加到cronjob,脚本在午夜2点运行并将mysql转储上传到
s3
。在上传到
S3
之前,我使用日期和时间戳作为
文件
名。我的问题是我需要在
S3
上管理7天的备份,并且我必须自动
从
S3
中
删除第8天的备份
文件
,因为我使用日期和时间戳作为
文件
名来使每个
文件
都是唯一的,我不知道如何做。此外,我还必须在另一个EC2实例
中
恢复
浏览 3
提问于2011-12-03
得票数 0
回答已采纳
1
回答
Spark数据帧滤波器优化
scala
、
apache-spark
、
apache-spark-sql
我正在从
s3
存储
桶
中
读取
大量
文件
。 在
读取
这些
文件
之后,我想对数据帧执行过滤操作。 但在执行过滤操作时,会再次
从
s3
存储
桶
下载数据。如何避免数据帧重新加载?但是,数据还是
从
s3
存储
桶
中
以某种方式再次被拉了出来。StorageLevel.MEMORY_AND_DISK_SER_2) df =
浏览 6
提问于2019-09-05
得票数 0
1
回答
我可以和backup_migrate一起使用Flysystem吗?
8
、
backups
我配置了Flysystem来处理所有要从
S3
桶
中保存和服务的
文件
和图像。我没有看到任何添加
S3
桶
来备份和迁移的功能。 我确实安装并启用了S3FS,但并不只看到备份
文件
的配置。
浏览 0
提问于2019-10-27
得票数 -1
1
回答
使用输出
存储
桶
中
的
文件
进行AWS胶水写入和压缩
partitioning
、
aws-glue
我有一个每天运行的ETL作业,使用书签并将增量写入某个输出
s3
存储
桶
中
。输出
存储
桶
由一个键进行分区。connection_type = "
s3
path":output_path, "partitionKeys"
浏览 0
提问于2019-12-10
得票数 0
2
回答
使用复制功能自动将数据加载到Redshift
中
amazon-web-services
、
amazon-s3
、
amazon-redshift
我怎样才能每天自动运行上传到
S3
的数据
文件
? 更长的版本:我已经启动了一个Redshift集群并设置了数据库。我已经创建了一个
S3
存储
桶
并上传了一个CSV
文件
。现在,在Redshift查询编辑器
中
,我可以很容易地手动运行复制功能。如何自动执行此操作?
浏览 0
提问于2019-03-20
得票数 1
1
回答
如何将数据
从
分裂的
gzip
文件
加载到redshift
中
?
amazon-redshift
我可以将数据
从
分割的
gzip
文件
加载到amazon红移表
中
吗?但是,我可以
从
分裂的
gzip
文件
中加载数据吗?
浏览 0
提问于2015-10-21
得票数 4
1
回答
读取
CDK
中
的
桶
对象
amazon-s3
、
import
、
terraform
、
amazon-cloudformation
、
aws-cdk
在terraform
中
,在部署时
从
s3
桶
读取
对象时,我可以使用数据源CDK
中
是否有类似的概念?我看到了将资产上传到
s3
以及导入现有
桶
的各种方法,但没有
从
存储
桶
中
获取对象。我需要从
存储
桶
中
读取
一个会影响进一步部署的配置
文件
。
浏览 2
提问于2022-05-25
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
全球Amazon S3公开存储桶中有2%未受写入保护
浅谈云上攻防——Web应用托管服务中的元数据安全隐患
Cloudflare R2上线:兼容R3的零流量全新对象存储服务
“星”产品”XSKY发布 S3 Console,助力企业轻松玩转非结构化数据可视化管理
每日一模块:gzip
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券