Loading [MathJax]/jax/output/CommonHTML/config.js
社区首页 >问答首页 >使用s3中的curl将数据上传到aws s3

使用s3中的curl将数据上传到aws s3
EN

Stack Overflow用户
提问于 2022-11-29 10:10:29
回答 1查看 25关注 0票数 0

我试图使用下面的脚本将数据上传到aws s3,并获得以下错误。

示例脚本

代码语言:javascript
代码运行次数:0
复制
#!/usr/bin/sh
file_to_upload="/home/sraj/Hello10.txt"
bucket="mybucket"
filepath="/${bucket}/${file_to_upload}"
contentType='application\/x-compressed-tar'
dateValue="`date +'%a, %d %b %Y %H:%M:%S %z'`" 
signature_string="PUT\n\n${contentType}\n${dateValue}\n${filepath}"
s3_access_key=xxxxxxxxx
s3_secret_key=yyyyyyyyy
signature_hash=`echo -en ${signature_string} | openssl sha256 -hmac ${s3_secret_key} -binary | base64`
echo "${s3_access_key} : ${s3_secret_key} : ${signature_hash}"
curl -X PUT -T "${file_to_upload}" \
  -H "Host: ${bucket}.s3.amazonaws.com" \
  -H "Date: ${dateValue}" \
  -H "Content-Type: ${contentType}" \
  -H "Authorization: AWS ${s3_access_key}:${signature_hash}" \
  https://${bucket}.s3.amazonaws.com/${file_to_upload}

我认为这与is用户KMS加密选项有关。请帮助我解决上述问题。我对卷发和s3也不太了解。它将对示例代码非常有用。

他们中的一些人提到,这与签名version4问题有关,但我对修复这个问题没有太多的想法。

EN

回答 1

Stack Overflow用户

发布于 2022-11-29 11:16:45

错误表示无效的参数。

我找到了这个链接,我不知道它是否会有帮助。

https://www.gyanblog.com/aws/how-upload-aws-s3-curl/#curl-the-savior`

我看到的唯一不同就是dateValue

我不知道这是否重要,但以防万一,我张贴了这个。

代码语言:javascript
代码运行次数:0
复制
# about the file
file_to_upload=<file you want to upload>
bucket=<your s3 bucket name>
filepath="/${bucket}/${file_to_upload}"

# metadata
contentType="application/x-compressed-tar"
dateValue=`date -R`
signature_string="PUT\n\n${contentType}\n${dateValue}\n${filepath}"

#s3 keys
s3_access_key=<your s3 access key>
s3_secret_key=<your s3 secret key>

#prepare signature hash to be sent in Authorization header
signature_hash=`echo -en ${signature_string} | openssl sha1 -hmac ${s3_secret_key} -binary | base64`

# actual curl command to do PUT operation on s3
curl -X PUT -T "${file_to_upload}" \
  -H "Host: ${bucket}.s3.amazonaws.com" \
  -H "Date: ${dateValue}" \
  -H "Content-Type: ${contentType}" \
  -H "Authorization: AWS ${s3_access_key}:${signature_hash}" \
  https://${bucket}.s3.amazonaws.com/${file_to_upload}
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/74618488

复制
相关文章
aws s3 java SDK使用[通俗易懂]
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/179078.html原文链接:https://javaforall.cn
全栈程序员站长
2022/09/27
1.8K0
aws s3 java SDK使用[通俗易懂]
AWS CLI使用s3
aws CLI是什么东西,暂且先不去了解,目前的需求是s3. 我在Jenkins上创建一个bucket,然后申请access_key,然后就可以使用s3来存储数据了。也就是说,s3就是一个网盘。 1.安装CLI 文档:http://docs.aws.amazon.com/cli/latest/userguide/installing.html $ curl "https://s3.amazonaws.com/aws-cli/awscli-bundle.zip" -o "awscli-bundle.zip"
Ryan-Miao
2018/03/13
1.9K0
AWS S3 使用 travis 编译的时候提示错误 Aws::S3::Errors::PermanentRedirect
这是因为在我们的配置文件下 travis 将会把数据存储到 S3 的 us-east-2 存储区。
HoneyMoose
2020/12/22
6220
AWS S3 使用 travis 编译的时候提示错误 Aws::S3::Errors::PermanentRedirect
s3 aws 临时授权
https://docs.aws.amazon.com/zh_cn/AmazonS3/latest/userguide/AuthUsingTempSessionToken.html
周杰伦本人
2022/10/25
1.2K0
AWS S3 学习小结
1.首先,这个是AWS的开发资源使用文档:AWS开发文档,AWS官网 – S3教程
全栈程序员站长
2022/11/03
1.8K0
以最大速度将数据迁移至AWS S3存储
对于企业而言,数据上云“常态化”的趋势,无疑是一个巨大的技术红利。而数据规模爆发式增长的今天,移动和访问云端数据却成为困扰企业的一大难题。不过幸运的是,在对象存储方面,大部分供应商都会为企业提供一系列现成的优质工具以及用于移动和访问数据的选项。但如果企业的数据集非常大,访问时间紧要求快,或者源和目标之间的地理距离太远,那么企业可以考虑使用镭速传输。
镭速
2023/05/06
7230
AWS CPP S3访问COS
COS是完全兼容AWS S3的,项目中经常遇到客户直接使用AWS S3的相关SDK,来访问COS。
ictfox
2021/12/16
1.1K0
aws lambda python 上传s3
代码编写 Code writing 编写lambda函数 Write lambda functions 主要功能是查询数据库,在本地生成test.csv,而后上传至s3://test-bucket-dev桶,bthlt目录下. test.csv is generated locally and uploaded to s3://test-bucket-dev bucket,bthlt path. import pymysql import logging import boto3 from botocore
葫芦
2021/12/20
2.2K1
aws lambda python 上传s3
What is AWS S3 and Why to use it?
AWS S3 is an object-based serverless storage service by Amazon web services which is much faster than hard drive file systems and block storage approaches to save data. Serverless means the storage is hosted on the cloud where you don’t have to configure the server with storage space restriction, it gets expanded dynamically with usage.
用户4822892
2020/01/22
6010
AWS S3 bucket 的 ACL 控制
https://www.ossez.com/t/aws-s3-bucket-acl/14175
HoneyMoose
2022/11/02
4710
AWS S3 对象存储攻防
文章来源:火线Zone社区,链接:https://zone.huoxian.cn/d/907-aws-s3
火线安全
2022/03/01
3.5K0
AWS S3 对象存储攻防
如何使用goGetBucket扫描和发现AWS S3 Bucket
goGetBucket是一款针对AWS S3 Bucket的渗透测试与安全研究工具,在该工具的帮助下,广大研究人员可以快速扫描和发现AWS S3 Bucket。
FB客服
2023/08/08
2460
如何使用goGetBucket扫描和发现AWS S3 Bucket
S3 简单使用
S3 全名是 Simple Storage Service,简便的存储服务。amazon (S3) 是一个公开的服务,Web 应用程序开发人员可以使用它存储数字资产,包括图片、视频、音乐和文档。S3 提供一个 RESTful API 以编程方式实现与该服务的交互。可以通过 Amazon S3 随时在 Web 上的任何位置存储和检索的任意大小的数据。
用户4945346
2023/01/11
2.9K0
k8s中通过aws sdk访问s3遇到的坑
由于java使用命令行时可能会出现卡死现象,所以这里想使用aws提供的sdk来直接上传下载文件。 默认有两种方式,一种是程序中配置key:
一笠风雨任生平
2022/01/06
2.1K0
k8s中通过aws sdk访问s3遇到的坑
AWS CloudFront CDN + S3 CORS 跨域访问的问题
在研究 https://observablehq.com/ 的载入数据的时候,我们会发现如果你数据存在 S3 上使用 CloudFront 作为 CDN 的时候,你会发现数据库载入不进去。
HoneyMoose
2020/04/21
4.7K0
AWS CloudFront CDN + S3 CORS 跨域访问的问题
如何使用亚马逊对象存储AWS S3 SDK访问腾讯云存储COS
COS 提供了 AWS S3 兼容的 API,因此当您的数据从 S3 迁移到 COS 之后,只需要进行简单的配置修改,即可让您的客户端应用轻松兼容 COS 服务。本文主要介绍不同开发平台的 S3 SDK 的适配步骤。在完成添加适配步骤后,您就可以使用 S3 SDK 的接口来访问 COS 上的文件了。
云存储
2020/05/26
4.2K0
基于 Apache Hudi + Presto + AWS S3 构建开放Lakehouse
数据仓库被认为是对结构化数据执行分析的标准,但它不能处理非结构化数据。包括诸如文本、图像、音频、视频和其他格式的信息。此外机器学习和人工智能在业务的各个方面变得越来越普遍,它们需要访问数据仓库之外的大量信息。
ApacheHudi
2022/12/09
1.6K0
基于 Apache Hudi + Presto + AWS S3 构建开放Lakehouse
保护 Amazon S3 中托管数据的 10 个技巧
在这篇文章中,我们将讨论 10 个良好的安全实践,这些实践将使我们能够正确管理我们的 S3 存储桶。
Khan安全团队
2022/01/18
1.5K0
如何使用s3sec检查AWS S3实例的读、写、删除权限
s3sec 是一款专门针对 AWS S3 实例的安全检测工具,在该工具的帮助下,广大研究人员可以轻松检测目标AWS S3 Buckets的读取、写入和删除权限。
FB客服
2022/04/12
7930
如何使用s3sec检查AWS S3实例的读、写、删除权限
Amazon S3 工具及使用
持续部署中需要将编译后的静态资源打包上传到S3服务中 ,就研究了下。 需要申请Amazon账号,得开通信用卡,可免费使用一年 然后开通S3服务,填写bucket名字,最后生成Access Key和Access Secret。
mafeifan
2019/02/25
6.3K0
Amazon S3 工具及使用

相似问题

使用AWS将图像上传到S3。

12

使用aws将图像上传到s3

10

大文件上传到AWS S3上的S3

10

S3 / AWS S3 -使用预先签名的url将文件上传到AWS S3

11

通过curl上传到aws s3文件

10
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 大模型知识引擎×DeepSeek实践征文