k8s中通过aws sdk访问s3遇到的坑
背景
公司有一套基于k8s的paas系统，现在pod中安装了aws 命令行工具
RUN apk add py-pip && pip install awscli可以使用命令直接get、put文件，如下：
在这里插入图片描述
由于java使用命令行时可能会出现卡死现象，所以这里想使用aws提供的sdk来直接上传下载文件。 默认有两种方式，一种是程序中配置key：
BasicAWSCredentials awsCredentials = new BasicAWSCredentials(accessKey, awsSecretKey);
s3 = AmazonS3ClientBuilder.standard().withCredentials(new AWSStaticCredentialsProvider(awsCredentials)).withRegion(Regions.DEFAULT_REGION).build();另外一种如下：
s3 = AmazonS3ClientBuilder.standard().withCredentials(new ProfileCredentialsProvider()).withRegion(Regions.DEFAULT_REGION).build();报错
报错一：java.lang.IllegalArgumentException: profile file cannot be null
原因：这里是没找到配置文件，~/.aws/credentials 解决方案： 在dorker中需要直接使用下面方式来初始化s3client
AmazonS3 s3Client = new AmazonS3Client();
或者
AmazonS3 s3Client = new AmazonS3Client(DefaultAWSCredentialsProviderChain.getInstance());最终初始化代码如下：
s3 = AmazonS3ClientBuilder.standard().withCredentials(DefaultAWSCredentialsProviderChain.getInstance()).withRegion(Regions.DEFAULT_REGION).build();报错二：Amazon S3 exception: “The specified key does not exist”
详细报错：
com.amazonaws.services.s3.model.AmazonS3Exception:
The specified key does not exist.
(Service: Amazon S3; Status Code: 404; Error Code: NoSuchKey;代码如下：
public static void downloadFile(String fileName,String savePath) {
S3Object s3Object = s3.getObject(bucketName, fileName);
FileOutputStream fos = null;
try (S3ObjectInputStream s3input = s3Object.getObjectContent()){
fos = new FileOutputStream(new File(savePath));
byte[] read_buf = new byte[1024];
int read_len = 0;
while ((read_len = s3input.read(read_buf)) > 0) {
fos.write(read_buf, 0, read_len);
}
s3Object.close();
fos.close();
} catch (Exception e) {
log.warn("获取文件异常:fileName={},savePath={}",fileName,savePath,e);
throw new AppException("获取文件异常:fileName="+fileName+",savePath="+savePath);
} finally {
try{
if(fos!=null) {
fos.close();
}
}catch (IOException e){
log.warn("关闭文件流异常:fileName={},savePath={}",fileName,savePath,e);
}
}
}原因：这里是只找不到文件 解决方案：检查s3上的文件路径是否正确， 举个例子：s3://bucket_name/aa/bb/mm.csv 这里的fileName参数应该传“aa/bb/mm.csv”；
报错三：/data/xx/xx/aa.csv not exists
这个原因比较明显，是目标文件找不到，请先确认号父目录是否创建
本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2020/06/27 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读