腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(295)
视频
沙龙
1
回答
在
Sagemaker
中将
压缩
的
CSV
(
gzip
)
文件
从
亚马逊
S3
读
取到
熊猫
数据
帧
中
amazon-web-services
、
amazon-s3
、
gzip
、
amazon-sagemaker
我正在尝试
从
AWS
S3
读取一个大型
压缩
CSV
文件
,并在
Sagemaker
中将
其转换为
熊猫
数据
帧
。有没有直接和干净
的
方法来做这件事?
浏览 21
提问于2021-04-16
得票数 1
1
回答
如何在不将
压缩
文件
下载到硬盘驱动器
的
情况下将
数据
集
从
压缩
文件
上载到
s3
桶?
amazon-web-services
、
amazon-s3
问题:我需要
的
数据
在
一个网站
的
压缩
文件
中
,但是,
压缩
文件
太大,无法下载到我
的
笔记本电脑上。 我认为如何解决这个问题:将
压缩
文件
上传到
s3
桶
中
,而不下载笔记本
中
的
zip
文件
。目标:将zip
文件
放到
s3
桶上,解
压缩
s3
桶上<e
浏览 2
提问于2019-08-29
得票数 1
4
回答
如何在Python中使用Pandas
从
s3
存储桶
中
读取
csv
文件
python
、
amazon-web-services
、
pandas
、
amazon-s3
我正在尝试使用以下代码将位于
亚马逊
网络服务
S3
存储桶
中
的
CSV
文件
作为pandas
数据
帧
读
取到
内存
中
:import boto data = pd.read_
csv
('
s3
:/example_bucket.s3-website-ap-southeast-2.amazonaws.com/data_1.
cs
浏览 1
提问于2015-06-13
得票数 18
1
回答
如何在将
数据
从
亚马逊
网络服务
数据
库归档到
S3
时拆分
数据
amazon-web-services
、
amazon-data-pipeline
对于我们继承
的
一个项目,我们有一大堆600 be
的
遗留
数据
,我们想要存档,但如果需要的话,仍然可以使用。显然,该教程将表
中
的
所有
数据
放入一个巨大<e
浏览 5
提问于2018-03-16
得票数 0
1
回答
亚马逊
S3
清单
文件
支持拼图格式吗?
amazon-web-services
、
amazon-s3
、
amazon-quicksight
根据
的
说法,
亚马逊
S3
在
清单
文件
中
似乎不支持拼图格式,但我发现这很难相信,因为这是一种非常常见
的
文件
格式,据我所知,对于雅典娜/红移来说,你应该使用拼图格式。这是另一篇文档,它引用了与Redshift和
文件
格式相关
的
S3
清单
文件
,但我不太确定它到底是什么意思。 我只是想在
亚马逊
QuickSight中使用我
的
S3
存储桶<
浏览 15
提问于2019-07-16
得票数 3
2
回答
从
SageMaker
或
S3
将
数据
导入Amazon
amazon-web-services
、
amazon-s3
、
amazon-ec2
、
amazon-sagemaker
对于一个AI项目,我想在一个大约300 GB
的
数据
集上训练一个模型。我想使用AWS
SageMaker
框架。
在
SageMaker
文档
中
,他们编写
SageMaker
可以
从
AWS
S3
桶导入
数据
。由于
数据
集很大,我将其
压缩
(到多个zip
文件
),并将其上传到一个
S3
桶
中
。花了几个小时。但是,为了使用它,我需要解
压缩
浏览 41
提问于2022-10-18
得票数 1
3
回答
无法将
文件
从
sagemaker
笔记本上载到
S3
python
、
amazon-web-services
、
amazon-s3
、
amazon-sagemaker
我正在尝试将我清理过
的
数据
(并使用kfold拆分
数据
)上传到
s3
,这样我就可以使用
sagemaker
创建一个使用它
的
模型(因为
sagemaker
需要一个包含训练和测试
数据
的
s3
文件
)。但是,每当我尝试将
csv
上传到
s3
时,它都会运行,但我
在
s3
中
看不到该
文件
。 我尝试
在
<em
浏览 64
提问于2019-06-29
得票数 5
1
回答
从
zip
文件
夹将文本
文件
的
内容读入
熊猫
数据
python-3.x
、
pandas
、
dataframe
我有一个zip
文件
,
在
zip
文件
中
,我有一系列
文件
夹,这些
文件
夹依次包含文本
文件
。就像下面。file9.txt - folder n - file12.txt我还试图使用下面的内容提
浏览 11
提问于2022-11-20
得票数 0
回答已采纳
1
回答
亚马逊
SageMaker
如何预测新
数据
python
、
amazon-web-services
、
machine-learning
、
amazon-sagemaker
、
aws-code-deploy
我
在
亚马逊
SageMaker
中
建立了这个模型,代码附在下面。现在,我希望能够将新
数据
上传到
s3
,并基于此模型获得预测,而不必每次都重新计算它。/LIST/validation.
csv
' s3_input_train =
sagemaker
.TrainingInput(s3_data=train_path, content_type='
csv
'early_stopping_rounds=
浏览 11
提问于2021-09-07
得票数 0
2
回答
将.zip归档
中
的
大
文件
写入Pandas
数据
帧
python
、
pandas
、
csv
、
urllib
、
zipfile
这是一个下载
压缩
文件
的
链接,该
压缩
文件
包括由英国政府国家统计局发布
的
1 1GB邮政编码级别
数据
:我
在
Python
中
的
数据
科学应用程序中使用了这些
数据
,并将其加载到Pandas我已经将其集成到一个简单
的
网页
中
,并将其部署到云中。我不想在我
的
存储库
中</em
浏览 24
提问于2019-11-14
得票数 2
回答已采纳
3
回答
将
熊猫
的
数据
作为
压缩
的
CSV
直接写到
亚马逊
的
s3
桶?
python
、
csv
、
pandas
、
amazon-web-services
、
amazon-s3
我目前有一个脚本,它读取保存到
s3
的
csv
的
现有版本,将其与
熊猫
数据
文件
中
的
新行结合起来,然后直接写回
s3
。try:
csv
_prev_content = str(s3_resource.Object('bucket-name', ticker_
csv
_file_name).get()['Body'].read(),
浏览 1
提问于2017-05-02
得票数 8
2
回答
在
AWS Glue
中
解
压缩
zip
文件
amazon-web-services
、
aws-glue
我
在
S3
存储桶中有一个
压缩
的
gzip
文件
。客户端每天会将
文件
上传到
S3
存储桶
中
。解
压缩
后
的
gzip
将包含10个
CSV
格式
的
文件
,但只有相同
的
模式。我需要解
压缩
gzip
文件
,并使用Glue->Data crawler创建模式,然后使用dev运行ETL脚本
浏览 21
提问于2018-02-24
得票数 2
回答已采纳
1
回答
如何使用红移查询
S3
公共
数据
集
mysql
、
amazon-web-services
、
amazon-s3
我正在使用SQL工作台连接到我
的
redshift集群,我可以正常连接,但不能运行任何命令…… 如何查询常见
的
爬网
s3
数据
集?
浏览 0
提问于2015-06-30
得票数 0
1
回答
亚马逊
SageMaker
notebook rl_deepracer_coach_robomaker -模拟后
在
S3
上写入日志
CSV
amazon-s3
、
reinforcement-learning
、
amazon-sagemaker
我
在
亚马逊
SageMaker
上创建了我
的
第一个笔记本实例。可以
在
/src/robomaker/environments子目录
的
script deepracer_env.py
中
修改日志
文件
中
显示
的
某些信息。我想“绕过”CloudWatch控制台,保存日志
文件
信息,如情节,总奖励,步数,汽车坐标,方向盘和油门等,
在
模拟结束时写入
S3
<em
浏览 38
提问于2019-03-23
得票数 0
2
回答
哪些
亚马逊
网络服务CloudWatch日志用于存储?
amazon-web-services
、
amazon-cloudwatch
我开始使用
亚马逊
CloudWatch Logs。问题是,AWS是使用Glacier还是
S3
来存储日志?他们正在使用Kinesis通过过滤器来处理日志。谁能说出答案?
浏览 2
提问于2014-08-02
得票数 1
4
回答
在
亚马逊
网络服务
中将
pickle
文件
写入
s3
存储桶
python
、
pandas
、
amazon-web-services
、
amazon-s3
我正在尝试将一个
熊猫
数据
帧
作为一个pickle
文件
写入到
亚马逊
网络服务
的
s3
存储桶
中
。我知道我可以将dataframe new_df作为
csv
写入到
s3
存储桶
中
,如下所示: bucket='mybucket's3_resource = boto3.resource(
浏览 39
提问于2018-03-06
得票数 24
回答已采纳
1
回答
如何卸载
csv
文件
类型时,卸载
压缩
为
gzip
?
amazon-web-services
、
amazon-s3
、
amazon-redshift
嗨,我有这个查询,将
数据
从
红移卸载到
S3
,将输出为
csv
文件
,并
压缩
为
gzip
。假设,如果我解
压缩
gzip
,它会给出
csv
文件
,但它会解
压缩
为" file“。 附件
中
的
图像是2018年分区年份
的
输出。我原以为解
压缩
后
的
文件
是
csv
格式
的</
浏览 0
提问于2020-04-24
得票数 0
1
回答
从
AWS
S3
读取多个
文件
python
、
amazon-web-services
、
amazon-s3
、
ftp
我需要一个系统来读取一个
S3
桶进行分析。存储桶被分解为年/月/日/小时,其中每个小时
文件
夹都有大量
压缩
文件
,数量超过2GB。 这是
在
Python中使用boto3编写脚本吗?寻找任何普遍
的
方向。
浏览 0
提问于2019-06-12
得票数 1
回答已采纳
2
回答
AWS
S3
和
Sagemaker
:没有这样
的
文件
或目录
amazon-s3
、
amazon-sagemaker
我创建了一个
S3
桶“testshivaproject”,并在其中上传了一个图像。当我试图
在
sagemaker
笔记本
中
访问它时,它会抛出一个错误“No这类
文件
或目录”。# import librariesfrom
sagemaker
importAmazonSageMaker-ExecutionRole-20190825T121483‘输出:
浏览 0
提问于2019-08-26
得票数 1
回答已采纳
1
回答
在
SageMaker
中
解析和显示大型json
文件
python
、
amazon-s3
、
boto3
、
amazon-sagemaker
、
jupyter-lab
我
在
S3
中
压缩
了json
文件
,并试图
在
SageMaker
Studio Notebook
中
显示它们,如下所示:import
gzip
raw_json =
gzip
_file.read() print("don
浏览 10
提问于2022-08-10
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何从Pandas迁移到Spark?这8个问答解决你所有疑问
利用 AWS SageMaker BlazingText 对不均衡文本进行多分类
对 PyTorch BERT 模型进行微调,并将其部署到 Amazon SageMaker 上的 Amazon Elastic Inference
Python链式操作:PyFunctional
当小内存遇上大量数据,你该怎么解决这个问题?
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券