腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(48)
视频
沙龙
1
回答
从
Glue
Crawler
中排
除
冰川
和
深
冰川
存储
类型
amazon-web-services
、
aws-glue
、
amazon-glacier
寻找一种方法来排除
冰川
和
深
冰川
存储
类型
时使用胶水S3爬行器,这是可能的吗?
浏览 12
提问于2021-06-28
得票数 0
2
回答
使用Glacier作为web爬行的后端
amazon-s3
、
amazon-ec2
、
amazon-ebs
、
amazon-glacier
我将在几个月内
从
EC2抓取数百万个URL,我正在考虑应该将这些数据
存储
在哪里。我的最终目标是分析它,但分析可能不是立即进行的(尽管出于其他原因,我现在想要抓取它),我可能最终想要将数据的副本传输出去,以便
存储
在我拥有的本地设备上。我估计数据将在5TB左右。我的问题:我正在考虑使用Glacier来实现这一点,我的想法是运行一个多线程爬虫,在本地(在EB上)
存储
抓取的页面,然后使用一个单独的线程来组合、压缩
和
穿梭数据到Glacier。我知道Glacier上的传输速度不一定很好,但因为这个过程没有在线元素,所以
浏览 0
提问于2013-05-04
得票数 3
4
回答
如何自动执行S3备份
amazon-web-services
、
amazon-s3
、
amazon-glacier
我正在开发一个使用S3来
存储
重要文档的应用程序。这些文档需要以每日、每周轮换的方式进行备份,这与数据库备份的维护方式非常相似。 S3是否支持一个
存储
桶可以定期或在亚马逊
冰川
中备份到多个
存储
桶功能。
浏览 0
提问于2013-06-04
得票数 6
回答已采纳
3
回答
存储
许多小文件(在S3上)?
amazon-web-services
、
amazon-s3
我有200万压缩HTML文件(100-150KB)每天添加,我需要
存储
很长一段时间。热门数据(7000-1.5亿)被半定期访问,任何比这更早的数据都几乎不会被访问。这意味着我每天要额外
存储
200-300 of的文件。 现在,标准
存储
的价格为每GB 0.023美元,Glacier的价格为0.004美元。
浏览 7
提问于2019-09-27
得票数 6
1
回答
如何
从
获得
冰川
存储
度量?
php
、
amazon-web-services
、
aws-sdk
、
amazon-cloudwatch
、
amazon-glacier
我有一系列s3桶,内容在Glacier
和
不常见的访问
存储
之间分割。我希望通过PHP使用cloudwatch来监视不同
类型
存储
中的数据量。我可以使用以下方法监视不频繁访问
存储
的数量: array(
浏览 2
提问于2017-05-11
得票数 0
回答已采纳
3
回答
无法下载aws s3
冰川
对象
amazon-s3
、
aws-cli
、
amazon-glacier
我试图将所有文件
从
我的S3桶复制到VM中的本地文件夹,并得到以下错误:aws s3 cp s3://${s3Location} ${localDumpPath} ${s3Location} =我的s3位置
和
浏览 4
提问于2020-06-29
得票数 3
回答已采纳
2
回答
AWS上的Cloudera CDH集群架构师:实例
和
存储
amazon-web-services
、
amazon-ec2
、
cloudera
、
cloudera-cdh
、
cloudera-director
我阅读了在Cloudera博客上找到的参考架构、文档
和
其他材料,但我需要更多的建议。3)如果我想在S3上备份
浏览 7
提问于2017-03-26
得票数 0
回答已采纳
3
回答
AWS S3
和
AWS
存储
网关
amazon-web-services
、
amazon-s3
、
aws-storage-gateway
我有点困惑于AWS S3
和
AWS
存储
网关,因为这两种功能都与
存储
data.Can的功能相同,任何人都可以举例说明亚马逊提供的两种服务之间的确切区别。
浏览 8
提问于2013-12-10
得票数 14
回答已采纳
2
回答
在AWS S3中数据传输是什么?
amazon-s3
我计划使用亚马逊S3
存储
我即将到来的项目的图像-我有一个疑问‘数据传输出去’的价格。谢谢!
浏览 1
提问于2020-04-30
得票数 3
回答已采纳
4
回答
备份:亚马逊S3或
冰川
-很多小文件?
amazon-web-services
、
backup
、
amazon-glacier
我正在尝试理解复杂的亚马逊
冰川
定价模型。我不想
存储
大量的数据,比如10 GB的数据。我希望永远不要下载这些文件,即使我真的需要下载,我也不在乎需要多长时间。我是否可以请求下载整个存档/
存储
桶,或者是逐个文件下载?
浏览 1
提问于2013-02-02
得票数 30
回答已采纳
7
回答
亚马逊S3精选
和
亚马逊雅典娜有何不同?
amazon-web-services
、
amazon-s3
、
amazon-athena
、
amazon-s3-select
我正在尝试理解AWS Athena服务
和
新发布的S3 select (仍在预览中)之间的区别。 这两者的用例有什么不同?这两种方法似乎都有助于
从
S3中选择部分数据。
浏览 3
提问于2018-03-05
得票数 56
1
回答
具有ImageResizer的DiskCache期望性能
和
最佳实例来选择
.net
、
azure
、
azure-blob-storage
、
imageresizer
推荐使用的Azure实例
类型
(或服务)是什么?在我看来,用大实例进行扩展比使用许多小实例要好,这是一个公平的假设吗?还是建议使用内存密集型虚拟机?
浏览 5
提问于2014-03-31
得票数 0
回答已采纳
2
回答
AWS Quicksight无法在另一个区域看到Athena DB
amazon-web-services
、
amazon-athena
、
amazon-quicksight
我的Athena DB位于ap-south-1区域,而AWS QuickSight不存在于该区域.
浏览 10
提问于2019-10-10
得票数 3
回答已采纳
2
回答
将新的生命周期策略应用于具有大量项目的现有AWS S3桶是否安全?
amazon-s3
目前,它没有应用任何项生命周期策略,因此项目将永久
存储
。我们要清除半年以上的物品,并定期进行进一步的清理。使用S3生命周期策略这样的任务似乎很容易,但是将策略应用到现有的大型桶中(
从
性能
和
可用性方面)是安全的,还是生命周期策略应该只安全地应用于新的桶?
浏览 2
提问于2016-06-29
得票数 1
回答已采纳
3
回答
加密然后将您的文件同步到任何云
存储
作为安全的场外备份?
backup
、
file-synchronization
、
encryption
、
cloud-storage
我认为这可以很好地解决云
存储
问题。TL:请推荐一种解决方案,可以加密,然后同步到我选择的任何云
存储
,包括腾讯或Kanbox (免费10 TB )。不幸的是,它们都不能同步到我选择的任何云
存储
: SyncBackPro,Arq for Windows,Arq for Mac,Sync,Duplicati,BitTorrent,Sync,Strongsync我认为这与云
存储
中REST的必要使用有关。看这个帖子。
浏览 0
提问于2015-08-14
得票数 11
2
回答
用爬虫更新手工创建的aws胶水数据目录表
amazon-web-services
、
aws-glue
、
aws-glue-data-catalog
我正在使用AWS胶水
和
s3上的许多文件,每天都会追加新的文件。我尝试创建并运行一个爬虫来推断出那些csv文件的模式。我猜这是因为每次爬虫运行时,它都会检查新的文件
和
分区(如果是单个模式表,我们可以通过单击表中的视图分区按钮来查看这些文件
和
分区)。因此,在中,可以使用爬虫更新手动创建的表,我希望爬虫不会更改我选择的列的数据
类型
,而是更新用于胶水作业的文件
和
分区列表,以便稍后处理: 您可能希望手动创建AWS
Glue
数据目录表,然后使用AWS
Glue
这也适用于
从
浏览 8
提问于2020-03-27
得票数 1
2
回答
AWS与GCP成本模型
amazon-web-services
、
google-cloud-platform
我需要为AWS
和
GCP建立一个成本模型。目前,我们的组织正在使用AWS。在上面列出的8项主要服务中,主要的使用方式
和
成本属于EC2、S3
和
RDS。 我们的工程主管提到,我应该最关心vCPU
和
内存。
浏览 1
提问于2018-06-28
得票数 0
2
回答
如何可靠、方便地在hotswap机架(可能没有RAID1)中镜像2个驱动器?
backup
、
raid
、
raid1
、
mirror
、
hotswap
我有以下情况:需要
存储
50+这样的数据集问题:如何以最可靠
和
最方便的方式维护两个驱动器之间的镜像?没有硬件RAID1。
浏览 0
提问于2014-08-09
得票数 -4
回答已采纳
13
回答
AWS与EBS与S3 (差异&何时使用?)
amazon-web-services
、
amazon-s3
、
storage
、
amazon-ebs
、
amazon-efs
根据这个问题的标题,AWS、EBS
和
S3之间的实际区别是什么? EBS是一种可以安装到EC2上的设备。它们都
存储
文件、缩放
和
复制。我想,对于S3,您必须使用SDK,因为EFS是一个文件系统,您可以使用您选择的编程语言中的标准I/O方法来创建文件。但这是唯一真正的区别吗?
浏览 9
提问于2015-04-11
得票数 388
回答已采纳
1
回答
S3高层设计
amazon-web-services
、
amazon-s3
我正在努力弄清楚如何处理S3 (没有
从
我的组织培训-是的,但这是我的地方:( )),有点不知所措的选择,我想做什么。我想提供一个简单的存档
存储
服务(最好只是使用AWS web )给数百个内部用户组(即。在我的大公司(大约10万名员工).我的问题在于如何构造桶
和
键: 我没有达到100桶的极限(我知道我可以要求更多,但是AWS会让我根据要求增加到500 )吗?
浏览 3
提问于2016-02-21
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
快手快“知”:1.2亿+知识短视频后的野心
以太坊柏林硬分叉正式激活,主网将迎哪些更新?
祁连山国家公园利用大数据建设智慧国家公园
祁连山国家公园 青海省大数据中心成效显现实现4000平方公里范围实时……
数据采集之爬虫、反爬虫、反反爬虫
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券