首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >谷歌云存储成本效益的小文件?

谷歌云存储成本效益的小文件?
EN

Stack Overflow用户
提问于 2016-03-22 01:44:20
回答 1查看 1.3K关注 0票数 2

我有很多小型的非结构化json文件(每个文件不到1K ),我想以某种方式存储在Google云存储上(使用流)。我倾向于避免将它们放入zip文件(我认为),因为我正在考虑使用Apache钻机对它们执行查询。将多个json文档合并在一起而不是一个一个地存储它们会更符合成本效益吗?(我认为分批编写文件是件好事,不管它们是合并的还是单独存储的)

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2016-03-22 08:49:21

Well...maybe。这取决于您的使用模式。

GCS没有每一个目标的电荷。相反,它收费每千兆字节每月存储。把文件拆开一点也不会影响到这一点。

然而,GCS也收取每项业务费用.在撰写本报告时,每下载10,000次将花费你一分钱,每10,000次上传将花费你一毛钱。如果你只有几千个文件,或者一次只能访问几个文件,这可能不会有太大的区别,但是如果你需要经常下载所有的文件,或者你需要频繁地替换它们,你每天要单独上传数以百万或数十亿计的文件,突然间使用几个大文件就可以节省你很多钱。

如果您可以估计在每种情况下要下载和上传多少次,Google提供了一个计算器,让您知道它的成本:https://cloud.google.com/products/calculator/

票数 6
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/36150908

复制
相关文章
ABB 0504994880 具有成本效益
为了满足现代流程制造中对能源效率和灵活性日益增长的要求,需要有关流程和工厂状态的信息,这些信息可以跨系统交换。 总部位于美国的全球技术和工程公司艾默生帮助过程和混合工业以及离散制造的客户传输超出纯过程值的数据并将其集成到更高级别的系统中。全球许多客户使用艾默生的DeltaV和Ovation控制系统实现过程自动化。此外,这些客户使用艾默生的AMS(资产管理软件)设备管理器对连接到艾默生过程自动化系统的现场设备进行故障排除、诊断和调试。
用户10534454
2023/05/05
1810
ABB 0504994880 具有成本效益
如何计算云存储成本
计算云存储成本似乎看起来很简单。当用户查看云计算供应商提供的存储服务的定价时,显而易见的成本是数据的存储成本。但是如果深入研究的话,就会发现与云存储成本相关的其他各种费用。在云中存储数据的总拥有成本(TCO)通常比简单的存储费用高出许多。
静一
2020/12/02
3.7K0
在混合云环境中提高高可用性的成本效益
本文从高可用性(HA)和灾难恢复(DR)的角度研究混合云,并提出一些使配置更具成本效益的建议。
静一
2019/12/10
7740
解决HDFS上小文件的存储
1.从源头上解决,在上传到HDFS之前,就将多个小文件归档 使用tar命令 带上参数-zcvf 示例:
孙晨c
2020/07/14
9590
云存储成本分析的5大技巧
如今,越来越多的组织转向采用云计算,希望在成本节约和流程简化方面为其提供机会。 云计算市场的规模在过去五年中增长了三倍,到2019年预计将超过1280亿美元。 然而,企业应确保与向云端存储迁移相关的
静一
2018/03/28
1.3K0
云存储成本分析的5大技巧
云存储成本分析的5大技巧
  云计算市场的规模在过去五年中增长了三倍,到2019年预计将超过1280亿美元。   然而,企业应确保与向云端存储迁移相关的支出不会超过这项技术所带来的潜在价值。   仔细分析这些费用将有助于回答一个与许多企业有关的问题:“云存储的成本是多少?。”   通过云迁移清单,人们可以估计从传统的内部部署数据中心的存储库迁移到云端的成本。通常,它包括组织普遍预期的透明成本和隐藏的成本,直到合同签订才会变得明显。   为了便于说明,采用亚马逊云存储定价作为一个例子,因为这个公共云提供商并不隐瞒其价格。   每
BestSDK
2018/03/02
1.7K0
云存储的成本可能是模糊的
云存储服务提供便利,可以减少IT支出,但并非所有情况都如此。企业在确定将关键数据放入云计算之前务必先进行数学运算。 如果有人相信平常所看到的IT内容,可能会认为企业所有的操作将全部是基于云计算的服务
静一
2018/03/27
9380
云存储的成本可能是模糊的
云上跑容器,如何降低存储成本
不少客户都在使用K8S来管理容器,并且通过Portworx来管理容器存储。虽然云原生的方式让我们获得了更大的自动化和灵活度,许多客户在容器下层的基础架构层的扩展性方面,仍然有一定的局限。K8S和Portworx能够自动化部署容器应用,但是这些应用所基于的基础架构还无法通过自动化的方式进行扩展。DevOps团队还经常被要求去做基础架构投资成本收益的财务分析,并增加财务管理手段来降低成本和让成本更具备可预测性。当基础架构被转移到公有云后,成本管理就成为更加重要的方面,不少用户在公有云上的成本甚至高于他们原有的本地部署架构的成本。Portworx新发布的PX-Autopilot能够对存储基础架构进行更加有效的运营管理,并且降低一半的存储成本。
Portworx
2020/02/03
3.3K1
腾讯云对象存储COS新品发布——智能分层存储,自动优化您的存储成本
近日,腾讯云正式发布对象存储新品——智能分层存储,能够根据用户数据的访问模式,自动地转换数据的冷热层级,为用户提供与标准存储一致的低延迟和高吞吐的产品体验,同时具有更低的存储成本。
云存储
2020/11/12
2.1K0
腾讯云对象存储COS新品发布——智能分层存储,自动优化您的存储成本
云备份可以降低备份存储成本吗?
数据保护最昂贵的成本之一是所有数据副本的存储成本。备份存储容量可能是主存储容量的10倍或更多。备份存储需要企业具有极高的IT预算和数据中心机房空间。 而数据压缩和重复数据删除效率自身的特点,可以降低备
静一
2018/03/16
4.3K0
云备份可以降低备份存储成本吗?
优思学院|DMAIC五步法的成本与效益问题
DMAIC法是一种很有价值的改进工具,对于那些已经存在很长一段时间或者难解的企业问题,我们可运用这个框假思维来协助找出恒久适用的解决方案。
用户2865703
2022/08/10
2780
优思学院|DMAIC五步法的成本与效益问题
CELLS:潜在空间中目标定向分子生成的成本效益进化
本文介绍百度公司Zhiyuan Chen,Xiaomin Fang等人的研究成果:在寻找满足各种性质要求的分子时,由于无法搜索整个化学空间,近年来的研究都采用目标定向分子生成模型,倾向于利用迭代过程优化分子生成模型的参数。然而,大多数工作需要大量昂贵和耗时的评估过程,为了减少迭代过程中的评估,本文作者提出了一种具有成本效益的潜在空间进化策略——Cost-efficient evolution in latent space(CELLS),优化分子的潜在表示向量,采用一个预训练的分子生成模型来映射潜在和观察空间,利用大规模的未标记分子学习化学知识。为了进一步减少评估的数量,作者引入了一个预筛选器作为评估的代理。经过多个优化任务上的大量实验,所提出的框架在较少的评估下获得了更好的性能。
DrugAI
2022/03/25
3400
CELLS:潜在空间中目标定向分子生成的成本效益进化
FastDFS 海量小文件存储解决之道
支持 Linux、FreeBSD、AID 等Unix系统,解决了大容量的文件存储和高并发访问问题,文件存取实现了负载均衡,适合存储 4KB~500MB 之间的小文件,特别适合以文件为载体的在线服务,如图片、视频、文档等等。
2020labs小助手
2022/04/26
2.1K0
优思学院|精益六西格玛的成本效益怎么样?
所有精益六西格玛的实施都以项目工作为中心,因此可以用投资回报率(ROI)确定成本效益。项目可以集中在通过改善营收或降低成本(或两者)来提高净利润。
用户2865703
2022/11/22
3610
优思学院|精益六西格玛的成本效益怎么样?
苏秋贵:谷歌广告投放带来的长期效益
假如平均每个点击3美金,100次,总费用是300美金,带来了一个小客户,每年给你带来1万RMB利润,你会不会愿意?
Zedu全球被动营销
2022/08/06
5360
苏秋贵:谷歌广告投放带来的长期效益
优思学院|实施六西格玛管理带来的成本效益到底如何?
所有精益六西格玛的实施都以项目工作为中心,因此可以用投资回报率(ROI)确定成本效益。项目可以集中在通过改善营收或降低成本(或两者)来提高净利润。
用户2865703
2022/12/16
3640
优思学院|实施六西格玛管理带来的成本效益到底如何?
智能分层存储,自动优化您的存储成本
关注腾讯云大学,了解行业最新技术动态 近日,腾讯云正式发布对象存储新品——智能分层存储,能够根据用户数据的访问模式,自动地转换数据的冷热层级,为用户提供与标准存储一致的低延迟和高吞吐的产品体验,同时具有更低的存储成本。 熟悉数据存储的用户都知道,访问频度高的数据为热数据,访问频度低的数据为冷数据。热数据使用标准存储类型存储,可以得到更优的访问体验;而冷数据一般用低频存储或归档存储类型,可以节省存储成本。 随着业务的发展,热数据会降冷,冷数据也有回热的可能性,虽然目前对象存储COS 持针对对象配置指定的规则
腾讯产业互联网学堂1
2023/05/29
4200
智能分层存储,自动优化您的存储成本
PPPOE连接的成本效益:为企业提供经济实惠的网络解决方案
在当今的数字化时代,企业对于稳定、高效的网络连接需求日益增长。PPPoE(Point-to-Point Protocol over Ethernet)连接作为一种广泛应用的网络接入技术,为企业提供了经济实惠的网络解决方案。本文将探讨PPPoE连接的成本效益,以及它如何帮助企业降低网络建设和运营成本。
华科云商小彭
2023/09/04
1920
PPPOE连接的成本效益:为企业提供经济实惠的网络解决方案
基于Hadoop的云盘系统客户端技术难点之三 小文件存储优化
首先明确概念,这里的小文件是指小于HDFS系统Block大小的文件(默认64M),如果使用HDFS存储大量的小文件,将会是一场灾难,这取决于HDFS的实现机制和框架结构,每一个存储在HDFS中的文件、目录和块映射为一个对象存储在NameNode服务器内存中,通常占用150个字节。如果有1千万个文件,就需要消耗大约3G的内存空间。如果是10亿个文件呢,简直不可想象。这里需要特别说明的是,每一个小于Block大小的文件,存储是实际占用的存储空间仍然是实际的文件大小,而不是整个block大小。
数据饕餮
2019/01/14
1K0
基于小文件的分布式文件存储方案(JDistFS)
这个项目是我2011年在杭州某家互联网公司实习时写的项目,当时坐下来感觉还不错,能够支持上百台服务器的集群需求,并且也支持简单的负载均衡策略,接下来,我来简单地介绍下JDistFS的实现目标,架构以及提供给上层用户使用的接口说明
全栈程序员站长
2022/08/19
1.5K0
基于小文件的分布式文件存储方案(JDistFS)

相似问题

Google存储传输服务的成本效益

25

部署到Google云平台的最具成本效益的方法?

114

Amazon /RDS的成本效益?

10

谷歌云功能成本

11

谷歌云传输服务成本

13
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文