我有很多小型的非结构化json文件(每个文件不到1K ),我想以某种方式存储在Google云存储上(使用流)。我倾向于避免将它们放入zip文件(我认为),因为我正在考虑使用Apache钻机对它们执行查询。将多个json文档合并在一起而不是一个一个地存储它们会更符合成本效益吗?(我认为分批编写文件是件好事,不管它们是合并的还是单独存储的)
发布于 2016-03-22 08:49:21
Well...maybe。这取决于您的使用模式。
GCS没有每一个目标的电荷。相反,它收费每千兆字节每月存储。把文件拆开一点也不会影响到这一点。
然而,GCS也收取每项业务费用.在撰写本报告时,每下载10,000次将花费你一分钱,每10,000次上传将花费你一毛钱。如果你只有几千个文件,或者一次只能访问几个文件,这可能不会有太大的区别,但是如果你需要经常下载所有的文件,或者你需要频繁地替换它们,你每天要单独上传数以百万或数十亿计的文件,突然间使用几个大文件就可以节省你很多钱。
如果您可以估计在每种情况下要下载和上传多少次,Google提供了一个计算器,让您知道它的成本:https://cloud.google.com/products/calculator/
https://stackoverflow.com/questions/36150908
复制