如何使用Azure HDInsight获得更少的费用
如何使用Azure HDInsight获得更少的费用
提问于 2017-02-09 08:16:20
我正在使用具有按需付费订阅的Azure。我有过通过HDInsight为自己创建星火集群的经验，并且收取了比预期更高的费用。在那之后，我搜索了如何以经济的方式使用它，发现人们通常为了节省成本而删除他们的集群。我想知道有没有其他方式让个人用户以较小的费用使用Spark集群。还有没有其他可以用来节省成本的订阅？提前谢谢。
回答 2
Stack Overflow用户
发布于 2017-02-09 09:06:36
可以使用PowerShell或ARM模板自动创建和删除集群。你说得对，这是典型的模式。
您还可以看看Azure Data Lake Analytics，它的目标是大数据，但它是一种按查询付费的模型。
Stack Overflow用户
发布于 2017-02-23 18:49:53
另外:注意你的数据集，特别是你不需要的大型数据集。确保你有一个有效的列格式进行处理(拼图，ORC)，然后用可拆分的压缩(bzip2，LZO，snappy)压缩它。
您甚至可能会发现，有时重新计算数据集比持久化数据集更便宜。
很容易意外地在WASB上保留比您需要的数据多得多的数据，即使当您的集群关闭时，WASB也会增加账单。
最后:一定要确保你的集群被拆掉。至少对于AWS集群来说，这里的一个常见做法是使用Jenkins按计划启动/停止集群。看起来Azure自动化在Azure上工作得很好。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/42126054
复制相关文章
相似问题
腾讯云开发者
