【学习】公司的大数据业务为什么都基于Hadoop方案

选择Hadoop的原因主要有以下三点:1.降低成本;2.生态圈成熟;3.可以解决问题。

  一、可以帮助我们解决什么问题

  现在不管是在国内外的大公司,对于大数据都是非常的渴望,会想尽所有的办法搜集一切的数据,由于现代信息的不对称从而导致不断的数据变化,大量的信息是可以通过数据分析获取。

  数据的来源有非常多的途径,大数据的格式也将会越来越复杂,时间的推移产生的数据也会越来越大。所以在数据的存储上和基于数据上的计算会让传统的数据库进入一个瓶颈。

  而Hadoop的诞生就是为了解决这个问题。让其底层的分布式文件具有非常强大的拓展性,通过数据沉余对于数据不会丢失,同时还会将计算的效率给提高,同时还可以将各式各样的数据存储。对于多种计算的框架也支持,不但可以离线进行计算也可以在线进行实时计算。

  二、生态圈成熟

  生态圈的成熟意味着未来发展的前景,意味着未来美好的市场,同时也代表着一份更有钱途的工作。

  三、为什么可以降低成本

  在我们遇到问题后确定可以解决,那就首先要考虑下成本的问题了。

  1.硬件成本

  由于Hadoop的架构是基于价格较低的服务器,所以支撑服务器的硬件并不需要太昂贵。

  2.软件成本

  基本上开源的产品都是免费的,在开源的协议上,可以进行自由的修改,可控将会更大。

  3.开发成本

  由于属于二次开发,所以对于开发人员的工作要求并不是很高。

  4.维护成本

  当大规模的集群时候,开发的成本和维护的成本就会直接凸显出来。但是对于新开发的系统来说,还算是便宜很多。

  5.其他成本

  Hadoop服务器是社区服务器,成本非常低,基本上所有人都可以用。可以将杂乱无章PB级别的数据进行处理,在处理失败后存储数据的话则可以使用分布式进行处理。另Hadoop的高扩展性:计算机集群间进行分配数据并且完成计算任务,这些都可以非常方便的扩展到其他各个类型的节点当中。

  高效性:可以在节点之间自由的移动数据,并且可以让各个动态的节点保持平衡,所以处理速度很快。

  高容错性:数据的多个副本可以自动保存,并且还能够紫江将各个失败的数据进行任务重新分配。

原文发布于微信公众号 - PPV课数据科学社区(ppvke123)

原文发表时间:2015-03-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏云计算D1net

公有云供应商加入无服务器计算的浪潮

无服务器计算正在所有云服务供应商间流行着,而AWS Lambda之类的工具将可能改变资源的利用方式,尽管这一切还在萌芽阶段。 无服务器架构是云服务提供商之间最新...

3466
来自专栏云计算D1net

避免在云迁移过程中宕机

在公共云迁移期间,IT团队需要采取谨慎的步骤,以避免听到“系统宕机”这种可怕的提示。 随着组织迁移到基于云计算的基础设施,IT团队需要在迁移过程中保持可用性。...

36710
来自专栏木东居士的专栏

你了解你的数据吗(结丹篇):数据质量监控

3126
来自专栏技巅

毕业工作五年的总结和感悟(中)

2345
来自专栏PPV课数据科学社区

2014年大数据和预测分析市场值得关注的趋势

企业高层管理人员一直希望能够从其IT部门收集的客户数据中获得可操作的洞察力。很多人已经有些等得不耐烦,他们现在就像看到结果。 Ovum公司预...

2764
来自专栏云计算

5种确保云成本透明度和准确分析的方法

这些提示将帮助您收集并准确分析所需的成本核算信息,确保您从多云战略中能最大限度节约。

5046
来自专栏京东技术

京东统一发布平台J-one | 高效交付的秘诀就是Ta

自2016年7月份上线以来,京东统一发布平台J-one已经经历了京东4次大促洗礼,支撑全公司服务端业务系统90%以上的发布,从编译、配置、到发布,提供完善的发布...

4526
来自专栏WeTest质量开放平台团队的专栏

远离服务器宕机,腾讯WeTest正式推出服务器深度性能测试服务

原文链接:https://wetest.qq.com/lab/view/415.html

1662
来自专栏云计算D1net

IBM与微软在云平台方面达成合作协议

IBM与微软已经达成一项在云计算领域合作的协议,微软Azure云服务将能够使用IBM中间件,IBM Cloud云服务也能够使用Windows Server和SQ...

3035
来自专栏Data Analysis & Viz

“中国年轻人正带领国家走向危机”,这锅背是不背?

前些天在微博看到新浪财经的《中国年轻人正带领国家走向危机?》 一文,立马就被标题震惊到了,文章内容大家可自行阅读,在此不做评价。

1224

扫码关注云+社区

领取腾讯云代金券