腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

机器学习与统计学

专栏作者

792

文章

1086933

阅读量

96

订阅数

Python学习 Day 5 高阶函数 map/reduce filter sorter 返回函数匿名函数装饰器偏函数

mapreduce 编程算法 python

>>> abs(-10) #把abs指向10后，无法通过abs(-10)调用该函数

2019-04-10

3160

将Hadoop作为基于云的托管服务的优劣势分析

hadoop 大数据 mapreduce yarn apache

　Apache Hadoop是一种开源软件框架，能够对分布式集群上的大数据集进行高吞吐量处理。Apache模块包括Hadoop Common，这是一组常见的实用工具，可以通过模块来运行。这些模块还包括：Hadoop分布式文件系统(HDFS)、用于任务调度和集群资源管理的 Hadoop YARN以及Hadoop MapReduce，后者是一种基于YARN的系统，能够并行处理庞大的数据集。　　Apache还提供了另外的开源软件，可以在Hadoop上运行，比如分析引擎Spark(它也能独立运行)和编程语言Pig。　　Hadoop 之所以广受欢迎，就是因为它为使用大众化硬件处理大数据提供了一种几乎没有限制的环境。添加节点是个简单的过程，对这个框架没有任何负面影响。 Hadoop具有高扩展性，能够从单单一台服务器灵活扩展到成千上万台服务器，每个集群运行自己的计算和存储资源。Hadoop在应用程序层面提供了高可用性，所以集群硬件可以是现成的。　　实际的使用场合包括：在线旅游(Hadoop声称它是80%的网上旅游预订业务的可靠的大数据平台)、批量分析、社交媒体应用程序提供和分析、供应链优化、移动数据管理、医疗保健及更多场合。　　它有什么缺点吗？ Hadoop很复杂，需要大量的员工时间和扎实的专业知识，这就阻碍了它在缺少专业IT人员的公司企业的采用速度。由于需要专家级管理员，加上广泛分布的集群方面需要庞大的成本支出，从中获得商业价值也可能是个挑战。I 　　集群管理也可能颇为棘手。虽然Hadoop统一了分布式计算，但是配备和管理另外的数据中心、更不用说与远程员工打交道，增添了复杂性和成本。结果就是，Hadoop集群可能显得过于孤立。

2019-04-10

2K0

【大数据名词4】yarn

hadoop yarn node.js mapreduce

Yarn是Hadoop 自 0.23.0 版本后新的 map-reduce 框架（Yarn) 原理，优势，运作机制和配置方法等；着重介绍新的 yarn 框架相对于原框架的差异及改进；并通过 Demo 示例详细描述了在新的 yarn 框架下搭建和开发 hadoop 程序的方法。

2019-04-10

2710

【大数据名词3】MapReduce

mapreduce 数据处理

MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，和它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。

2019-04-10

6320

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态