首页
学习
活动
专区
工具
TVP
发布

让技术和时代并行

专栏作者
388
文章
433371
阅读量
30
订阅数
通过矩阵乘法来搞懂MapReduce?
2. 因为矩阵相乘是指行*列,故可以把第一个矩阵第一行记作A1和另一个矩阵的第一列记作B1,以下类推.....分别推送到一台服务器上去执行行列乘积,(这就对应于MapReduce中Map)如果这个矩阵的大小为100行*100列,那么我们就需要100台机器去并行执行每行每列的计算乘积。如下图:
用户5166556
2019-11-26
9490
在hadoop上进行编写mapreduce程序,统计关键词在text出现次数
mapreduce的处理过程分为2个阶段,map阶段,和reduce阶段。在要求统计指定文件中的所有单词的出现次数时, map阶段把每个关键词写到一行上以逗号进行分隔,并初始化数量为1(相同的单词hadoop中的map会自动放到一行中) reduce阶段是把每个单词出现的频率统计出来重新写回去。
用户5166556
2019-04-16
1.3K0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档