腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
LanceToBigData
本人从事爬虫、java后端以及大数据相关的工作！
专栏作者
举报
173
文章
288898
阅读量
60
订阅数
订阅专栏
申请加入专栏
全部文章（173）
java（66）
数据库（25）
数据处理（25）
云数据库 SQL Server（24）
其他（19）
hadoop（18）
linux（16）
servlet（8）
jsp（8）
tcp/ip（8）
struts（7）
编程算法（7）
xml（6）
面向对象编程（5）
spring boot（5）
mvc（4）
maven（4）
jdbc（4）
mapreduce（3）
存储（3）
分布式（3）
大数据（3）
python（2）
html（2）
云数据库 Redis（2）
git（2）
http（2）
shell（2）
jvm（2）
负载均衡（1）
bash（1）
node.js（1）
sql（1）
ide（1）
eclipse（1）
github（1）
jar（1）
负载均衡缓存（1）
spring（1）
mongodb（1）
express（1）
serverless（1）
开源（1）
缓存（1）
网络安全（1）
ssh（1）
hashmap（1）
zookeeper（1）
kvm（1）
windows（1）
云计算（1）
搜索文章
搜索
搜索
关闭
Hadoop（十五）MapReduce程序实例
hadoop
mapreduce
数据库
一、统计好友对数（去重） 1.1、数据准备 joe, jon joe , kia joe, bob joe ,ali kia, joe kia ,jim kia, dee dee ,kia dee, ali ali ,dee ali, jim ali ,bob ali, joe ali ,jon jon, joe jon ,ali bob, joe bob ,ali b
用户1195962
2018-01-18
1.2K
0
Hadoop（十六）之使用Combiner优化MapReduce
hadoop
mapreduce
数据处理
前言 前面的一篇给大家写了一些MapReduce的一些程序，像去重、词频统计、统计分数、共现次数等。这一篇给大家介绍的是关于Combiner优化操作。 一、Combiner概述 1.1、为什么需要Combiner 我们map任务处理的结果是存放在运行map任务的节点上。 map处理的数据的结果在进入reduce的时候，reduce会通过远程的方式去获取数据。 在map处理完数据之后，数据量特别大的话。reduce再去处理数据它就要通过网络去获取很多的数据。 这样会导致一个问题是：大量的数据
用户1195962
2018-01-18
1.4K
0
Hadoop（十七）之MapReduce作业配置与Mapper和Reducer类
hadoop
mapreduce
前言 前面一篇博文写的是Combiner优化MapReduce执行，也就是使用Combiner在map端执行减少reduce端的计算量。 一、作业的默认配置 MapReduce程序的默认配置
用户1195962
2018-01-18
734
0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天，分 10000 元奖品池！
立即发文
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档