首页
学习
活动
专区
工具
TVP
发布

JackieZheng

专栏成员
150
文章
184638
阅读量
52
订阅数
学习Spark——环境搭建(Mac版)
大数据情结 还记得上次跳槽期间,与很多猎头都有聊过,其中有一个猎头告诉我,整个IT跳槽都比较频繁,但是相对来说,做大数据的比较“懒”一些,不太愿意动。后来在一篇文中中也证实了这一观点,分析说大数据领域从业者普遍认为这是一个有前景,有潜力的方向,大多数希望有所积累,所以跳槽意愿不是很强烈。 14年的时候开始接触Hadoop,在Windows下搭了好几次环境,单机版、伪分布式和分布式都搭建过。那时候需要在Windows下装个虚拟机,在虚拟机中再装个Ubuntu,之后在Ubuntu上开始装jdk,hadoop等
JackieZheng
2018-01-16
4K0
Hadoop阅读笔记(七)——代理模式
  关于Hadoop已经小记了六篇,《Hadoop实战》也已经翻完7章。仔细想想,这么好的一个框架,不能只是流于应用层面,跑跑数据排序、单表链接等,想得其精髓,还需深入内部。   按照《Hadoop阅读笔记(五)——重返Hadoop目录结构》中介绍的hadoop目录结构,前面已经介绍了MapReduce的内部运行机制,今天准备入手Hadoop RPC,它是hadoop一种通信机制。 RPC(Remote Procedure Call Protocol)——远程过程调用协议,它是一种通过网络从远程计算机程序
JackieZheng
2018-01-15
6710
Hadoop阅读笔记(六)——洞悉Hadoop序列化机制Writable
  酒,是个好东西,前提要适量。今天参加了公司的年会,主题就是吃、喝、吹,除了那些天生话唠外,大部分人需要加点酒来作催化剂,让一个平时沉默寡言的码农也能成为一个喷子!在大家推杯换盏之际,难免一些画面浮现脑海,有郁闷抓狂的,有出成果喜极而涕的,有不知前途在哪儿的迷茫与不安……总的来说,近一年来,不白活,不虚度,感触良多,不是一言两语能说得清道的明的,有时间可以做个总结,下面还是言归正传谈技术吧。 上篇在了解了Hadoop的目录和源码结构后,说好的要啃源码的,那就得啃。也感谢一直以来关注我、支持我的网友,您的
JackieZheng
2018-01-15
7910
Hadoop阅读笔记(五)——重返Hadoop目录结构
本文介绍了Hadoop的MapReduce编程模型、运行过程、源码目录结构及其核心包的功能。通过阅读本文,读者可以快速了解Hadoop的MapReduce实现,为进一步学习Hadoop的源码和实现细节提供有效的帮助。
JackieZheng
2018-01-08
1.2K0
Hadoop阅读笔记(四)——一幅图看透MapReduce机制
本文介绍了Hadoop MapReduce的工作机制,包括代码编写、作业配置、作业提交、Map任务分配、Reduce任务分配、作业完成等过程。主要讲解了MapReduce作业的工作机制,包括如何提交作业、任务分配、作业初始化、Shuffle和排序等过程。通过一幅图来直观地展现MapReduce的工作机制,并介绍了如何提交一个MapReduce作业以及作业初始化、Shuffle和排序等过程。
JackieZheng
2018-01-08
7360
Hadoop阅读笔记(三)——深入MapReduce排序和单表连接
JackieZheng
2018-01-08
1.7K0
Hadoop阅读笔记(二)——利用MapReduce求平均数和去重
JackieZheng
2018-01-08
2.5K0
Hadoop阅读笔记(一)——强大的MapReduce
该文摘要总结:通过Hadoop命令行工具进行格式化读取文本文件并输出到控制台,同时通过Java代码实现MapReduce作业,将文本文件内容按行进行分割,对每一行进行统计,并输出到控制台。
JackieZheng
2018-01-08
7680
Nutch源码阅读进程2---Generate
本文主要介绍了Nutch引擎的爬虫架构和原理,详细讲解了Nutch引擎的爬虫实现过程。主要包括爬虫的基本工作流程、URL管理、网页抓取、解析网页、抽取正文、存储、检索、分析等过程。此外,还介绍了Nutch引擎的架构设计、实现原理和主要模块。
JackieZheng
2018-01-08
6570
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档