腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
JackieZheng
专栏成员
举报
150
文章
184808
阅读量
52
订阅数
订阅专栏
申请加入专栏
全部文章（150）
java（31）
spring（27）
编程算法（19）
数据库（16）
其他（15）
go（11）
angularjs（10）
xml（9）
容器（9）
hadoop（9）
rabbitmq（9）
数据处理（9）
sql（8）
mvc（8）
爬虫（8）
云数据库 SQL Server（7）
eclipse（7）
tomcat（7）
api（6）
html（5）
github（5）
https（5）
http（4）
开源（4）
dubbo（4）
javascript（3）
node.js（3）
云数据库 Redis（3）
apache（3）
mapreduce（3）
网站（3）
spark（3）
ssh（3）
数据可视化（3）
json（2）
ide（2）
maven（2）
搜索引擎（2）
linux（2）
缓存（2）
mybatis（2）
sql server（2）
rpc（2）
数据结构（2）
php（1）
.net（1）
opengl（1）
汇编语言（1）
oracle（1）
git（1）
svn（1）
matlab（1）
jar（1）
ubuntu（1）
腾讯云测试服务（1）
mongodb（1）
图像处理（1）
渲染（1）
微信小程序音视频（1）
存储（1）
shell（1）
网络安全（1）
图像识别（1）
asp（1）
aop（1）
markdown（1）
微信（1）
安全（1）
微服务（1）
hbase（1）
processing（1）
任务调度（1）
code（1）
map（1）
string（1）
搜索文章
搜索
搜索
关闭
学习Spark——环境搭建（Mac版）
hadoop
spark
大数据情结 还记得上次跳槽期间，与很多猎头都有聊过，其中有一个猎头告诉我，整个IT跳槽都比较频繁，但是相对来说，做大数据的比较“懒”一些，不太愿意动。后来在一篇文中中也证实了这一观点，分析说大数据领域从业者普遍认为这是一个有前景，有潜力的方向，大多数希望有所积累，所以跳槽意愿不是很强烈。 14年的时候开始接触Hadoop，在Windows下搭了好几次环境，单机版、伪分布式和分布式都搭建过。那时候需要在Windows下装个虚拟机，在虚拟机中再装个Ubuntu，之后在Ubuntu上开始装jdk，hadoop等
JackieZheng
2018-01-16
4K
0
Hadoop阅读笔记（七）——代理模式
hadoop
java
关于Hadoop已经小记了六篇，《Hadoop实战》也已经翻完7章。仔细想想，这么好的一个框架，不能只是流于应用层面，跑跑数据排序、单表链接等，想得其精髓，还需深入内部。 按照《Hadoop阅读笔记（五）——重返Hadoop目录结构》中介绍的hadoop目录结构，前面已经介绍了MapReduce的内部运行机制，今天准备入手Hadoop RPC，它是hadoop一种通信机制。 RPC（Remote Procedure Call Protocol）——远程过程调用协议，它是一种通过网络从远程计算机程序
JackieZheng
2018-01-15
673
0
Hadoop阅读笔记（六）——洞悉Hadoop序列化机制Writable
数据处理
hadoop
酒，是个好东西，前提要适量。今天参加了公司的年会，主题就是吃、喝、吹，除了那些天生话唠外，大部分人需要加点酒来作催化剂，让一个平时沉默寡言的码农也能成为一个喷子！在大家推杯换盏之际，难免一些画面浮现脑海，有郁闷抓狂的，有出成果喜极而涕的，有不知前途在哪儿的迷茫与不安……总的来说，近一年来，不白活，不虚度，感触良多，不是一言两语能说得清道的明的，有时间可以做个总结，下面还是言归正传谈技术吧。 上篇在了解了Hadoop的目录和源码结构后，说好的要啃源码的，那就得啃。也感谢一直以来关注我、支持我的网友，您的
JackieZheng
2018-01-15
793
0
Hadoop阅读笔记（五）——重返Hadoop目录结构
hadoop
本文介绍了Hadoop的MapReduce编程模型、运行过程、源码目录结构及其核心包的功能。通过阅读本文，读者可以快速了解Hadoop的MapReduce实现，为进一步学习Hadoop的源码和实现细节提供有效的帮助。
JackieZheng
2018-01-08
1.2K
0
Hadoop阅读笔记（四）——一幅图看透MapReduce机制
hadoop
本文介绍了Hadoop MapReduce的工作机制，包括代码编写、作业配置、作业提交、Map任务分配、Reduce任务分配、作业完成等过程。主要讲解了MapReduce作业的工作机制，包括如何提交作业、任务分配、作业初始化、Shuffle和排序等过程。通过一幅图来直观地展现MapReduce的工作机制，并介绍了如何提交一个MapReduce作业以及作业初始化、Shuffle和排序等过程。
JackieZheng
2018-01-08
737
0
Hadoop阅读笔记（三）——深入MapReduce排序和单表连接
数据库
hbase
hadoop
JackieZheng
2018-01-08
1.7K
0
Hadoop阅读笔记（二）——利用MapReduce求平均数和去重
hadoop
JackieZheng
2018-01-08
2.5K
0
Hadoop阅读笔记（一）——强大的MapReduce
hadoop
java
爬虫
该文摘要总结：通过Hadoop命令行工具进行格式化读取文本文件并输出到控制台，同时通过Java代码实现MapReduce作业，将文本文件内容按行进行分割，对每一行进行统计，并输出到控制台。
JackieZheng
2018-01-08
769
0
Nutch源码阅读进程2---Generate
hadoop
mapreduce
本文主要介绍了Nutch引擎的爬虫架构和原理，详细讲解了Nutch引擎的爬虫实现过程。主要包括爬虫的基本工作流程、URL管理、网页抓取、解析网页、抽取正文、存储、检索、分析等过程。此外，还介绍了Nutch引擎的架构设计、实现原理和主要模块。
JackieZheng
2018-01-08
659
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪，探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档
