由于工作关系,开始了云计算和大数据漫长的学习之路,工作中主要涉及hadoop生态圈组件:hadoop,hbase,zookeeper,kafka,flume,spark;以及Openstack。虽然主要工作以运维为主,但个人一直坚持以what、how、why的学习思路来进行,所以平时学习的环境也力求模拟生产环境,绝不浅尝则止,以理解why为最终出发点,将学习过程逐步记录下来,一来激励自己不断学习,二来把踩过的坑一一细数,希望能帮到后来的童鞋们。
实际项目中,涉及到需要使用hadoop进行存储和分析数据的,无一例外后端有一个hadoop集群平台,我涉及的现有项目都是以大批量的物理服务器为主,据说有跑在虚拟机上的hadoop集群,没有实际条件,也没法测试性能如何。
我将按照一个项目的建设过程顺序来记录整个学习过程,包括但不仅限于以下内容:hadoop集群安装、hdfs及hbase组件详解、集群管理及维护、实际应用案例、hadoop开发。中间还想穿插整个过程中涉及的部分小知识:linux、mysql、devops等。
下一篇:项目开局,节点操作系统安装。
领取专属 10元无门槛券
私享最新 技术干货