大数据技术

前言：学习了好久了，也没有系统的整理过这些东西，感觉再这么下去算是荒废了，懒惰加上不思进取就这样子过去大半年了，而且最近总是把技术圣地变成自己的宣泄的地方哈哈，随便写的啥都乱发，打扰到各位了，在这里给各位道歉了%%。 经过一个比赛感觉自己也学得不扎实，自从非正常退役ACM以后，就距离一个ACMer越来越远了，感觉自己都快脱离了，但是现在想想自己还呆在实验室，应该好好的搞东西，而不是每天都划水。Orz。借此正好整理近些天学习的大数据的材料和知识，以及自己的见解。

因为基础很差所以列一下自己遇到的觉得书到用时方恨少的栗子：

• Liunx基础和Shell编程：Hadoop的配置等都是在虚拟机上或者云主机或者联机一下，不过都是一般部署在 Linux 系统上的，如果不了解不学习这部分就很难进行下去，比如看看网络连接、查看IP、修改主机名、配置映射等等，最重要的是系统文件的结构（应该是这么叫的），总之最基本的操作要知道。
• Java和Python等：这部分是指的一些编程的语言，对于API操作的时候，不仅仅是需要想出来，更要写出来，再者就是上传到集群上运行，这些都很重要。
• 计算机网络、编译原理、Http/Https协议：这部分应该在第一部分中，但是我想分出来的原因就是对于一些网络中的协议啥的用到时候真的很头疼，要是不了解一些的话，有的时候就会因为改错东西而浪费一上午。
• C/C++、数据结构：这个不是特别重要，但是对于往后发展的话，更多的需要算法等，数据结构可以帮助自己更好理解一些。

这些前置技能就是仅供参考，等到学习大数据时，搭建Hadoop环境等的，能够很好的帮助理解。

这个专题会持续一段时间吧，当然中间可能会偶尔穿插一些其他的东西。

这篇当作是走进大数据技术的第一步了，当时也是第六届“大唐杯”全国大学生移动通信应用创新大赛（4G/5G&大数据应用创新大赛）全国总决赛的一个反思总结。