“别再问我什么是大数据了”一个单身程序汪的自白

机智如我，当然也有人穷追死问，喏，大数据（BIG DATA）一般节点任务如下，自己看吧！

获取：

数据的获取包括了各种数据源、内部或外部的、结构化或非结构化的数据。“大多数公共数据源的结构都不清晰，充满了噪音，而且还很难获得。”

技术：Google Refine、Needlebase、ScraperWiki、BloomReach 。

序列化：

“你在努力把你的数据变成有用的东西，而这些数据会在不同的系统间传递，并可能存储在不同节点的文件中。这些操作都需要某种序列化，因为数据处理的不同阶段可能需要不同的语言和API。当你在处理非常大量的记录时，该如何表示和存储数据，你所做的选择对你的存储要求和性能将产生巨大影响。

技术：JSON、BSON、Thrift、Avro、Google Protocol Buffers。

存储：

“大规模的数据处理操作使用了全新的方式来访问数据，而传统的文件系统并不适用。它要求数据能即时大批量的读取和写入。效率优先，而那些有助于组织信息的易于用户使用的目录功能可能就显得没那么重要。因为数据的规模巨大，这也意味着它需要被存储在多台分布式计算机上。”

技术：Amazon S3、Hadoop分布式文件系统 。

服务器：

“云”是一个非常模糊的术语，我们可能对它所表示的内容并不很了解，但目前在计算资源的可用性方面已有了真正突破性的发展。以前我们都习惯于购买或长期租赁实体机器，而现在更常见的情况是直接租用正运行着虚拟实例的计算机来作为服务器。这样供应商可以以较为经济的价格为用户提供一些短期的灵活的机器租赁服务，这对于很多数据处理应用程序来说这是再理想不过的事情。因为有了能够快速启动的大型集群，这样使用非常小的预算处理非常大的数据问题就可能成为现实。”

技术：Amazon EC2、Google App Engine、Amazon Elastic Beanstalk、Heroku 。

NoSQL

在IT行为中，NoSQL（实际上意味着“不只是SQL”）是一类广泛的数据库管理系统，它与关系型数据库管理系统（RDBMS）的传统模型有着一些显著不同，而最重要的是，它们并不使用SQL作为其主要的查询语言。这些数据存储可能并不需要固定的表格模式，通常不支持连接操作，也可能无法提供完整的ACID（原子性—Atomicity、一致性—Consistency、隔离性—Isolation、持久性—Durability）的保证，而且通常从水平方向扩展（即通过添加新的服务器以分摊工作量，而不是升级现有的服务器）。

技术：Apache Hadoop、Apache Casandra、MongoDB、Apache CouchDB、Redis、BigTable、HBase、Hypertable、Voldemort 。

MapReduce：

“在传统的关系数据库的世界里，在信息被加载到存储器后，所有的数据处理工作才能开始，使用的是一门专用的基于高度结构化和优化过的数据结构的查询语言。这种方法由Google首创，并已被许多网络公司所采用，创建一个读取和写入任意文件格式的管道，中间的结果横跨多台计算机进行计算，以文件的形式在不同的阶段之间传送。”

技术：Hadoop和Hive、Pig、Cascading、Cascalog、mrjob、Caffeine、S4、MapR、Acunu、Flume、Kafka、Azkaban、Oozie、Greenplum 。

处理：

“从数据的海洋中获取你想要的简洁而有价值的信息是一件挑战性的事情，不过现在的数据系统已经有了长足的进步，这可以帮助你把数据集到转变成为清晰而有意义的内容。在数据处理的过程中你会遇上很多不同的障碍，你需要使用到的工具包括了快速统计分析系统以及一些支持性的助手程序。”

技术： R、Yahoo! Pipes、Mechanical Turk、Solr/ Lucene、ElasticSearch、Datameer、Bigsheets、Tinkerpop 。 初创公司：Continuuity、Wibidata、Platfora 。

自然语言处理：

“自然语言处理（NLP）……重点是利用好凌乱的、由人类创造的文本并提取有意义的信息。”

技术：自然语言工具包Natural Language Toolkit、Apache OpenNLP、Boilerpipe、OpenCalais。

机器学习：

“机器学习系统根据数据作出自动化决策。系统利用训练的信息来处理后续的数据点，自动生成类似于推荐或分组的输出结果。当你想把一次性的数据分析转化成生产服务的行为，而且这些行为在没有监督的情况下也能根据新的数据执行类似的动作，这些系统就显得特别有用。亚马逊的产品推荐功能就是这其中最著名的一项技术应用。“

技术：WEKA、Mahout、scikits.learn、SkyTree 。

可视化

“要把数据的含义表达出来，一个最好的方法是从数据中提取出重要的组成部分，然后以图形的方式呈现出来。这样就可以让大家快速探索其中的规律而不是仅仅笼统的展示原始数值，并以此简洁地向最终用户展示易于理解的结果。随着Web技术的发展，静态图像甚至交互式对象都可以用于数据可视化的工作中，展示和探索之间的界限已经模糊。

技术：GraphViz、Processing、Protovis、Google Fusion Tables、Tableau 。