5个有趣的大数据行业应用

大数据分析推动了过去五年的机器学习。还有很多东西有待探索。想要实现大多数大数据项目，需要了解Hadoop生态系统等框架。Hadoop下的MapReduce框架为分布式计算提供了大量的可扩展性。此外，大数据项目需要巨大的处理能力。有两种常见的方法可以获得这样的处理能力：

为并行计算设置服务器或分布式集群：可以设置具有多个内核和高内存的机器。多个线程并行运行需要多个内核。大数据的内存需求通常很高。另一种方法可以配置多个更小的机器，并在它们之间分配工作负载(如果需要，可以添加更多的机器，这将更具有可扩展性)。

云计算:像亚马逊、谷歌和微软这样的公司已经为消费者建立了庞大的数据中心。人们可以根据自己的需要和时间购买他们的服务。这比前一种方法要好得多，需要的设置可以忽略不计，开销也要小得多。

犯罪预测：

机器学习可用于犯罪预测。犯罪地点、主题、受害者描述、时间等的历史数据可以用来建模机器学习框架。然而，这类应用会拥有大量的数据点。对于一个大城市来说，一天的数据就足以让任何一台普通电脑超负荷运转。因此，这里需要高效和优化的模型。

分析核物理数据：

这对很多人来说听起来很酷，但同样复杂。欧洲核子研究中心(CERN)等机构向公众公布了大量数据，以供分析和研究。这个数据绝对不小。通常情况下，一秒钟的捕获可以有超过10亿个数据点，最多有10个不同的维度。有些情况下，数据已经达到了一万亿数据点(是的，12个0)。在这种情况下，处理能力与超级可伸缩框架一起是必须的。不同大学的研究人员使用具有10万多个节点的机器来实现及时的计算。

对交通进行模拟和预测：

对线路进行模拟和预测一直是一个长期存在的问题。建立了实时数据模拟交通的模型。然而，更进一步地说，需要开发能够正确预测流量的模型。这个领域里没有人能做到完美。它需要复杂的建模和以最小的延迟处理大量数据。这意味着这样一个模型的基础设施应该是超级高效的，以便能够实时预测流量。首先要使用的一些框架是OpenTraffic和SuMO。

自然语言建模：

在计算机中使用的语言是简单的，在大多数情况下是不受上下文影响的。然而，人类语言要复杂得多，需要语境、庞大的知识库和恰当的语法。当我们看到更多的人工智能助手(如Siri、Alexa等)时，我们也开始注意到它们的缺陷，以及它们与真正人类的差距还很大。建模自然语言是一项艰巨的任务，需要大量的数据。

欺诈检测：无论是电子邮件、短信、交易还是口语，都可以使用欺诈检测。要知道邮件是假的或交易是可疑的，需要的不仅仅是人类的智慧。