5个有趣的大数据行业应用

大数据分析推动了过去五年的机器学习。还有很多东西有待探索。想要实现大多数大数据项目,需要了解Hadoop生态系统等框架。Hadoop下的MapReduce框架为分布式计算提供了大量的可扩展性。此外,大数据项目需要巨大的处理能力。有两种常见的方法可以获得这样的处理能力:

为并行计算设置服务器或分布式集群:可以设置具有多个内核和高内存的机器。多个线程并行运行需要多个内核。大数据的内存需求通常很高。另一种方法可以配置多个更小的机器,并在它们之间分配工作负载(如果需要,可以添加更多的机器,这将更具有可扩展性)。

云计算:像亚马逊、谷歌和微软这样的公司已经为消费者建立了庞大的数据中心。人们可以根据自己的需要和时间购买他们的服务。这比前一种方法要好得多,需要的设置可以忽略不计,开销也要小得多。

犯罪预测:

机器学习可用于犯罪预测。犯罪地点、主题、受害者描述、时间等的历史数据可以用来建模机器学习框架。然而,这类应用会拥有大量的数据点。对于一个大城市来说,一天的数据就足以让任何一台普通电脑超负荷运转。因此,这里需要高效和优化的模型。

分析核物理数据:

这对很多人来说听起来很酷,但同样复杂。欧洲核子研究中心(CERN)等机构向公众公布了大量数据,以供分析和研究。这个数据绝对不小。通常情况下,一秒钟的捕获可以有超过10亿个数据点,最多有10个不同的维度。有些情况下,数据已经达到了一万亿数据点(是的,12个0)。在这种情况下,处理能力与超级可伸缩框架一起是必须的。不同大学的研究人员使用具有10万多个节点的机器来实现及时的计算。

对交通进行模拟和预测:

对线路进行模拟和预测一直是一个长期存在的问题。建立了实时数据模拟交通的模型。然而,更进一步地说,需要开发能够正确预测流量的模型。这个领域里没有人能做到完美。它需要复杂的建模和以最小的延迟处理大量数据。这意味着这样一个模型的基础设施应该是超级高效的,以便能够实时预测流量。首先要使用的一些框架是OpenTraffic和SuMO。

自然语言建模:

在计算机中使用的语言是简单的,在大多数情况下是不受上下文影响的。然而,人类语言要复杂得多,需要语境、庞大的知识库和恰当的语法。当我们看到更多的人工智能助手(如Siri、Alexa等)时,我们也开始注意到它们的缺陷,以及它们与真正人类的差距还很大。建模自然语言是一项艰巨的任务,需要大量的数据。

欺诈检测:无论是电子邮件、短信、交易还是口语,都可以使用欺诈检测。要知道邮件是假的或交易是可疑的,需要的不仅仅是人类的智慧。

原文发布于微信公众号 - 程序你好(codinghello)

原文发表时间:2018-07-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏TEG云端专业号的专栏

谈谈服务器运营领域的机器学习

本文我们来谈谈近几年机器学习在服务器运营领域的一些实践。

6858
来自专栏木东居士的专栏

闲谈大数据和算法

1942
来自专栏熊二哥

项目管理快速入门02--“多快好省”

项目管理最重要的四个要素就是jd的口号,“多快好省”,当然这是不可能的,哈哈。 多:项目范围管理 快:项目时间管理 好:项目质量管理 省:项目成本管理 这部分内...

25610
来自专栏ThoughtWorks

TW洞见 | 敏捷开发中的故事点数

什么是故事点数? 故事点数是敏捷团队估算用户故事使用的一种主观的计量单位。 故事点数代表了什么? 故事点数代表了完成一个用户故事所要付出的工作量。一些敏捷开发人...

49311
来自专栏CDA数据分析师

数据挖掘:微博用户画像之用户标签

摘要: 用户画像(User Profile),作为大数据的根基,它完美地抽象出一个用户的信息全貌,为进一步精准、快速地分析用户行为习惯、消费习惯等重要信息,提供...

2.7K8
来自专栏深度学习与数据挖掘实战

干货|程序员到机器学习工程师飞跃的实战经验

“我是一名软件开发工程师,阅读过一些关于机器学习方面的书籍和博客文章,也学习过一些在线的关于机器学习的公开课。但是,我仍然不知道怎么应用到工程实践中……”

1172
来自专栏深度学习与数据挖掘实战

程序员到机器学习工程师的飞跃

“我是一名软件开发工程师,阅读过一些关于机器学习方面的书籍和博客文章,也学习过一些在线的关于机器学习的公开课。但是,我仍然不知道怎么应用到工程实践中……”

1042
来自专栏PPV课数据科学社区

2017年最全的数据科学学习计划(完结篇)

注: 在PPV课微信公众号回复“数据科学计划”获取PDF全文,内附学习资料网址推荐,让学习直达源头,不用找度娘更省心! 本文为2017年最全的数据科学学习计划(...

40611
来自专栏AI科技大本营的专栏

Google VS 亚马逊 VS 微软,机器学习服务选谁好?

译者 | reason_W 编辑 | Just 对大多数企业来说,机器学习听起来就像航天技术一样,属于花费不菲又“高大上”的技术。如果你是想构建一个 Netfl...

3055
来自专栏深度学习与数据挖掘实战

干货|程序员到机器学习工程师飞跃的实战经验

“我是一名软件开发工程师,阅读过一些关于机器学习方面的书籍和博客文章,也学习过一些在线的关于机器学习的公开课。但是,我仍然不知道怎么应用到工程实践中……”

891

扫码关注云+社区

领取腾讯云代金券