2017年大数据和数据科学的六大发展趋势

原作者 Igor Bobriakov

编译 CDA 编译团队

本文为  CDA 数据分析师原创作品,转载需授权

如今我们越来越依赖于数据和信息,企业通过数据科学和机器学习来处理大量数据。深度学习和人工智能得到迅速发,同时人们也在期待其他大数据相关产业的发展。那么,让我们来看看 2017 年大数据和数据科学主要发展趋势。

1. 越来越多的企业将其预测分析需求转移到云端

许多公司正在将其数据和应用程序移动到云端。这将大大管理和配置计算资源的复杂性。

大多数顶级云提供商都在云端开发自己的机器学习服务。这使得组织机构无需大量投资和组建大型数据科学团队组就能够利用机器学习技术。

以下是一些机器学习和 人工智能服务(MLaaS 和 AIaaS)的提供方商:

• IBM 沃森

• 微软 Azure 机器学习 API

• Google 预测 API

• 亚马逊机器学习 API

• BigML

与数据打交道的人非常清楚,如果没有对数据进行有效地分析并将其转化为可行方案,数据则是无用的。2017 年,云机器学习服务使用量的增加将有助于改善和加速各公司各行业把数据转化为行动决策。

2. 更多的组织将采用Hadoop和Spark大数据平台。

在 2017 年,Hadoop 和 Spark 等大数据技术将稳步发展。Hadoop 主要的优势在于能够收集大量数据,然后将这些数据分发到并行运行的低成本服务器。

为了使 Hadoop 在测试环境之外运行,许多企业将在 2017 年将其转移到云端,并从计算中抽象出存储空间。

Apache Spark 是使用内存计算且增长最快的大型数据平台之一。

根据最近的研究,在公共云使用 Spark 的用户百分比(61%)高于使用 Hadoop YARN(36%)的用户,这一趋势将在 2017 年继续。此外,Spark 宣称其通过“内存分析”操作模式将在 2017 年稳步发展。这能够达到更快的计算,在某些情况下比 Hadoop Map Reduce 框架快 100 倍。

3. 对更强的数据安全需求正在上升

越来越多的网络攻击使得人们越发关注数据安全,这在近几年变得更为重要。预计安全分析成本将会上升。因此,要跟上数据安全领域的发展趋势是至关重要的。

最近,安全趋势之一是增加机器学习算法的使用,包括在各种业务领域的异常检测和在数据科学安全的等领域进行深入学习。

安全数据科学的另一个显着趋势是利用人工智能会话接口(又称机器人)实现对出现的威胁提供援助和安全响应的自动化。这样的机器人已经在诸如 Slack 的一些平台中使用。

如今,快速发展的领域之一是行为生物识别。它可以独立使用,同时若与机器学习结合使用,就能够降低成本并提高效率。而且它可用于识别另一端的人员以及他们正在做什么,同时还能区分用户和机器人。

未来对网络安全的要求越来越复杂,安全专家也将需要适应新的挑战。

4. 深入学习技术正在成为主流

深入学习在 2016 年得到很多关注,许多重要的应用都是通过它来实现的,比如机器翻译和其他形式的语言处理,自动图像字幕生成,对象分类和图像检测,面部识别和自动游戏。

在 2017 年,人工智能不会停止进步,并且越来越多地以 人工通用智能(AGI)的形式。毫无疑问,对于数据科学家来说,深度学习将是解决机器学习问题最重要的方法之一。

此外,由于通过各种开放源代码框架(如 TensorFlow 和 Deeplearning4j )提高了计算能力和该技术的可访问性,深度学习现在已变得越来越普遍。

谷歌,Facebook,微软和百度等顶尖公司正在通过其强大的人工智能研发团队进行进一步的研究。

因此,我们将会看到大量新的深度学习应用程序,例如使用机器学习方法自动校正照片和专业照片处理,这些都会对我们的生活产生重大影响。除此之外,不得不提及便携式设备的兴起,这些设备通过利用机器学习来帮助残疾人看,听或以其他方式感知周围的环境。

5. 对话接口和聊天机器人将加速发展

在我们生活中出现计算机后,很长一段时间我们都需要用它们的语言与之交流。现在,由于最新发现和技术发展,我们可以教计算机如何用我们的语言进行沟通。会话系统已经从用户适应的模型转变为计算机“倾听”并且根据用户期望的结果进行调整的形式。

会话接口(CI)和聊天机器人中、新的可能性将需要开发人员具备许多新技能。首先,对于用户体验设计师来说,这将是一个巨大的挑战,因为它与当前的用户界面非常不同。在今年,许多程序员和设计师将致力于提高他们在设计和开发聊天机器人方面的技能。

聊天机器人本身将是 2017 年的一个大发展趋势,我们会看到更多创造性的方案使聊天机器人发展到全新水平。目前,聊天机器人技术已经被集成到许多消费应用中。下一步它将在进入其他行业,如零售银行、电子商务、企业解决方案,甚至是市场推广。

那么为什么最近的机器人会变得热门呢?虽然机器人已经存在了很长时间,但是现在人工智能已经可以利用机器学习创造先进产品。一些典型的会话人工智能产品,如谷歌助理和 iOS 操作系统的 Siri ,已经成为智能手机用户不可或缺的产品,而不仅仅是一个有趣的应用程序。

6. 2017年是无人驾驶汽车年

在 2017 年,无人驾驶汽车和自主技术是热门领域。这一趋势已经发展了好几年,但如今该技术已达到了能够进入市场的水平。越来越多的汽车制造商正朝着无人驾驶的方向发展,并运行他们的免手动模式。

许多汽车市场的巨头已经提交了他们的项目。其中包括宝马、沃尔沃、通用汽车、尼桑和特斯拉和谷歌。他们认为,生产这样的汽车将减少交通事故的数量。另一方面,我们也不应该忘记在这项技术的发展过程中会使多少人失业。例如,在美国,司机的职业是全美最受欢迎的职业。这个话题一直是热门的争论话题。

电动汽车现在并不是什么令人惊讶的新鲜事物,随着技术的发展和价格的降低,电动车将逐渐进入我们的生活。无人驾驶技术的兴起之日也即将到来。然而,在这方面仍然存在许多关于安全和立法的问题。

结论

2017 年将是非常激动人心的,特别在人工智能领域充满了新的发现和发展机遇。今年将是“智能之年”,因为我们将看到人工智能和机器学习应用正在成为主流,并对机构和商业领域的发展密不可分,并成为将机器学习与业务结合的公司的关键竞争优势之一。

原文发布于微信公众号 - CDA数据分析师(cdacdacda)

原文发表时间:2017-05-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【AI 管理的未来】第一家全自主公司:企业自动化历程

? 2015年4月,AI公司不同分类的图谱,VentureScanner.com提供 人工智能的崛起,再加上更好的数据捕捉和存储,正自动化公司中越来越多的关...

41890
来自专栏灯塔大数据

2017年会成为大数据的扫盲年吗?

过去一年内,我们看到了大数据的井喷式发展,数据处理分析成为热门,大数据行业呈现出信息激进之势。这导致数据科学家、数据应用程序员和商业分析师等大数据方面的人才成为...

30570
来自专栏数据猿

数据服务业务是未来趋势,荣之联刚刚发布的大数据平台DataZoo有啥亮点?

9月27日,荣之联发布了大数据平台DataZoo,这是一个什么样的平台?为什么要以“Zoo”来命名? 记者 | 郭敏 官网 | www.datayuan.cn...

33330
来自专栏华章科技

江晓东:企业如何做一个成功的大数据项目

分享老师:江晓东 世界500强企业咨询师、曾担任奥巴马政府经济刺激计划MAMP项目顾问

10120
来自专栏大数据挖掘DT机器学习

【观点】 从大数据中获取商业价值的9种方法

现在已经有了许多利用大数据获取商业价值的案例,我们可以参考这些案例并以之为起点,我们也可以从大数据中挖掘出更多的金矿。 2013 TDWI关于管理...

44450
来自专栏云社区全球资讯抢先看

想知道人工智能将来是怎样个性化定义我们的工作的么?

人工智能在工作中的应用早已经开始。然而,随着企业办公技术的不断发展和持续迭代,我们必须要知道AI将如何在未来影响我们在工作中的角色和责任。

21620
来自专栏大葡萄元元

(二)市场+运营+商务需要积累什么?

   上次说到渠道商务的局限性,权限有限可运作的范围也有限,但对于渠道不能光是坐等资源上门,对于有潜力的APP产品应该懂得挖掘......接触越来越多的开发者以...

9210
来自专栏灯塔大数据

纯干货!如何做一个成功的大数据项目

? 1 失败大数据项目的特征 根据在美国做了15年的大数据项目、产品研发和管理,以及其它一些相关的数据分析的工作经验,了解到的其它的做的比较成功的和失败的项目...

31130
来自专栏人称T客

Kafka、Logstash、Nginx日志收集入门

T客汇官网:tikehui.com 撰文 | 杨丽 ? 既然协同办公产品仍有施展拳脚之地,那么厂商还对协同办公就应该留有希望,持续关注用户所想、满足用户所需,...

29950
来自专栏DevOps时代的专栏

DevOps能力成熟度三级评估结果公布

近年来,随着“互联网+”和云计算技术的发展,软件生产的模式发生了显著的变革。一方面传统行业互联网应用的种类越来越丰富,对软件开发效率的要求越来越高;另一方面容器...

26330

扫码关注云+社区

领取腾讯云代金券