三个无人讨论的大数据的发展趋势

您在一年前讨论大数据将与今天的对话截然不同。

我们最近看到数据科学从外围功能显着转变为核心功能，更大的团队解决日益复杂的分析问题。我们已经看到数据科学平台的快速发展和对数据和分析团队的巨大影响。但是，在数据，分析和机器学习方面，存在哪些惊喜呢？

数据科学将在一年内谈论什么新的发展？以下是我们的三个预测：

大数据的收益递减：数据的大小不再是重点。

我们越来越多地看到更大的数据通常不会更好。公司意识到，提取更多数据可能无法帮助他们更有效地解决某些问题。

尽管如果干净的数据更多的数据可能是有用的，绝大多数的业务用例都会减少边际回报。更多的数据实际上可以减缓创新，使得数据科学家在测试需要更长时间并需要更多的基础设施时，更难以快速迭代。

与较少数据集的实验相比，实验和迭代更快将导致更好的模型和结果。麻省理工学院研究员Kalyan Veeramachaneni写道：“如果公司希望从数据中获得价值，他们需要专注于加速人们对数据的了解，缩短在短时间内可以询问数据的建模问题数量。

事实上，财富500强企业将采取更灵活和更迭的方法，重点是从更高质量的数据样本中学习更多。他们将使用技术来提取更具代表性的数据示例，从而可以从这些子样本得出更好的结论。例如，它们不是处理PB级的呼叫中心录音，而是在最近2-3个月内进行抽样，运行数十个实验，并更快地向团队提供流失预测以获得反馈。

2.首席信息官处理数据科学的拓展：IT团队为数据和分析带来了秩序。

IT组织传统上管理数据仓库和生产流程等分析数据基础设施。在实验的欲望驱动下，数据科学家们正在越来越多地创建自己的影子IT基础设施。他们在桌面或分散在部门的共享服务器上本地下载和安装。他们使用RStudio，Jupyter，Anaconda和无数的开源软件包几乎每天都在改进。

这种工具的狂野西方造成了大量的治理挑战。许多CIO团队意识到数据科学家需要一致和安全的工具的程度，而不会限制他们的实验和创新能力。

在明年，组织将越来越多地将数据科学工具纳入IT作为服务提供。通过集中为数据科学家提供基础架构的解决方案，CIO将透明化使用哪些数据和工具，实施最佳实践，并更好地管理对数据科学工作流程至关重要的专业硬件的成本。

3.需要展示您的工作：增加模型风险管理和监督。

随着欧盟国内生产总值在2018年5月生效，随着全球监管行业数据模型使用的增加，数据治理比以往任何时候都更为重要。许多数据导向型行业（金融，银行，保险，医疗保健，公用事业）都是受监管力量最大的行业之一。在这些行业中，随着价格，贷款，营销和产品可用性的关键决策越来越多地受到数据科学的推动，决策者正在注意。该法规的范围不仅限于使用什么数据，还包括如何使用和使用数据，增加了复杂性。

一个例子是美国联邦储备委员会发行SR 11-7，其要求包括“[要求]银行将模型使用和开发与验证分开，建立一个综合的全公司模式风险功能，维护所有的库存模型，并充分记录他们的设计和使用，“Risk.net的Nazneen Sherif写道。

同样增加的需求和审查也开始达到其他受监管行业。美国司法部门阻止了Anthem-Cigna和Aetna-Humana之间的医疗保险收购，部分原因在于它们不足以证明其数据驱动的效率和定价要求。随着数据科学和分析推动更多的组织决策，以及代表决策方案的更大部分 - 期望更多的内部和外部数据模型审查。

SR 11-7的例子是说明性的。美联储发布三年后，美联储得出结论认为，一些银行控股公司（BHC）在压力测试模式的严格测试领域没有达到其要求。美联储然后强制要求BHC“有一个可靠的记录系统来整理CCAR提交所需的信息，”最近的一篇Oracle博客文章总结道。 “如果记录系统为机密信息提供可审计性，可追溯性和安全性，它也可以作为高层管理人员和监管机构的保证。”

因此，组织需要更好地记录和展示他们的数据科学工作。

未来，许多公司和数据科学家将继续关注可预测的：大数据，最新的新算法，以及机器学习的不断扩展。但是，我们认为上述新的发展是唤醒呼唤，这是组织数据科学成熟的关键转折点。