大数据及技术趋势

大数据及技术趋势

随着投资者从电子设备及互联网获取信息的过程变得愈加便捷，大数据这一热点话题也逐渐受到投资者的关注。近年来，大数据及其相应的处理技术有着如下几点趋势：

数据洪潮的到来

据IBM的报告显示，如今世界上90%的数据都是在过去两年中产生的。这种数据洪潮在未来的数年中将会愈演愈烈，从2015年到2020年世界上的数据总量将增长约10倍。本文认为在不久的未来，更多、更广泛的数据将更快地传递到投资者手中，市场的反应速度也会因此更加迅速。很有可能到那时，每个人日常生活中产生的信息，比如购买的食物、汽车里程数等等，都会被用来分析公司的盈利情况并反映到股价上去。

大存储量、高计算力

并行计算、分布式处理和云端计算扩大了数据的存储能力、提高了设备的利用效率，据统计，在短短三年之后世界上约有1/3的数据将被存储在云端。而GPU的进步意味着芯片本身计算能力的提高（详见之前的官微文章《大数据与GPU计算》）。同时这些与之相关的技术和数据绝大多数是开放的，这意味着从事传统主动投资和量化的投资者可以很便捷的学习和使用这些技术。

机器学习的时代

交叉了统计学和计算机科学、被称为机器学习的数据分析方法近年来出现长远又显著的发展。这些新的技术对增强决策、发现洞见和过程优化有着积极作用，各大科技公司都花费大量的时间和精力研究和使用这些算法，并将其应用到产品中去。从广告推荐到智能驾驶，这些平时生活中的应用案例屡见不鲜。而在投资领域中，这些技术与大数据相结合，为投资者提供了更多的交易思路和更强的预测能力，其典型的工作流程如下：

综上所述，大数据和机器学习技术需要在特定环境下才能发挥作用，如使用自然语言处理（NLP）处理社交媒体情感从而反映市场情绪；使用集成学习方法处理商业交易数据从而进行预测等等。本文认为：尽管目前大数据和机器学习在金融市场上更多的作用是辅助进行投资和交易决策，但其不断的发展和应用最终将深远地改变整个金融市场，这值得我们关注并做到与时俱进。