像用“数据库”一样使用“大数据”！华为宣布河图引擎开源

11月19日，华为在深圳举办了2019全球数据基础设施论坛。华为Cloud & AI产品与服务总裁侯金龙宣布，面向鲲鹏计算产业，全面启动数据基础设施战略，并开源数据虚拟化引擎HetuEngine（河图引擎），希望让伙伴像使用“数据库”一样使用“大数据”，让数据治理、使用更简单。

今年9月，华为在全联接大会上发布了“一云两翼双引擎”的鲲鹏计算产业布局，基于“鲲鹏+昇腾”双引擎，全面启航计算战略，为世界提供最强算力。今天华为又从数据角度对计算战略再一次进行了阐述。

侯金龙表示，华为公司的愿景与使命是：“把数字世界带入每个人、每个家庭、每个组织，构建万物互联的智能世界”。在智能世界，算力成为新生产力，数据成为新生产资料，“5G、AI、云”成为新生产工具，将使能千行百业迈入智能时代。

随着5G、AI和云的普及，数据量正以惊人的速度增长：从1080P到4K、8K，视频数据量将提升40倍，从4K到4K VR要增加6倍以上；未来每辆自动驾驶汽车每天就会产生高达64 TB数据；深圳一个城市有超过200万摄像头，每天将产生80 PB数据，平均保存30天，大家希望保存更长时间；大量的数据过去只需存几天，现在需要保存几个月甚至永久保存。

根据预测，全球数据量将从2018年的33 ZB快速增长到2025年的180 ZB。但是，产生的数据中仅有不到2%被保存，而被保存的数据中仅有不到10%被应用。

这些海量数据的增长背后是需要海量存储和计算的资源，数据增长是无限的，而存储资源却是有限的。

华为希望，对数据的采、存、算、管、用实施端到端的整合和优化，让数据在全生命周期内更好用，数据的每比特发挥价值最大，数据的每比特成本最优。

为实现这个追求，华为打造融合、智能、开放的数据基础设施，让数据系统从孤立走向融合，从复杂走向智能，从封闭走向开放：

1、通过“打破数据处理与数据存储的边界”，实现数据高效共享和分析，降本增效。

2、通过“AI+存储+云”，实现数据全生命周期内智能管理和智能运营，让存储越用越快，价值越来越大。

3、通过“数据虚拟化引擎”，统一SQL语法，像使用数据库一样使用大数据。

通过10余年技术积累和创新，华为在存储、数据库和大数据技术上实现了一系列突破，通过打破4堵墙，让数据的每比特发挥价值最大，数据的每比特成本最优。

1、打破存储内部系统墙：通过一套架构实现生产、分析、备份、归档的统一管理，一份数据在各个系统中平滑流动，减少拷贝，TCO降低30%以上。

2、打破数据库与存储链路墙：通过算子下推实现近数据计算，减少存储层与计算层之间的数据交换，数据访问和处理性能提升2倍。

3、打破大数据与存储配置墙：通过存算分离实现资源灵活配置，计算不足扩计算，存储不足扩存储 。并通过弹性EC、数据缩减技术减少冗余，整体TCO降低30%以上。

4、打破数据库与大数据协同墙：通过协同分析实现数据零搬迁，数据库和大数据共享一份数据，分析效率提升100%。

此外，针对目前大量业务需要跨平台、跨数据源协同分析，找数难、取数难、用数难等痛点，为了屏蔽数据类型差异、地域差异、语法差异，让数据治理简单，使用简单，华为推出了“河图引擎”。

同时，为了更好地发展数据产业，今天侯金龙宣布开源河图引擎，开源版本的河图引擎叫openHetu，将于2020年6月上线。

华为将开源内核，开发者可以基于开源代码进行定制，包括数据源扩展、SQL执行策略等，实现应用快速对接，提升开发效率。

侯金龙最后表示，华为始终践行“平台+生态”策略，通过硬件开放，软件开源，使能伙伴，共建开放、繁荣的鲲鹏计算产业生态，共同迈入智能时代。