首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

融合数据管理与分析平台,软硬结合推进“智能+”时代

过去十年,全球的数据量呈爆发式增长;到2025年,每年将生成超过175 ZB的数据,相比2018年,增加可达近三分之二。这是一份2019年6月发布的行业调查结果所显示的,这份由云数据管理备份厂商Veeam所组织的全球CXO调研中,73%的组织承认无法满足用户对不间断访问数据和服务的需求,这将会给企业每年造成2000万美元的损失。

如今,随着全球数据量的爆发而“水涨船高”,单一企业或机构的数据规模已经由以前的GB级上升到TB级甚至PB、EB级,文本数据、图像数据、语音数据、视频数据等半结构化或非结构化数据占比越来越大,手机、汽车、智能音箱、各种传感器等数据源日益丰富,而需要秒级或毫秒级响应的实时数据正在成为企业数据的重要管理对象。

在从“互联网+”到“智能+”推进的过程中,如何将各类数据与实体经济深度融合并通过数据分析作用于实体经济,已经成为了企业数字化转型的重大挑战。中国信息通信研究院的《数据资产管理实践白皮书(4.0版)》指出,当前的企业数据资产对数据处理架构提出了更新换代的要求:底层架构向云平台和分布式系统迁移;数据预处理从传统的ETL抽取、清洗和加载到数据仓库,转向随时从数据湖中抽取原始数据进行建模分析。

从MPP大规模数据仓库到高性能计算、人工智能和机器学习建模,一个软硬结合的融合数据管理与分析平台正在成为“智能+”的入场券。这也是为什么英特尔自2013年开始就提出“以数据为中心”的战略,特别是英特尔至强可扩展平台内置人工智能加速并已针对工作负载进行优化,在以数据为中心的时代提供了多云与智能边缘之间无障碍性能切换的基础,搭载第二代英特尔至强可扩展处理器,更将性能的一致性、普遍性和突破性提升到了新高度。

结构化数据处理为根本

对于实体经济来说,结构化数据仍然是根本。典型的结构化数据包括银行与电信交易数据、来自传统数据中心的交易数据、管理数据、财务数据、基础信息数据,以及来自新兴的物联网数据和互联网数据等。这些海量的结构化数据承载着实体经济的关键信息,提升数据库的处理性能对于保障关键业务、挖掘数据价值,有着至关重要的作用。

海量数据给数据处理带来了沉重的性能压力,对数据库技术的持续创新提出新要求。随着数字化转型的深度推进,金融、电信、能源、政府等行业存储的数据量呈现快速增长的趋势,从这些海量数据中挖掘数据价值成为数字化建设的重要方向。天津南大通用数据技术股份有限公司(以下简称:南大通用)是领先的国产数据库技术供应商,由南大通用开发的GBase 8a MPP Cluster以独特的扁平架构、高可用性和动态扩展能力,为超大型数据管理提供了一个高性价比的大规模分布式并行数据库管理解决方案。

对于结构化数据的处理,GBase 8a MPP Cluster在性能方面相较传统数据库有突出优势,能够支持从数TB到数十PB的数据集,并支持300以上用户同时并发,IO等待时间最少只有传统数据库的10%,数据分析速度可以比普通数据库提高10倍以上。GBase 8a MPP Cluster可以用于满足金融、电信、能源、政府、物联网等数据密集型行业对结构化数据处理的需求,能够支撑数据查询、数据统计、数据分析、数据挖掘和数据备份等应用,同时还可用做数据仓库系统、BI系统和决策支持系统的承载数据库。

而结合了英特尔至强可扩展处理器、英特尔固态盘D3-S4510系列、英特尔以太网适配器X710-DA2后,能够显著提升GBase 8a MPP Cluster的性能表现,全面满足数据密集型行业对于大数据分析的需求,帮助行业用户快速部署高性能的GBase 8a MPP Cluster分布式分析型数据库系统。例如,针对峰值需求,英特尔睿频加速技术可使处理器超出基本工作频率运行,加速处理器和图形性能,轻松应对峰值负载。

人工智能和高性能计算为创新

有了大规模分布式并行数据仓库处理海量的结构化数据,企业还需要在同一平台上处理各类非结构化数据,并应用人工智能和高性能数据分析等,为企业业务创新打开新的空间。过去,企业采用不同的架构处理高性能计算与人工智能计算,而现在的技术进展而让企业可以统一融合处理不同类型的数据和计算。

高性能计算集群是为人工智能(包括机器学习和深度学习)和高性能数据分析等领域内的严苛工作负载提供大规模计算资源的理想平台——这些工作负载都有着相似的需求,即在与高性能网络结构关联的强大计算内核上高效运行以及高性能共享储存。随着企业和学术机构必须支持不断增长且日趋复杂的人工智能和数据分析工作负载,就催生了采用高性能计算基础设施运行这些工作负载的需求。

而若要将多种类型的工作负载聚集到单个集群基础设施,就会导致资源管理、网络使用和存储使用等领域面临多重挑战。从根本上来说,这些挑战源自于每种类型工作负载的资源管理器在设计之初并没有考虑彼此之间的互操作性。但例如在计算机视觉等需要深度学习网络基础设施的应用领域,其实并不需要全天运行这些工作负载,这意味着专用基础设施经常处于空闲状态,可能会给组织带来高昂的成本。与用高昂的专用硬件专用环境相比,采用基于英特尔架构的通用服务器构建而成的共享集群,要更加高效得多。

越来越多的企业和机构开始在融合集群上运行仿真和建模、人工智能与数据分析的工作负载。英特尔正在开发功能和解决方案架构,希望能够在不干扰生产应用和工作负载的同时,帮助简化工作流程。第二代英特尔至强可扩展处理器旨在实现跨工作负载的更可靠计算集群,包括:先进的高性能计算性能,在一项近期的测试中,与3年机龄的系统相比,基于第二代英特尔至强可扩展处理器的平台在高性能计算CPU基准测试中可使平均性能提高多达3.7倍,而与竞争处理器相比则在LINPACK CPU基准测试中可将性能提升高达5.8倍;改进的人工智能推理,测试显示,与竞争处理器相比,集成了英特尔深度学习加速的第二代英特尔至强可扩展处理器可使图像分类推理性能提升高达25倍;可通过英特尔傲腾数据中心级持久内存提升工作负载性能,借助该创新的内存技术可以将更大量的数据移到更接近处理器的位置,企业组织可快速地、大规模地处理数据密集型高性能计算和人工智能工作负载。

英特尔和软件生态系统成员的研发工作正帮助越来越多的组织将仿真和建模、人工智能和数据分析工作负载成功融合到单个基础设施上,以更低成本、更高效率、更易管理来实现智能助手、聊天机器人、增强诊断、药物开发、智慧城市、自动驾驶等人工智能与高性能计算场景。例如,英特尔与谷歌建立了长期联合研发合作,共同优化TensorFlow。

计算、内存、网络和存储性能增强后的融合,再加上软件生态系统的优化,使英特尔至强可扩展处理器成为全面虚拟化的软件定义数据中心的理想平台,无论是在内部部署、通过网络部署还是在公有云中部署,数据中心都能根据工作负载的需求,动态地自动配置资源。 由于无需构建和运行多个集群,融合可显著减少数据中心的资本支出。而搭载集成式英特尔QAT和英特尔PlatformTrust技术的英特尔密钥保护技术,可通过在空闲、使用中、忙碌三种状态下提供高效的密钥和数据保护,从硬件层面增强平台的安全性。

随着越来越多的数据密集型工作负载流经企业数据中心,英特尔全套硬件增强型功能可为企业和云环境提供更好的数据和平台级保护机制,而与软件合作伙伴合作的各类数据管理与分析解决方案,将可实现软硬一体融合数据管理与分析,为企业带来可信的“智能+”服务,推进“智能+”时代的全面到来。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20190821A091XT00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券