首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

腾讯云大数据技术介绍-云 HDFS

大数据虽然是一个比较宽泛的词,但对于我们来说其实可以简单理解为“海量数据的存储与处理”。之所以人们专门大数据这个课题,是因为海量数据的处理和较小量级数据的处理是不一样的,例如我们对一个mysql表中的数据进行查询,如果是100条数据,那对于mysql来说毫无压力,但如果是从十亿条数据里面定位到一条呢?情况就变得复杂了,换个角度想,十亿条数据是否适合存在mysql里也是尚待讨论的。实时上从功能角度的出发,我们完全可以使用以往的一些技术栈去处理这些问题,只不过高并发高可用高实时性这些都别想了。接下来要介绍的这些腾讯大数据组件就是在这一个问题背景下一个个诞生的。

012
您找到你想要的搜索结果了吗?
是的
没有找到

主流大数据存储解决方案评析

大数据存储不是一类单独的产品,它有很多实现方式。EMC Isilon存储事业部总经理杨兰江概括说,大数据存储应该具有以下一些特性:海量数据存储能力,可轻松管理PB级乃至数十PB的存储容量;具有全局命名空间,所有应用可以看到统一的文件系统视图;支持标准接口,应用无需修改可直接运行,并提供API接口进行面向对象的管理;读写性能优异,聚合带宽高达数GB乃至数十GB;易于管理维护,无需中断业务即可轻松实现动态扩展;基于开放架构,可以运行于任何开放架构的硬件之上;具有多级数据冗余,支持硬件与软件冗余保护,数据具有高可靠性;采用多级存储备份,可灵活支持SSD、SAS、SATA和磁带库的统一管理。 通过与中国用户的接触,杨兰江认为,当前中国用户最迫切需要了解的是大数据存储有哪些分类,而在大数据应用方面面临的最大障碍就是如何在众多平台中找到适合自己的解决方案。 EMC针对不同的应用需求可以提供不同的解决方案:对于能源、媒体、生命科学、医疗影像、GIS、视频监控、HPC应用、某些归档应用等,EMC会首推以Isilon存储为核心的大数据存储解决方案;对于虚拟化以及具有很多小文件的应用,EMC将首推以VNX、XtremIO为核心的大数据存储解决方案;对于大数据分析一类的应用需求,EMC会综合考虑客户的具体需求,推荐Pivotal、Isilon等一体化的解决方案。在此,具体介绍一下EMC用于大数据的横向扩展NAS解决方案——EMC Isilon,其设计目标是简化对大数据存储基础架构的管理,为大数据提供灵活的可扩展平台,进一步提高大数据存储的效率,降低成本。 EMC Isilon存储解决方案主要包括三部分:EMC Isilon平台节点和加速器,可从单个文件系统进行大数据存储,从而服务于 I/O 密集型应用程序、存储和近线归档;EMC Isilon基础架构软件是一个强大的工具,可帮助用户在大数据环境中保护数据、控制成本并优化存储资源和系统性能;EMC Isilon OneFS操作系统可在集群中跨节点智能地整合文件系统、卷管理器和数据保护功能。 杨兰江表示,企业用户选择EMC Isilon的理由可以归纳为以下几点。第一,简化管理,增强易用性。与传统NAS相比,无论未来存储容量、性能增加到何种程度,EMC Isilon的安装、管理和扩展都会保持其简单性。第二,强大的可扩展性。EMC Isilon可以满足非结构化数据的存储和分析需求,单个文件系统和卷中每个集群的容量为18TB~15PB。第三,更高的处理效率,更低的成本。EMC Isilon在单个共享存储池中的利用率超过80%,而EMC Isilon SmartPools软件可进一步优化资源,提供自动存储分层,保证存储的高性能、经济性。第四,灵活的互操作性。EMC Isilon支持众多行业标准,简化工作流。它还提供了API可以向客户和ISV提供OneFS控制接口,提供Isilon集群的自动化、协调和资源调配能力。 EMC Isilon大数据存储解决方案已经在医疗、制造、高校和科研机构中有了许多成功应用。

03

5112 万元、南网数研院存储计算组件和时序数据库单一来源:腾讯云

2021年11月22日,南方电网数字电网研究院有限公司发布《2021年南网数研院平台安全分公司数据中心升级完善二期(电能量平台融合改造、分节点云化等)项目存储计算组件和时序数据库采购公示公告》,采购方式单一来源。 项目概况:根据网公司云化数据中心主分节点建设安排,数据中心升级完善二期(电能量平台融合改造、分节点云化等)在原有数据中心升级完善一期项目及二期(数据湖、云化及服务组件层)建设的基础上,完善了数据中心数据处理及服务能力。本项目对数据中心存储计算组件进行扩容,新增913套存储计算组件,预算3652万元

01

COS数据湖存储引领大数据存储和自动驾驶存储发展趋势

数据是企业的核心资产,随着数据规模的快速增长,企业对存储功能和性能的要求也在不断增加。对云厂商和企业用户来说,如何在提升业务性能的同时降低成本是一巨大挑战。11月26日在QCon大会上,腾讯云数据湖存储研发负责人严俊明和技术专家程力受邀分享了数据湖存储的关键技术,并分享了数据湖存储在大数据及自动驾驶场景下的落地实践,助力用户业务降本增效。 下面,让我们一起回顾下两位老师的精彩演讲内容👇 数据湖是一种可拓展的技术架构,将数据存储、计算、分析、AI等能力集成整合为一款多元化的解决方案,从数据中挖掘价值;支持

04

腾讯云全面更新数据智能服务全景图

据介绍,腾讯云数据智能服务重点围绕数据科学家、应用开发者、业务管理者三大群体,以用户为本、以产业数字化转型和智能化升级为目标,致力于提供全面丰富、高性价比的各种数据智能工具,并和合作伙伴一起,为客户打造具备真正商业价值的整体解决方案。在数据基础能力层,腾讯云依托大数据平台、机器学习平台、数据仓库等,打造面向数据科学家的高效工具矩阵;在应用服务层,腾讯云通过应用平台和应用服务降低AI落地门槛,让应用开发者灵活便捷的接入AI能力;在行业解决方案层面,腾讯云和合作伙伴一起,实现零售、泛互联网、泛政府、企业和金融等众多领域的方案落地。

04

腾讯云原生数据湖存储服务能力再上新,三级加速体系助力企业用数赋智

2022 导语 随着数据价值被越来越多企业认可,数据湖存储已成为企业级存储的首选和新一代提升生产力的服务。12月1日,在2022腾讯数字生态大会存储专场,腾讯云升级了云原生数据湖产品能力,并详细阐释了其设计理念,对其在多个行业的应用进行了案例分享,为更多企业提供降低存储成本、提升存储性能的实践参考。 当下,数据的生产、存储和消费模式日新月异,随着数据的爆发式增长,在数据存储和处理方面的降本增效成为企业亟待解决的问题。 腾讯云存储高级产品经理林楠认为,“市场需要一个更大、更快、更全能、更低成本的存储服务。数据

01

回顾|“十年一剑·数擎未来”腾讯大数据技术分享会成功举办

2023年3月21日,腾讯大数据与机械工业出版社联合举办的“十年一剑·数擎未来”腾讯大数据技术分享会在北京举办,会上隆重发布《腾讯大数据构建之道》一书,本次会议由机械工业出版社九州云播平台直播,全网近30家媒体平台转播,累计观看超14万人次。 腾讯公司副总裁蒋杰和机械工业出版社副社长范兴国发来了视频致辞。腾讯云副总裁刘煜宏,中国信息研究通信院大数据与区块链部副主任(主持工作)姜春宇,中国开源推进联盟副秘书长谭中意,腾讯公司数据平台部数据中心总监罗韩梅,机械工业出版社华章分社计算机图书事业部经理杨福川出席了

03

轨迹云全新发布 !外业车辆、人员、设备轨迹高效管理

当今很多业务的开展,如公共交通、物流运输、配送、打车、共享单车、智能硬件、车载设备的管理追踪等,都需要对位置及轨迹的有效管理才能得以实现,并高效运行。 而要实现轨迹的管理应用,需要具备定位、大数据存储、空间检索、轨迹纠偏算法、道路数据体系,导航路线计算等多方面能力的才能实现,而这对于开发者而言却是很难达到的。 为降低企业对轨迹应用的门槛,腾讯位置服务推出轨迹云,它是腾讯位置服务在物流、出行、跑步运动等领域的轨迹应用实践中打磨形成的一套轨迹管理及应用平台,可帮助开发者快速实现业务需求。  轨迹云现提供了轨迹存

03

大数据史记2013:盘点中国2013行业数据量(上)

说人类步入了信息时代,有个事情是非常重要的,就是物理世界的信息化,包括信息基础设施建设和数字化,紧接着就是如何将数字化的东西(数据)进行储存、传输、交换以及使用,这一脉络伴随着移动互联网,云计算、大数据以及各种各样智能终端的出现,显得也越来越清晰。很多人都已认可,我们可能来到一个工业革命之后,一个比我们想象地更加重要的变革时代,我们把它命名为产业互联网的时代。毕竟这一切都是互联网出现之后才发生的,无论是云,通过网络随需调用的计算资源;大数据,关联的可分析在线数据;还是各种智能终端,都要依托互联网。

07
领券