学习
实践
活动
专区
工具
TVP
写文章
首页标签大数据存储

#大数据存储

在海量大数据分析中,实现计算与存储分离,对存储冷热分层

DSP+ZYNQ硬件说明手册【XQTyer】

Xines广州星嵌

链接:https://share.weiyun.com/7TufhN89 密码:2f4mvy

7810

HBase系统架构

用户9615083

HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库,底层基大数据存储与管理于Hadoop的HDFS来存储数据。 HBase的系统架构包括客户端、Zoo...

11930

ES海量数据的优化实践

左尔帆

腾讯科技(深圳)有限公司 · 数据工程 (已认证)

Elasticsearch(简称ES)是当前使用最多、规模最大的检索系统。ES是一个分布式,高实时的搜索引擎,覆盖许多实时检索场景和更低的响应时效,为所有类型的...

35440

ElasticSearch稳定性优化

HaveTryTwo

腾讯科技(深圳)有限公司 · 后台高级工程师 (已认证)

当前微信支付对整体质量要求非常高,体现在可用性方面是需要达到99.99%,同样账单平台也需要达到甚至超过该要求。但是在ES及系统环境未做优化的情况下,读写成功率...

23140

【腾讯云ES】ElasticSearch在微信支付金融领域实践

HaveTryTwo

腾讯科技(深圳)有限公司 · 后台高级工程师 (已认证)

用户通过微信支付完成交易,商户通过微信支付完成收款后,可能会出于不同目的来查看此前的交易记录,并且查询条件可能会有很大的差异;为了能够满足这里的功能需求,目前选...

37350

【腾讯云ES】Elasticsearch 分布式架构剖析及扩展性优化

黄华

腾讯 · 专家工程师 (已认证)

Elasticsearch 是一个实时的分布式搜索分析引擎,简称 ES。一个集群由多个节点组成,节点的角色可以根据用户的使用场景自由配置,集群可以以节点为单位自...

39750

【数据库07】后端开发必备的大数据知识指南

用户10127530

随着计算机的飞速发展,网站产生了大量数据,数据规模远超传统数据库系统能够处理的规模,我们把具有量大,存储速度要求高,数据多样性丰富的特征的数据统称为大数据。

8620

元数据性能大比拼:HDFS vs S3 vs JuiceFS

Juicedata

元数据是存储系统的核心大脑,元数据性能对整个大数据平台的性能和扩展能力至关重要。尤其在处理海量文件的时候。在平台任务创建、运行和结束提交阶段,会存在大量的元数据...

13220

【云计算】知识汇总

司六米希

1.虚拟化技术:虚拟机的安装、设置、调度分配、使用、 故障检测与失效恢复等 2.云计算构架技术:研究解决适合于云计算的系统软硬件构架 3.资源调度技术:解决...

14530

【随手记】数据类型

客怎眠qvq

Java基本数据类型共有八种。可以分为三类,字符类型char,布尔类型boolean以及数值类型byte、short、int、long、float、double...

8720

数字赋能电力巡检,智慧提升企业质效

时代经纬

巡检工作是电力企业安全生产中的一个重要环节,是保障电力线路设备安全运行的重要支撑。人员巡检不到位,将直接导致严重的经济损失。据中国电力科学院统计,每年因漏检、误...

17590

【技思广益 · 腾讯技术人原创集】双周优秀作品回顾vol.03

腾讯云荐官

腾讯科技(深圳)有限公司 · 产品运营 (已认证)

【技思广益 · 腾讯技术人原创集】是腾讯云开发者社区为腾讯技术人与广泛开发者打造的分享交流窗口。栏目邀约腾讯技术人分享原创的技术积淀,与广泛开发者互启迪共成长。

1.1K101

1.44 亿:采购大数据存储产品 180 PB(90 套)

云头条

云头条 · 负责人 (已认证)

2022年9月9日,中移动信息发布《2022年IT云资源池大数据存储工程大数据存储产品框架采购项目》招标公告。 本项目采购大数据存储产品180PB(90套)。 ...

8520

主流大数据存储解决方案评析

全栈程序员站长

大数据存储不是一类单独的产品,它有很多实现方式。EMC Isilon存储事业部总经理杨兰江概括说,大数据存储应该具有以下一些特性:海量数据存储能力,可轻松管理P...

27130

管理大数据存储的十大技巧「建议收藏」

全栈程序员站长

数据本地化是为了确保大数据集存储在计算节点附近便于分析。对于Hadoop,这意味着管理数据节点,向MapReduce提供存储以便充分执行分析。它实用有效但也出现...

21910

中国天眼携手浪潮存储:你站在宇宙的边缘,我依然收存了全部消息

IT创事记

世间最远的距离,不是我站在你面前,你不知道我爱你,而是你在137亿光年之外的宇宙边缘,我从未收到过你的消息。

13120

Ozone社区的领航者:腾讯Ozone EC的方案剖析

腾讯大数据

[导语] EC(Erasure Coding, 纠删码) 是现代分布式存储系统一个重要的能力。它可以保证在相同数据持久度的基础上大幅提高存储空间利用率,对降低存...

26220

大数据概述「建议收藏」

全栈程序员站长

现在的社会是一个科技与信息高速发展的社会,人们之间的交流越来越密切,生活也越来越方便,大数据技术不知不觉地渗入人们生活的方方面面。人不仅生产大数据,同是也在使用...

22420

物联网中的存储系统

存储小白

物联网 Internetofthings,通称IoT,简易地说,是一种与物有关的互联网。而物联网的关键技术基础是大数据技术,在互联网技术的前提上又持续拓展。物物...

25820

大数据管理与应用专业总结笔记

全栈程序员站长

数据科学教育特点:不仅依赖于传统的信息管理于信息系统专业,更依赖于计算机、数学、统计等学科。大数据专业十一门涉及广泛的交叉性的学科。

34620

扫码关注腾讯云开发者

领取腾讯云代金券