腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据和云计算技术

专栏作者

298

文章

438862

阅读量

101

订阅数

Windows Azure Storage 论文阅读

最近读微软一篇比较早的论文，Windows Azure Storage：A Highly Available Cloud Storage Service with Strong Consistency（一个带强一致性能力的高可用云存储服务。） windows azure storag 后面简称 WAS。WAS 支持多模存储，包括 Blobs（用户文件）、Tables（结构化数据）、Queues(消息传输）。一、下面是 WAS 的架构，主要分三层：从下到上分别讲： 1、Stream Layer：这一

大数据和云计算技术

2022-03-03

8500

ZBS：SmartX 分布式块存储 -- 元数据篇

zookeeper 分布式存储运维 html

以下文章转载于SmartX知乎博客，不同与国内的很多公司，SmartX完全自主开发了分布式块存储－ZBS，整个系统从架构到实现充分考虑了超融合系统的特点，以下内容进行了充分阐述。

大数据和云计算技术

2019-09-24

1.6K0

分布式数据库助力民生、广发银行前台智慧化业务

分布式文件存储存储数据库 sql

随着银行业务的拓展以及网点业务的需求量加大，在新一轮技术浪潮驱动下，各大商业银行也在纷纷推进智能网点的建设。其中，商业银行的柜面无纸化就是最先推进的业务之一。

大数据和云计算技术

2019-03-07

1K0

大数据和云计算技术周报（第76期)

大数据存储 mongodb spark

大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。

大数据和云计算技术

2018-12-12

6520

HBase框架基础（二）

hbase zookeeper 存储

HBase的基础框架，将分成几个章节对HBase进行描述，不当之处还望大家批评指正。下面是了解HBase基础架构的第二部分。

大数据和云计算技术

2018-08-01

4930

算法基础9：散列表

编程算法二叉树 java 存储 hashmap

算法是基础，小蓝同学准备些总结一系列算法分享给大家，这是第9篇《散列表》，非常赞！希望对大家有帮助，大家会喜欢！

大数据和云计算技术

2018-07-26

6160

HBase设计之rowkey设计

hbase 存储 nosql 数据库

HBase应用场景非常广泛；社区前面有一系列文章。大家可以到社区看看看；张少华同学本篇主要讲HBASE最重要的一个基础知识，rowkey的涉及，非常赞！大力推荐！社区系列文章：新数仓系列：HBase关键能力和特性梳理 HBase 和 Cassandra的浅谈新数仓系列：Hbase周边生态梳理（1） HBase由于其存储和读写高性能，在实时查询中越来越发挥重要的作用，但是由于其属于NOSQL数据库类型，对于关系型数据并不适用。HBase查询只能通过其rowkey来查询（我们可以认为是HBa

大数据和云计算技术

2018-03-30

2.3K0

政务大数据系列7：政务大数据的部署结构

大数据安全存储

政务是个大市场，阿里、腾讯、电信、华为都在赔本赚吆喝。本文作者宇同学是资深从业人士，研发总监，他会写一系列文章来阐述政务云全景。前面六篇分别深入阐述：政务大数据点本质：《浅谈政务大数据的本质》政务大数据的全景图：《政务大数据的全景图》政务大数据的上下文范围：《政务大数据的上下文范围》政务大数据的概念模型：《政务大数据的概念模型》政务大数据的逻辑模型：《政务大数据的逻辑模型》政务大数据的物理模型：《政务大数据的物理模型》反响非常好，本篇接上一篇讲政务大数据的部署结构

大数据和云计算技术

2018-03-30

1.6K0

技术专栏丨2018 存储技术热点与趋势总结

类型：技术专栏作者介绍张凯（Kyle Zhang），SmartX 联合创始人 & CTO。毕业于清华大学计算机系，研究方向为分布式系统和体系结构。2013 年与徐文豪、王弘毅联合创立 SmartX，主导自主研发了 SmartX 分布式文件系统 SmartX ZBS。SmartX 拥有国内最顶尖的分布式存储和超融合架构研发团队，是国内超融合领域的技术领导者。本文转载自知乎专栏 @SmartX 技术博客，点击底部“阅读原文”进入博客浏览更多文章。过去半年阅读了 30 多篇论文，坚持每 1~2 周写一篇

大数据和云计算技术

2018-03-30

1.4K0

Flume日志收集系统架构详解

系统架构存储

任何一个生产系统在运行过程中都会产生大量的日志，日志往往隐藏了很多有价值的信息。在没有分析方法之前，这些日志存储一段时间后就会被清理。随着技术的发展和分析能力的提高，日志的价值被重新重视起来。在分析这些日志之前，需要将分散在各个生产系统中的日志收集起来。本节介绍广泛应用的Flume日志收集系统。一、概述 Flume是Cloudera公司的一款高性能、高可用的分布式日志收集系统，现在已经是Apache的顶级项目。同Flume相似的日志收集系统还有Facebook Scribe、Apache Chuwka。

大数据和云计算技术

2018-03-08

1.9K0

超融合方案分析系列（8）SmartX超融合方案分析

虚拟化分布式云服务器存储

引言作者是国内研究超融合相当早的专家，有非常强的理论基础和实战经验。上几篇分析文章，对nutanix/VSAN/深信服/H3C/EMC等厂家的深入分析，引起了业界很大的反响。专家不辞辛苦，坚持高质量输出，被专家的专业和敬业精神感动。为专家点赞！ “以梦为马，不负韶华”，送给在技术道路上坚持的同学。也希望喜欢的同学多多转发和点赞！以下是超融合分析系列前面几篇，已经阅读过的同学可以跳过。超融合概述超融合产品分析系列（1）：nutanix方案超融合方案分析系列（2）：VSAN的超融合方案分析超融

大数据和云计算技术

2018-03-08

3.5K0

超融合方案分析系列（7）思科超融合方案分析

spring 虚拟化存储

引言作者是国内研究超融合相当早的专家，有非常强的理论基础和实战经验。上几篇分析文章，对nutanix/VSAN/深信服/H3C/EMC等厂家的深入分析，引起了业界很大的反响。好饭不怕晚，专家最近工作特别多，为了不辜负各位喜欢这个系列的同学，辛苦工作到凌晨，再次推出本系列的第八篇，分析思科的上篇。希望喜欢的同学多多转发和点赞！以下是超融合分析系列前面几篇，已经阅读过的同学可以跳过。超融合概述超融合产品分析系列（1）：nutanix方案超融合方案分析系列（2）：VSAN的超融合方案分析超融合方案

大数据和云计算技术

2018-03-08

2.5K0

超融合方案分析系列（6）联想超融合方案分析

存储云服务器

前言作者是国内研究超融合相当早的专家，有非常强的理论基础和实战经验。上几篇分析文章，对nutanix/VSAN/深信服/H3C/EMC等厂家的深入分析，引起了业界很大的反响。专家这篇联想的超融合分析，观点非常鲜明，欢迎业界及联想的同事来一起讨论，观点越辩越明，技术越辩越深。以下是超融合分析系列前面几篇，已经阅读过的同学可以跳过。超融合概述超融合产品分析系列（1）：nutanix方案超融合方案分析系列（2）：VSAN的超融合方案分析超融合方案分析系列（3）深信服超融合方案分析超融合方案分析系

大数据和云计算技术

2018-03-08

2.7K0

超融合方案分析系列（5）EMC vxrail超融合方案分析

存储分布式

前言作者是国内研究超融合相当早的专家，有非常强的理论基础和实战经验。上几篇分析文章，对nutanix/VSAN/深信服/H3C等厂家的深入分析，引起了业界很大的反响。超融合专家再出雄文！以下是超融合分析系列前面几篇，已经阅读过的同学可以跳过。超融合概述超融合产品分析系列（1）：nutanix方案超融合方案分析系列（2）：VSAN的超融合方案分析超融合方案分析系列（3）深信服超融合方案分析超融合方案分析系列（4）H3C超融合方案分析下面是本系列的第6篇，对DELL的深入分析。接上一篇上

大数据和云计算技术

2018-03-08

2.5K0

超融合方案分析系列（3）深信服超融合方案分析

前言作者是国内研究超融合相当早的专家，有非常强的理论基础和实战经验，以下是超融合分析系列前面几篇，已经阅读过的同学可以跳过。超融合分析系列：超融合概述超融合产品分析系列（1）：nutanix方案超融合方案分析系列（2）：VSAN的超融合方案分析非常深入的超融合分析系列，希望大家会喜欢，另外文章最后附有作者的微信，有兴趣的同学可以加作者做更深入的交流。下面是本系列第4篇正文：整体方案深信服的超融合一体机以及超融合方案目前在各个地方都推的比较猛，从官网看，他们的客户也有不少了。今天我们一起

大数据和云计算技术

2018-03-08

5.6K0

超融合方案分析系列（2）：VSAN的超融合方案分析

存储 node.js 虚拟化

超融合分析系列：超融合概述超融合产品分析系列（1）：nutanix方案 VSAN今年已经是6.6版本了。熟悉VSAN的朋友肯定知道VSAN历史，VSAN在这么短的时间发展这么迅猛，除了强大的投入外，最重要是有一个好的平台（老爹）VMware虚拟化，我们这边也简单回顾一下： VSAN是VMware SDS战略的核心组件，2013年发布试用板。接下来商用版本的时间表如下：版本平台版本发布时间关键特性VSAN1.0vSphere5.52014年3月最大集群支持32个节点支持2-4个副本 SSD做ca

大数据和云计算技术

2018-03-08

2.9K0

索引技术简介

数据库大数据存储

2．索引技术索引是关系型数据库里的重要概念。总的来说，索引就是拿空间换时间。数据库技术和大数据技术会有一个融合的过程，除了前面讲到的B数索引、Hash索引等，还有倒排索引、MinMax索引、BitSet索引、MDK索引等。大数据的核心是“大”，大数据索引和传统索引最主要的不同考虑点也是数据量的级别增大后索引本身也会变得很大。传统的B树索引是一个全局索引，数据量增大后，可能一台物理机的内存根本无法装下索引本身，每次插入之后，索引更新的代价会大到无法接受。索引本身的分布式需要充分考虑。另外一个变化就是很多

大数据和云计算技术

2018-03-08

2.1K0

对象存储入门

存储数据结构数据库

10.5.3 对象接口对象存储系统（Object-BasedStorage System）是综合了NAS和SAN的优点，同时具有SAN的高速直接访问和NAS的数据共享等优势，提供了高可用性、跨平台性及安全性的数据共享的存储体系结构。 Object是对象存储的基本单元。每个Object都是数据和数据属性集的综合体。数据属性可以根据应用的需求进行设置，包括数据分布、服务质量等。在传统的存储中，块设备要记录每个存储数据块在设备上的位置。Object维护自己的属性，从而简化了存储系统的管理任务，增加了灵活性。O

大数据和云计算技术

2018-03-08

6.9K0

元数据的作用

hive 存储数据库

刘耀铭同学元数据系列作品的第二篇，大家支持！其他相关文章：元数据概念基于元数据驱动的ETL Hive 元数据表结构详解上一遍我们了解了什么是元数据，即元数据的定义，我们知道了元数据是对数据的描述以及解释，它用来说明数据内容质量状况和其他特征的背景信息。那么元数据具体有什么作用呢？ 1、元数据是进行数据集成所必须的。怎么理解？我们知道一个数据仓库是由外部数据、业务数据以及文档资料通过某些抽取工具而得到的，数据集市就是数据仓库经过元数据的定义，约定它的结构等信息所产生。元数据做到了对数据仓库有效的数据

大数据和云计算技术

2018-03-08

2.2K0

非易失性存储一览

RAM：随机存取存储器（random access memory，RAM）又称作“随机存储器”，是与CPU直接交换数据的内部存储器，也叫主存(内存)。它可以随时读写，而且速度很快，通常作为操作系统或其他正在运行中的程序的临时数据存储媒介。内存速度非常快，但是同时也有一个特性就是易失性，当电源关闭时RAM不能保留数据。如果需要保存数据，就必须把它们写入一个长期的存储设备中（例如硬盘）。硬盘虽然非易失性，但是速度非常慢。所以硬盘和内存之间就有非常多的非易失性存储，一直在发展。今天简单梳理下常见的： SSD

大数据和云计算技术

2018-03-08

1.9K0

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态