腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

CSDN技术头条

专栏作者

1128

文章

1396173

阅读量

132

订阅数

深入剖析 Netty 的核心组件

java socket编程存储

在 JDK 的 NIO 中，我们学习到了其原生的数据承载组件ByteBuffer。ByteBuffer的体验着实不太好，读写状态的区别，还有flip这种乍看下不直观的操作。

CSDN技术头条

2019-11-19

5660

如何快速掌握分布式微服务架构体系？

微服务容器存储运维

微服务架构的技术体系、社区目前已经越来越成熟。在最初系统架构的搭建，或者当现有架构已到达瓶颈需要进行架构演进时，很多架构师、运维工程师会考虑是否需要搭建微服务架构体系。

CSDN技术头条

2019-11-19

1K0

告诉你 38 个 MySQL 数据库的小技巧！

存储数据库 sql sql server 云数据库 SQL Server

培养兴趣兴趣是最好的老师，不论学习什么知识，兴趣都可以极大地提高学习效率。当然学习 MySQL 5.6 也不例外。

CSDN技术头条

2019-07-12

2.6K0

多集群真的不会管理！

传统单一集群式的服务模式将会越来越暴露出它的局限性，包括它的单主节点性能瓶颈，异构环境下的服务模式等等，而多集群协同服务将会是大规模集群服务的一个重要演变趋势。

CSDN技术头条

2018-10-08

6130

分布式锁的技术选型及思考

分布式存储

在计算机中，锁的作用是解决在并发状态下的共享资源互斥问题，保证在同一时间只有一个进程/线程可以掌握资源的控制权。

CSDN技术头条

2018-07-30

4370

解决程序慢，要学会预测表容积，不能一味地加索引

sql 数据库存储

索引是应用程序设计和开发的一个重要方面。如果索引过多，应用程序中的更新、删除等操作会变慢，性能会受到影响；如果索引过少，对查询性能又会产生影响。

CSDN技术头条

2018-07-30

1.1K0

Spark Block存储管理分析

spark 大数据存储

Apache Spark中，对Block的查询、存储管理，是通过唯一的Block ID来进行区分的。所以，了解Block ID的生成规则，能够帮助我们了解Block查询、存储过程中是如何定位Block以及如何处理互斥存储/读取同一个Block的。可以想到，同一个Spark Application，以及多个运行的Application之间，对应的Block都具有唯一的ID，通过代码可以看到，BlockID包括：RDDBlockId、ShuffleBlockId、ShuffleDataBlockId、Shuff

CSDN技术头条

2018-02-12

1.4K0

内存泄漏的检测、解决、防止

引言今天又是没什么事情，好，不多说，直接进入我们的主题吧。今天说的是关于内存泄漏的检测与解决。这个问题想必对于初学者是个迷，也不知道从何出入手，那么今天这个文章可以帮助你。如果有什么地方写的不好，请谅解，毕竟我还是个孩子！！！找出内存泄漏与解决请各位同学打开我们的开发工具（AS），来跟我一起写个内存泄漏的项目（嘻嘻）。不多说，上代码！！！ /** * Author lingchen * Email 838878458@qq.com * Time 2016/11/3

CSDN技术头条

2018-02-12

1.5K0

Uber是如何通过Mesos和Cassandra实现跨多个数据中心每秒100万的写入速度的？

nosql 容器存储对象存储

每隔三十秒就会有位置数据返回，包括来自于司机和乘客应用的各类数据，需要实时使用的实时数据非常之多，那么Uber是如何存储这些位置数据的呢？ Uber的解决方案非常全面：他们在Mesos顶层构建了自己的系统，运行Cassandra。Uber的软件工程师Abhishek Verma有一个演讲，题为《Uber跨多个数据中心运行在Mesos上的Cassandra》（阅读原文查看PPT），便对这个解决方案做了全面的解释。我们是否也该这么做呢？在聆听Abhishek的演讲时，这样的想法涌入脑海。如今，开发者有许多艰

CSDN技术头条

2018-02-12

1.7K0

数据密集型系统架构设计

按照使用的资源类型划分，我们可以把系统分为三大类型：IO密集型、计算密集型，数据密集型。系统的类型反映了系统的主要瓶颈。现实情况中，大部分系统在由小变大的过程中，最先出现瓶颈的是IO。IO问题体现在两个方面：高并发，存储介质的读写（例如数据库，磁盘等）。随着业务逻辑的复杂化，接下来出现瓶颈的是计算，也就是常说的CPU idle不足。出现计算瓶颈的时候，一般会使用水平扩展（加机器）和垂直扩张（服务拆分）两个方法。随着数据量（用户数量，客户数量）的增长，再接下来出现瓶颈的是内存。如今，内存的合理使用比以往更加

CSDN技术头条

2018-02-12

1.2K0

Dropbox存储架构：扩展至EB级别的实践

多年前，我们将 Dropbox 称为“魔力口袋”，因为它设计的初衷就是让用户将所有文件放在一个顺手的地方。一路发展下来，Dropbox 已经从一个简单的东西发展成为世界上最为强大、随处可用的协作平台。

CSDN技术头条

2018-02-12

1.4K0

购买FLASH存储之前需要问的16个问题

下面这些问题，可以帮助企业选择值得信赖的flash存储方案，不仅仅是比较好的falsh。花费现在，每GB的成本大约是1.5美金，已经不再昂贵了。 1.供应商在数据方面有成熟的技术吗？ 2.供应商的存储能力和系统密度如何？ 3.供应商如何帮助你迁移以前的数据？性能 Flash存储带来了全新的性能，同时需求也提高了。 4.供应商的兼容性、可扩展性如何？ 5.如果你需要删除冗余数据，供应商会提供这个功能吗？ 6.输入输出速度、带宽、延迟怎么样？ 7.供应商可以应付突发事故吗？ 8.供应商是否有值得信赖的针对

CSDN技术头条

2018-02-12

1.1K0

如何打造高性能大数据分析平台

大数据数据分析存储数据可视化

原文：Building High Performance Big Data Analytics Systems 译者：袁璞，圣特尔•E店宝大数据架构师，关注高性能或可用架构、大数据技术、机器学习。审核：朱正贵责编：仲浩大数据分析系统作为一个关键性的系统在各个公司迅速崛起。但是这种海量规模的数据带来了前所未有的性能挑战。同时，如果大数据分析系统无法在第一时间为运营决策提供关键数据，那么这样的大数据分析系统一文不值。本文将从技术无关的角度讨论一些提高性能的方法。下面我们将讨论一些能够应用在大数据分析系统不

CSDN技术头条

2018-02-11

1.7K0

Schemaless架构（二）：Uber基于MySQL的Trip数据库

云数据库 SQL Server 数据库存储系统架构

ber的Schemaless数据库是从2014年10月开始启用的，这是一个基于MySQL的数据库，本文就来探究一下它的架构。本文是系列文章的第二部分；第一部分是关于Schemaless的设计。在《Mezzanine项目——Uber的超级大迁移》一文中，我们描述了如何将Uber的核心trip数据从一个单独的Postgres实例迁移到Schemaless这个可扩展与高可用的数据库中。然后对Schemaless进行了简单介绍，包括其发展决策过程、整体数据模型，并介绍了Schemaless的trigger与索引等

CSDN技术头条

2018-02-11

1.9K0

对比Pig、Hive和SQL，浅看大数据工具之间的差异

hive sql 大数据 hadoop 存储

【编者按】在笔者看来，语言和工具之争从来都没有太大的意义，所谓存在既有道理，如何在场景下做出最合适的选择才至关重要。本文，DeZyre公司专家Manisha Nandy Mazumder对比了Pig、Hive和SQL的区别，并为读者浅谈了一些选择标准。以下为译文有人说对于大数据分析来说Hadoop才是炙手可热的新技术，SQL虽然久经考验但已经有些过时了。这话说得不错，但有非常多的项目都用Hadoop作为数据存储，而以SQL构建前端查询，这说明Hadoop确实需要一种高级的查询语言。为了简化Hadoop的

CSDN技术头条

2018-02-11

3.2K0

OpenStack高可用核心架构分析

openstack 存储云数据库 SQL Server

【编者按】本文从OpenStack架构入手，剖析了IaaS的云平台最核心的主要是这三部分：计算、网络、存储，作者指出OpenStack这样一个复杂系统，高可用更涉及到多个层面，只要有一个层面做不到高可用，那么整个OpenStack都没法高可用，随后他从基础服务Mysql和RabbitMQ，Nova、Neutron、Cinder接入与控制服务，网络服务三块探讨了OpenStack各层次的HA设计。以下为原文：一、OpenStack架构与HA分析 OpenStack实际上是由众多服务组合而成，它们之间的关联

CSDN技术头条

2018-02-11

1.7K0

Docker 1.9版本修复互联和存储的缺陷

容器镜像服务存储开源

Docker 1.9发布了，并且它修复了Docker用户长期以来的顽疾：互联（Networking）。 Multi-Host Docker Networking（新功能的官方名称）曾是Docker复杂难懂的互联模型的的极具竞争的解决方案之一。最终，第三方公司SocketPlane并入Docker，并将自身在OpenDaylight/Open vSwitch 互联的解决方案一起带入。这是一个非常明智的举动，这意味着现有开源互联工作中的有了问题的解决方案（即便是间接的）。多主机互联曾作为测试版本加以验证。

CSDN技术头条

2018-02-11

5570

Apache Ignite——新一代数据库缓存系统

apache 数据库缓存存储分布式

【编者按】飞速增长的数据需要大量存储，对这些数据的管理也不是一件容易的事。但相比于存储和管理，如何处理数据才是开发人员真正的挑战。对于TB级别数据的存储和处理通常会让开发人员陷入速度、可扩展性和开销的矛盾困境中。近日，Dmitriy Setrakyan在Dzone上撰文，为大家介绍了新一代数据库缓存系统Apache Ignite，由OneAPM工程师编译。以下为译文将数据存储在缓存中能够显著地提高应用的速度，因为缓存能够降低数据在应用和数据库中的传输频率。Apache Ignite允许用户将常用的热数据

CSDN技术头条

2018-02-09

2.8K0

N1QL为NoSQL数据库带来SQL般的查询体验

nosql 数据库 sql 存储

关系型数据库已经流行了超过40年，在这个过程中SQL也成为了操作关系型数据库的标准。SQL将数据的存储方式进行了包装和抽象，使开发人员可以专注于程序逻辑。对开发人员工作的简化也是SQL甚至关系型数据库流行的原因。社会在发展，数据在变化。从社交网络、科学研究、物联网等数据源产生的数据已经不局限于某个固定的结构，因此对于这些数据擅长结构化数据的关系型数据库就难以处理了。关系型数据库最好有固定的schema，这也使得满足现代商业要求的敏捷性和快速迭代变得困难。动态schema不仅仅要求我们重新思考数据模型和数

CSDN技术头条

2018-02-09

1.2K0

干货丨Tachyon：Spark生态系统中的分布式内存文件系统

spark 存储 cdn

Tachyon是Spark生态系统内快速崛起的一个新项目。本质上，Tachyon是个分布式的内存文件系统，它在减轻Spark内存压力的同时，也赋予了Spark内存快速大量数据读写的能力。Tachyon把内存存储的功能从Spark中分离出来，使Spark可以更专注计算的本身，以求通过更细的分工达到更高的执行效率。本文将先向读者介绍Tachyon在Spark生态系统中的使用，也将分享百度在大数据平台上利用Tachyon取得的性能改善的用例，以及在实际使用Tachyon过程中遇到的一些问题和解决方案。最后我们将介

CSDN技术头条

2018-02-09

1.4K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态