腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Albert陈凯

专栏作者

530

文章

783784

阅读量

55

订阅数

2018-11-23 当我们输入一条 SQL 查询语句时，发生了什么？

sql 云数据库 SQL Server 数据库存储缓存

我们经常说，看一个事儿千万不要直接陷入细节里，你应该先鸟瞰其全貌，这样能够帮助你从高维度理解问题。同样，对于 MySQL 的学习也是这样。平时我们使用数据库，看到的通常都是一个整体。比如，你有个最简单的表，表里只有一个 ID 字段，在执行下面这个查询语句时：

2018-12-17

7520

2018-11-23 graph图数据库概览,经过一个星期的Demo终于看懂了这篇文章20180818图数据库概览

Knowledge Base of Relational and NoSQL Database Management Systemsdb-engines.com

2018-12-17

3.5K0

2018-11-23 数据引擎排名，2018年11月数据库趋势图

数据库 http 存储 ide

实时数据 https://db-engines.com/en/ranking_trend

2018-12-17

8340

2018-10-31 代码中的敏感信息加密方案

http git 数据库编程算法存储

https://juejin.im/post/5bd79dc4f265da0acb13df0d

2018-12-05

1.2K0

2018-09-25 JAVA解析Excel工具easyexcel

java apache api 存储 http

JAVA解析Excel工具easyexcel Java解析、生成Excel比较有名的框架有Apache poi、jxl。但他们都存在一个严重的问题就是非常的耗内存，poi有一套SAX模式的API可以一定程度的解决一些内存溢出的问题，但POI还是有一些缺陷，比如07版Excel解压缩以及解压后存储都是在内存中完成的，内存消耗依然很大。easyexcel重写了poi对07版Excel的解析，能够原本一个3M的excel用POI sax依然需要100M左右内存降低到KB级别，并且再大的excel不会出现内存溢出，03版依赖POI的sax模式。在上层做了模型转换的封装，让使用者更加简单方便

2018-09-30

1K0

2018-09-12 构建大型支付系统时学到的分布式体系结构概念构建大型支付系统时学到的分布式体系结构概念

分布式 android 存储数据库 mongodb

两年前我作为一名拥有后台开发经验的移动端软件工程师入职 Uber，并负责 APP 端支付功能的开发以及重构。后来我进入了工程师管理团队，并独立带领一个团队。由于我的团队负责很多后端支付相关的系统，因此我有更多的机会接触整个支付系统的后端知识。

2018-09-20

5320

2018-08-16 不知道是不是最通俗易懂的《数据一致性》剖析了一、为什么需要分布式系统？二、分布式系统的副作用三、产生数据不一致的原因四、详解一致性五、结语

分布式 https 存储

https://juejin.im/user/5978b281f265da3e292a3d1c/activities

2018-08-20

4160

2018-07-20 ELK资料汇总

es 2 存储开源

ELK是Elasticsearch，Logstash，Kibana的缩写，是我们在处理日志时最常用到的方案。其中Logstash负责日志采集， Elasticsearch负责日志存储，Kibana负责日志展示。三款开源项目分工合作，提供了完整的解决方案。此外也有使用Fluentd替换Logstash组成的EFK方案，同样也非常受欢迎。

2018-07-24

4400

2018-05-03 Java高级面试题及答案各自的子类比较对比一：

java 数据结构存储

List和Set比较，各自的子类比较对比一： Arraylist与LinkedList的比较 1、ArrayList是实现了基于动态数组的数据结构,因为地址连续，一旦数据存储好了，查询操作效率会比较高（在内存里是连着放的）。 2、因为地址连续， ArrayList要移动数据,所以插入和删除操作效率比较低。 3、LinkedList基于链表的数据结构,地址是任意的，所以在开辟内存空间的时候不需要等一个连续的地址，对于新增和删除操作add和remove，LinedList比较占优势。 4、因为Linke

2018-07-04

7030

Hadoop数据分析平台实战——260用户数据ETL离线数据分析平台实战——260用户数据ETL

hadoop 数据分析 hbase 存储

离线数据分析平台实战——260用户数据ETL ETL目标解析我们收集的日志数据，将解析后的数据保存到hbase中。这里选择hbase来存储数据的主要原因就是： hbase的宽表结构设计适合我们的这样多种数据格式的数据存储（不同event有不同的存储格式）。在etl过程中，我们需要将我们收集得到的数据进行处理，包括ip地址解析、userAgent解析、服务器时间解析等。 ETL存储 etl的结果存储到hbase中，由于考虑到不同事件有不同的数据格式，所以我们将最终etl的结果保存到hbas

2018-04-08

9610

Hadoop数据分析平台实战——060深入理解MapReduce 01（案例）离线数据分析平台实战——060深入理解MapReduce 01（案例）

hadoop 数据分析 mapreduce 存储

离线数据分析平台实战——060深入理解MapReduce 01（案例）用户自定义数据类型 MapReduce中的数据类型至少有两种用途。第一个用途，这些类型定义的数据可以被序列化进行网络传输和文件存储，第二个用途，在shuffle阶段要可以进行大小比较。那么在hadoop中解决第一种方式采用hadoop的接口Writable，第二种采用接口java接口Comparable(Hadoop将这两个接口结合提供了WritableComparable接口)。 Hadoop提供了很多的内置数据类

2018-04-08

8520

Hadoop数据分析平台实战——010hadoop介绍安装

hadoop 数据分析推荐系统存储

本课程目标本课程有以下几个目标：第一：对hadoop没有了解的学员来说，可以帮助其了解在一般工作中hadoop的基本用法，以及对如何用hadoop有一定的了解。第二：对hadoop有了解的学员来说，其一可以帮助学员加深对hadoop的了解，其二可以让学员对hadoop的实际应用场景有一个比较深入的了解。 Hadoop的主要应用场景这里说的hadoop指的是以hadoop为中心的hadoop生态圈。场景1：数据分析平台场景2：推荐系统场景3：业务系统的底层存储系统场景4：业务监控系统

2018-04-08

7740

Spark对比Hadoop MapReduce 的优势

spark hadoop mapreduce 存储

与Hadoop MapReduce相比，Spark的优势如下： ❑ 中间结果：基于MapReduce的计算引擎通常将中间结果输出到磁盘上，以达到存储和容错的目的。由于任务管道承接的缘故，一切查询操作都会产生很多串联的Stage，这些Stage输出的中间结果存储于HDFS。而Spark将执行操作抽象为通用的有向无环图（DAG），可以将多个Stage的任务串联或者并行执行，而无须将Stage中间结果输出到HDFS中。 ❑ 执行策略：MapReduce在数据Shuffle之前，需要花费大量时间来排序，而Spar

2018-04-04

9490

1.1.3 Spark架构与单机分布式系统架构对比

spark 分布式系统架构存储

传统的单机系统，虽然可以多核共享内存、磁盘等资源，但是当计算与存储能力无法满足大规模数据处理的需要时，面对自身CPU与存储无法扩展的先天限制，单机系统就力不从心了。 1．分布式系统的架构所谓的分布式系统，即为在网络互连的多个计算单元执行任务的软硬件系统，一般包括分布式操作系统、分布式数据库系统、分布式应用程序等。本书介绍的Spark分布式计算框架，可以看作分布式软件系统的组成部分，基于Spark，开发者可以编写分布式计算程序。直观来看，大规模分布式系统由许多计算单元构成，每个计算单元之间松耦合。同时，每

2018-04-04

8580

OLAP（On-Line Analysis Processing）在线分析处理引擎

数据库 sql 存储编程算法

OLAP（On-Line Analysis Processing）在线分析处理是一种共享多维信息的快速分析技术；OLAP利用多维数据库技术使用户从不同角度观察数据；OLAP用于支持复杂的分析操作，侧重于对管理人员的决策支持，可以满足分析人员快速、灵活地进行大数据复量的复杂查询的要求，并且以一种直观、易懂的形式呈现查询结果，辅助决策。上面是OLAP的一些不同的解释，本文将从以下几个方面介绍OLAP。开源OLAP引擎：Mondrian快速入门 OLAP的基本概念 OLAP的特点 OLAP的操作

2018-04-04

2.2K0

CPU与GPU区别大揭秘

有网友在网上提问：“为什么现在更多需要用的是 GPU 而不是 CPU，比如挖矿甚至破解密码？ ”以下是比较准确靠谱的回答：　　1、现在更多被需要的依然是CPU，只是GPU在大规模并发计算中体现出其一技之长所以应用范围逐渐变得广泛，并成为近些年的热点话题之一。　　为什么二者会有如此的不同呢？首先要从CPU和GPU的区别说起。　　CPU和GPU之所以大不相同，是由于其设计目标的不同，它们分别针对了两种不同的应用场景。CPU需要很强的通用性来处理各种不同的数据类型，同时又要逻辑判断又会引入大量的分支跳

2018-04-04

1.7K0

RocketMQ与Kafka对比（18项差异）

https github 云数据库 SQL Server 存储

转自：https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka 淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用MySQL作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Linkin开源了Kafka这个优秀的消息中间件，淘宝中间件团队在对Kafka做过充分Review之后，Kafka无限消息堆积，高效的持久化速度吸引了我们，但是同时发现这个消息系统主要定位于日志传输，对于使用在淘宝交易、订

2018-04-04

1.8K0

大数据项目如何落地之路线图探讨

大数据存储自动化

文 | 田军　　今天，继续来谈一谈“大数据项目如何落地?”这个话题。从事过多个大数据项目的规划方案及项目落地工作，在这里与大家分享一些心得，主要是关于大数据项目如何成功落地并取得预期目标，也可以说

2018-04-04

1.2K0

Flume日志采集系统与Logstash对比

存储 Elasticsearch Service 大数据

Flume日志采集系统——初体验（Logstash对比版）本文就从如下的几个方面讲述下我的使用心得：初体验——与Logstash的对比安装部署启动教程参数与实例分析 Flume初体验

2018-04-04

2.2K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态