TiDB是 PingCAP公司自主设计、研发的开源分布式关系型数据库，是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP）的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用、实时 HTAP、云原生的分布式数据库、兼容 MySQL 5.7 协议和 MySQL 生态等重要特性。
TiDB 是一个分布式 NewSQL 数据库。它支持水平弹性扩展、ACID 事务、标准 SQL、MySQL 语法和 MySQL 协议，具有数据强一致的高可用特性，是一个不仅适合 OLTP 场景还适合 OLAP 场景的混合数据库。
网名 yumushui ，拥有多年一线传统行业和互联网数据库架构设计与运维经验。Oracle 11g OCM，对MySQL、Oracle、PostgreSQL、Greenplum、MongoDB等多种数据库有丰富的架构、维护实践与分享。
TiDB 是 PingCAP 公司设计的开源分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库，结合了传统的 RDBMS 和 NoSQL 的最佳特性。TiDB 兼容 MySQL，支持无限的水平扩展，具备强一致性和高可用性。TiDB 的目标是为 OLTP (Online Transactional Processing) 和 OLAP (Online Analytical Processing) 场景提供一站式的解决方案。
目前，在很多OLTP场景中，MySQL数据库都有着广泛的应用，也有很多不同的使用方式。从数据库的业务需求、架构设计、运营维护、再到扩容迁移，不同的MySQL架构有不同的特点，适应一定的业务场景，或者解决一定的业务问题。
DataBand（数据帮），快速采集清洗，数据分析，预测分析，人工智能赋能服务，是一站式的大数据平台。我们致力于通过提供智能应用程序、数据分析和咨询服务来提供最优解决方案
TiDB 主要应用在今日头条核心 OLTP 系统 - 对象存储系统中，存储其中一部分元数据，支持头条图片和视频相关业务，比如抖音等。
一.什么是HTAP HTAP数据库（Hybrid Transaction and Analytical Process，混合事务和分析处理）。2014年Gartner的一份报告中使用混合事务分析处理(HTAP)一词描述新型的应用程序框架，以打破OLTP和OLAP之间的隔阂，既可以应用于事务型数据库场景，亦可以应用于分析型数据库场景。实现实时业务决策。这种架构具有显而易见的优势：不但避免了繁琐且昂贵的ETL操作，而且可以更快地对最新数据进行分析。这种快速分析数据的能力将成为未来企业的核心竞争力之一。 如
Greenplum数据库是典型的主从架构，一个Greenplum集群通常由一个Master节点、一个Standby Master节点以及多个Segment实例组成，节点之间通过高速网络互连，如下图所示。Standby Master节点为Master节点提供高可用支持，Mirror Segment实例为Segment实例提供高可用支持。当Master节点出现故障时，数据库管理系统可以快速切换到Standby Master节点继续提供服务。
ClickHouse 是最近比较热门的用于在线分析处理的（OLAP）[^1]数据存储，与我们常见的 MySQL、PostgreSQL 等传统的关系型数据库相比，ClickHouse、Hive 和 HBase 等用于在线分析处理（OLAP）场景的数据存储往往都会使用列式存储。
数据库的七种武器，是我在工作维护和接触到的七种常用数据库，包括4种常用的关系型数据库，3种常用nosql数据库。
OLAP 是一个很卷的赛道，创业公司也众多。在本文中，笔者基于 10+ 年的大数据与数据仓库的工作经验，就目前的主流趋势：离在线一体化、引擎一体化、云原生化等写一些思考，抛砖引玉，希望能与各位共同探讨。
文章转载自公众号华泰证券数字科技。 原文链接：https://mp.weixin.qq.com/s/Hp-ZJLdvd3z2w9IJ_32NRw?scene=25#wechat_redirect 作者
如果主从复制之间出现延时，就会影响主从数据的一致性。 此时发生容灾切换，且在新的主库写入了数据，那么从业务角度上，会产生意想不到的严重后果。 复制延时问题，在只读从库的场景下，若从库产生复制延时，也可能会对业务造成一定影响，比如在业务上表现为读写不一致——新增/修改数据查不到等现象。 由此可见，主从复制的延时问题在数据库运营中需要特别关注。一般来说，DBA在库上执行SHOW SLAVE STATUS，并且观察 Seconds_Behind_Master的值，就能够了解当前某个数据库和它的主库之间的数据复制延时。
「 第一部分 概述 」 数据库中存在两种典型的业务访问场景，一种以在线事务处理为主，称为OLTP（On-Line Transaction Processing）；另一种以在线分析处理为主，称为OLAP（On-Line Analytical Processing）。下面具体介绍他们的区别。 1.1 OLTP OLTP业务的主要特点是有较多的增删改查操作，并且在大部分业务中，写相对于读的比例还很高。并发的事务数较多，而且事务的响应时间要求比较高。此外，每个增删改语句通常只操作少数几行数据；每个查询语句通常也只
在使用淘宝网进行购物过程中，当我们查询商品时，实际上是查询淘宝网数据库中的商品；当我们购买某一件商品时，我们是在向淘宝网的数据库的订单中，填写了一条购买信息；当我们去银行办理相关业务，查询账户余额时，是查询银行数据库中我们的个人账户信息；当我们取款时，我们是在修改银行数据库中账户信息的数据。所以，其实我们一直都在使用数据库，通过网络和设备，在与数据库进行交互。一方面数据库可以给应用提供插入、删除、修改、查询数据的功能，另一方面，数据库也能保证数据库再关机之后，数据不丢失，也就是数据的持久化。那么，数据库具体是如何实现的呢？
TiDB 是 PingCAP 公司自主设计、研发的开源分布式关系型数据库，是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP）的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用、实时 HTAP、云原生的分布式数据库、兼容 MySQL 5.7 协议和 MySQL 生态等重要特性。目标是为用户提供一站式 OLTP (Online Transactional Processing)、OLAP (Online Analytical Processing)、HTAP 解决方案。TiDB 适合高可用、强一致要求较高、数据规模较大等各种应用场景。
腾讯云上有许多种数据库产品，本文简单介绍每种产品的介绍，特性，应用场景等，帮助各位根据业务需要选择最适合的数据库。
MYSQL 目前被攻击最多的就是他的OLAP的性能, 在OLTP中MYSQL 本身的性能是OK的,尤其高并发中符合MYSQL数据库的表设计和提取的方式,则数据的获取的速度是非常快的.
西安锐益达风电技术有限公司成立于 2012 年 1 月 4 日，是一家专业化的工业测量仪器系统、机电产品和计算机软件研发、设计和制造公司，是北京威锐达测控系统有限公司在西安成立的全资子公司。依托大学的科研实力，矢志不渝地从事仪器仪表及测量系统的研究和应用开发，积累了丰富的专业知识和实践经验，具备自主开发高端仪器系统和工程实施的完整技术能力。
Flume 在有赞的大数据业务中一直扮演着一个稳定可靠的日志数据“搬运工”的角色。本文主要讲一下有赞大数据部门在 Flume 的应用实践，同时也穿插着我们对 Flume 的一些理解。
数据仓库（数仓）与大数据区别，数据仓库（数仓）与数据库的区别，大数据与传统数据库的区别等等，这篇文章带你了解。
12月2日，Oracle在其官网正式推出“MySQL Database Service with Analytics Engine”。作为MySQL产品的一个重大增强，这一特性颇引人注目。周末抽空做了个简单了解，各位从中可窥其一二。（部分资料、插图来自Oracle官方网站）。
TiFlash是TiDB生态组件之一，专门解决OLAP场景。借助ClickHouse实现高效的列式计算。
Doris是一个MPP的OLAP系统，主要整合了Google Mesa（数据模型），Apache Impala（MPP Query Engine)和Apache ORCFile (存储格式，编码和压缩) 的技术。
日前，我司 CTO 黄东旭接受了即将开幕的 WOT2018 全球软件与运维技术峰会记者的采访，介绍了 TiDB 作为 HTAP 数据库的技术思考及应用情况，以及 PingCAP 自创立以来对开源的一些心得，以下是报道原文。Enjoy～ 作者：查士加 创立 PingCAP 的理由异常简单 黄东旭提到，自己与朋友一同创业，理由很简单，源自一个需求。彼时，黄东旭与刘奇（现任 PingCAP CEO）同属豌豆荚的分布式存储团队，当时的他们开源了 Codis，解决了豌豆荚内部缓存的扩展性问题，数据库问题成了硬骨头。如
今年有个现象，实时数仓建设突然就被大家所关注。我个人在公众号也写过和转载过几篇关于实时数据仓库的文章和方案。
我们处在一个最好的时代，有ZY高层的政策支持，未来10年国产数据库将得到空前的发展。 DB领域有位大神说：分布式数据库一定是未来，HTAP 是最好的方向，云原生是最好的舞台，然而这些优点TiDB 全都有。
场景描述：今年有个现象，实时数仓的建设突然就被大家所关注。我个人在公众号也写过和转载过几篇关于实时数据仓库建设的文章和方案。
大家好呀！这里是爱学习的 Guide！今天给大家科普一个速度快到飞起的数据库——ClickHouse。
如果你是一名数据分析师，或者是一位经常和 SQL 打交道的研发工程师，那么 OLAP这个词对你一定不陌生。你或许听说过 OLAP、OLTP 技术，但是今天文章的主角OLAP 是由云技术平台提供的一款分布式数据分析服务，下面先简单介绍一下它。
本文整理自 Dinky 实时计算平台 Maintainer 亓文凯老师在 Apache Doris & Apache SeaTunnel 联合 meetup 的实践分享，通过 Doris + Flink + DolphinScheduler + Dinky 构建开源数据平台。
情况说明： 现在需要做一个数据存储，500w左右的数据，日后每天大约产生5w条左右的数据。想把这些数据存储起来，供日后的数据分析用？使用上面说的三种数据库中的哪中比较好？是否有必要建立集群？ 个人看法是：从长远角度看，由于单台机器的性能瓶颈，后期肯定要做集群，单纯的做复制最终也无法缓解单台master上读的负担。因此，使用mysql的话会使用cluser。但是了解到mysql的cluser要用好的化还要做负载均衡，而mysql的均衡器是第三方的，无法很好的与mysql整合。使用mongodb的自动分片集
☞ 03.OLAP引擎 [ Kylin Druid Presto Impala Kudu ADB ES .. ]
情况说明： 现在需要做一个数据存储，500w左右的数据，日后每天大约产生5w条左右的数据。想把这些数据存储起来，供日后的数据分析用？使用上面说的三种数据库中的哪中比较好？是否有必要建立集群？ 个人看法是：从长远角度看，由于单台机器的性能瓶颈，后期肯定要做集群，单纯的做复制最终也无法缓解单台master上读的负担。因此，使用mysql的话会使用cluser。但是了解到mysql的cluser要用好的化还要做负载均衡，而mysql的均衡器是第三方的，无法很好的与mysql整合。使用mongodb的自动分片集群能
数据应用，是真正体现数仓价值的部分，包括且又不局限于 数据可视化、BI、OLAP、即席查询，实时大屏，用户画像，推荐系统，数据分析，数据挖掘，人脸识别，风控反欺诈等等。
Flink和ClickHouse分别是实时计算和（近实时）OLAP领域的翘楚，也是近些年非常火爆的开源框架，很多大厂都在将两者结合使用来构建各种用途的实时平台，效果很好。关于两者的优点就不再赘述，本文来简单介绍笔者团队在点击流实时数仓方面的一点实践经验。
企业里随着数据量的增加，以及日趋复杂的分析性业务需求，主要适用于OLTP场景的MySQL压力越来越大。多年前还能免费试用的infobright社区版也早就销声匿迹，infinidb被MariaDB收入囊中之后改头换面变成ColumnStore，但最近几年发展的平平淡淡，都不是理想的OLAP方案。
在数字化时代，作为基础软件，数据库的自主可控对于企业的数据安全、业务稳定具有重要意义。只有实现“自主可控”才能从根本上保证信息安全，尤其是涉及重大安全的政府和金融领域，对数据安全的要求进一步加强。因此，在互联网安全上升至国家战略层面的背景下，如何在底层基础数据库层面实现自主可控成为云计算厂商不断追求的目标。
MySQL是⼀个单进程多线程、⽀持多⽤户、基于客户机/服务器（Client/Server， C/S）的关系数据库管理系统。与其他数据库管理系统（DBMS）相⽐，MySQL具有体积⼩、易于安装、运⾏速度快、功能⻬全、成本低廉以及开源等特点。⽬前，MySQL已经得到了⼴泛的使⽤，并成为了很多企业⾸选的关系数据库管理系统。 MySQL拥有很多优势，其中包括以下⼏点。 1. 性能⾼效：MySQL被设计为⼀个单进程多线程架构的数据库管理 系统，保证了 MySQL使⽤较少的系统资源（例如CPU、内存），且能 为数据库⽤户提供⾼效 的服务。 2. 跨平台⽀持：MySQL可运⾏在当前⼏乎所有的操作系统上，例如Linux、 Unix、Windows以及Mac等操作系统。这意味着在某个操作系统上实现的 MySQL数据库可以轻松地部署到其他操作系统上。 3. 简单易⽤：MySQL的结构体系简单易⽤、易于部署，且易于定制，其独特的插 件式（pluggable）存储引擎结构为企业客户提供了⼴泛的灵活性，赋予了数据 库管理系统以卓越的紧致性和稳定性。 4. 开源：MySQL是世界上最受欢迎的开源数据库，源代码随时可访问，开发⼈员 可以根据⾃身需要量身定制MySQL。MySQL开源的特点吸引了很多⾼素质和有 经验的开发团队完善MySQL数据库管理系统。 5. ⽀持多⽤户：MySQL是⼀个⽀持多⽤户的数据库管理系统，确保多⽤户下数据 库资源的安全访问控制。MySQL的安全管理实现了合法账户可以访问合法的数 据库资源，并拒绝⾮法⽤户访问⾮法数据库资 源。
MySQL 对于很多 Linux 从业者而言，是一个非常棘手的问题，多数情况都是因为对数据库出现问题的情况和处理思路不清晰。在进行 MySQL 的优化之前必须要了解的就是 MySQL 的查询过程，很多的查询优化工作实际上就是遵循一些原则让MySQL 的优化器能够按照预想的合理方式运行而已。
MySQL调优对于很多程序员而言，都是一个非常棘手的问题，多数情况都是因为对数据库出现问题的情况和处理思路不清晰。在进行MySQL的优化之前必须要了解的就是MySQL的查询过程，很多的查询优化工作实际上就是遵循一些原则让MySQL的优化器能够按照预想的合理方式运行而已。
MySQL对于很多Linux从业者而言，是一个非常棘手的问题，多数情况都是因为对数据库出现问题的情况和处理思路不清晰。在进行MySQL的优化之前必须要了解的就是MySQL的查询过程，很多的查询优化工作实际上就是遵循一些原则让MySQL的优化器能够按照预想的合理方式运行而已。
导读：近七年在网易杭研一直从事数据库相关的开发工作，主要是MySQL和MongoDB这两种数据库，去年开始涉及图数据库Neo4J。上述几种，都可认为是OLTP类数据处理，由于工作需要，需要调研学习OLAP技术和相关系统，本文开始逐步进行第一轮总结，很多东西还只是片面理解，权当做个笔记。
是传统的关系型数据库(Oracle、Mysql...)的主要应用，主要是基本的、日常的事务处理，数据量小(千万级)，准确性及一致性要求高，例如银行交易，商城订单交易。
看做什么，如果不需要对数据进行实时处理，那么大部分情况下都需要把数据从hbase/mysql（数据库）“导入”到hive（数据仓库）中进行分析。“导入”的过程中会做一些元数据转换等操作。 相关知识如下 数据仓库的几个概念 http://www.ppvke.com/Blog/archives/27862 什么是OLTP？ 联 机事务处理系统(OLTP)，也称为面向交易的处理系统，其基本特征是顾客的原始数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果。也 称为实时系统(Real time S
Flink 和 ClickHouse 分别是实时计算和 OLAP 领域的翘楚，也是近些年非常火爆的开源框架，很多大厂都在将两者结合使用来构建各种用途的实时平台，效果很好。关于两者的优点就不再赘述，本文来简单介绍笔者团队在点击流实时数仓方面的一点实践经验。
尝试用最简单的方式解释一下OLAP和OLTP的区别。毕竟对于一个走业务线的数据分析师而言，一些技术问题也没有必要过分深究。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
