我们在《Apache Cassandra 简介》文章中介绍了 Cassandra 的数据模型类似于 Google 的 Bigtable，对应的开源实现为 Apache HBase。按照这个思路，Apache Cassandra 的数据模型应该和 Apache HBase 的数据模型很类似，那么这两者的数据存储模型是不是一样的呢？本文将为大家解答这些问题。我们从 KeySpace -> Table -> Partition -> Row -> Cell 顺序介绍。本文基于 Apache Cassandra 3.11.4 源码进行介绍的，不同版本可能有些不一样。
实现最终收敛的一种方案，每个副本总存储最新值，允许覆盖并抛弃旧值。假定每个写请求都最终同步到所有副本，只要确定哪个写入是最新，则副本就能最终收敛到相同值。
当您事先知道数据的格式并且可以基于过往的经验做决策时，使用Apache Cassandra处理大规模的该类型的数据是非常容易的。
列式数据库是以列相关存储架构进行数据存储的数据库，主要适合于批量数据处理和即时查询。相对应的是行式数据库，数据以行相关的存储体系架构进行空间分配，主要适合于大批量的数据处理，常用于联机事务型数据处理。
Grafana Loki 是一套可以组合成一个功能齐全的日志堆栈组件，与其他日志记录系统不同，Loki 是基于仅索引有关日志元数据的想法而构建的：标签（就像 Prometheus 标签一样）。日志数据本身被压缩然后并存储在对象存储（例如 S3 或 GCS）的块中，甚至存储在本地文件系统上，轻量级的索引和高度压缩的块简化了操作，并显着降低了 Loki 的成本，Loki 更适合中小团队。
1. 概述 Log-Structured Merge-trees (LSM树)被广泛应用在现代NoSQL系统存储层中，比如：BigTable、Dynamo、HBase、Cassandra、LevelDB、RocksDB和AsterixDB等等。不同于传统的索引结构（比如B+树）更新时直接在所在位置进行修改，LSM树则先将数据直接写入到内存，然后通过合并线程将内存数据刷新到磁盘。这种设计有很多好处，包括：超高的写性能、不错的空间利用率、可优化性、简单的并发控制和恢复机制等。 2. LSM树的
来源：https://blog.twitter.com/engineering/en_us/a/2010/announcing-snowflake[2]
为了提高 Hbase 的写入性能，当写请求写入 MemStore 后，不会立即刷盘。而是会等到一 定的时候进行刷盘的操作。具体是哪些场景会触发刷盘的操作呢？总结成如下的几个场景：
Yugabyte DB 是一个全球部署的分布式数据库，和国内的 TiDB 和国外的 CockroachDB 类似，也是受到 Spanner 论文启发，所以在很多地方这几个数据库存在不少相似之处。
点击上方“芋道源码”，选择“设为星标” 管她前浪，还是后浪？ 能浪的浪，才是好浪！ 每天 10:33 更新文章，每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路，很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 TCC-Transaction
2017年时序数据库忽然火了起来。开年2月Facebook开源了beringei时序数据库；到了4月基于PostgreSQL打造的时序数据库TimeScaleDB也开源了，而早在2016年7月，百度云在其天工物联网平台上发布了国内首个多租户的分布式时序数据库产品TSDB，成为支持其发展制造，交通，能源，智慧城市等产业领域的核心产品，同时也成为百度战略发展产业物联网的标志性事件。时序数据库作为物联网方向一个非常重要的服务，业界的频频发声，正说明各家企业已经迫不及待的拥抱物联网时代的到来。 本文会从时序数据
某条数据投递到某个流处理系统后，该系统对这条数据只处理一次，提供Exactly-Once的保障是一种理想的情况。如果系统不出任何故障，那简直堪称完美。然而现实世界中，系统经常受到各类意外因素的影响而发生故障，比如流量激增、网络抖动、云服务资源分配出现问题等。如果发生了故障，Flink重启作业，读取Checkpoint中的数据，恢复状态，重新执行计算。
微服务架构是一个分布式架构，它按业务划分服务单元，一个分布式系统往往有很多个服务单元。由于服务单元数量众多，业务的复杂性，如果出现了错误和异常，很难去定位。主要体现在，一个请求可能需要调用很多个服务，而内部服务的调用复杂性，决定了问题难以定位。所以微服务架构中，必须实现分布式链路追踪，去跟进一个请求到底有哪些服务参与， 参与的顺序又是怎样的，从而达到每个请求的步骤清晰可见，出了问题，很快定位。
概述 分布式系统中，有一些需要使用全局唯一ID的场景，这种时候为了防止ID冲突可以使用36位的UUID，但是UUID有一些缺点，首先他相对比较长，另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID，并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求，最初Twitter把存储系统从MySQL迁移到Cassandra，因为Cassandra没有顺序ID生成机制，所以开发了这样一套全局唯一ID生成服务。 该项目地址为：https://github.com/twitter/snowflake是用Scala实现的。 python版详见开源项目https://github.com/erans/pysnowflake。
有些数据存储系统放弃了Leader的机制，允许任何副本直接接受用户的写操作。（如Amazon的Dynamo，FaceBook的Cassandra，虽然最终FaceBook放弃了Cassandra转而支持Hbase，但是Uber的强势介入让Cassandra后来在开源社区大放异彩。) 每个接受到客户端写请求的节点会转换为一个协调器节点，而协调器节点不强制执行特定的写入顺序。正是这种设计上的差异对数据库的使用方式与数据模型产生了深远的影响。
「CSDN」里有一个页面叫「关注页」，关注页的逻辑十分常见就是将用户关注的创作者发表的文章聚合在一起，按时间倒序排列即可。
本文为joshua317原创文章,转载请注明：转载自joshua317博客 https://www.joshua317.com/article/86
TDengine Database开源项目里已经包含了性能对比测试的工具源代码。https://github.com/taosdata/TDengine/tests/comparisonTest，并基于这个开源的测试工具开展了TDengine和InfluxDB对比测试，TDengine和OpenTSDB对比测试，TDengine和Cassandra对比测试等一系列性能对比测试。为了更客观的对比TDengine和其他时序数据库（Time-Series Database）的性能差异，本项目采用由InfluxDB团队开源的性能对比测试工具来进行对比测试，相同的数据产生器，相同的测试用例，相同的测试方法，以保证测试的客观公平。
雪花算法 SnowFlake 内部结构【分布式ID生成策略】
对大数据集或非常高吞吐量，仅复制还不够，还需将数据拆分成为分区（partitions），也称分片（sharding）1。
分布式策略ID的主要应用在互联网网站、搜索引擎、社交媒体、在线购物、金融、大数据处理、日志场景中，这些应用需要支持大量的并发请求和用户访问，分布式ID策略可以通过请求分发到不同的服务器节点来做计算，以提高服务的响应速度和可用性。
分布式策略ID的主要应用在互联网网站、搜索引擎、社交媒体、在线购物、金融、大数据处理、日志场景中，这些应用需要支持大量的并发请求和用户访问，分布式ID策略可以通过请求分发到不同的服务器节点来做计算，以提高服务的响应速度和可用性。 常见的分布式ID生成策略： ● UUID（Universally Unique Identifier） ● 雪花算法（Snowflake） ● Redis原子自增 ● 基于数据库的自增主键（有些数据库不支持自增主键） ● 取当前毫秒数 本文主要简单介绍下雪花ID算法（Snowflake）的Python语言的计算方法。
http://blog.csdn.net/niu_gao/article/details/6946781
大多数数据库系统存储一组数据记录，这些记录由表中的列和行组成。字段是列和行的交集：某种类型的单个值。
长文预警，今天介绍一个时间序列管理系统的论文：《ModelarDB: Modular Model-Based Time Series Management with Spark and Cassandra》，三个作者都来自丹麦奥尔堡大学，这三个人在 2017 年 TKDE 有一篇很全面的时序数据库 Survey《Time Series Management Systems: A Survey》。
SnowFlake 算法生成的 ID 是一个 64 位的整数，它的结构如下图所示：
数据库通常有着完善的事务支持，但是局限于单机的存储和性能，于是就出现了各种分布式解决方案。最近读了《Designing Data-Intensive Applications》这本书，所以做一个总结，供大家做个参考，有什么不对的请大家指正，一起讨论。
微服务架构是一个分布式架构，它按业务划分服务单元，一个分布式系统往往有很多个服务单元。由于服务单元数量众多，业务的复杂性，如果出现了错误和异常，很难去定位。主要体现在，一个请求可能需要调用很多个服务，而内部服务的调用复杂性，决定了问题难以定位。所以微服务架构中，必须实现分布式链路追踪，去跟进一个请求到底有哪些服务参与，参与的顺序又是怎样的，从而达到每个请求的步骤清晰可见，出了问题，很快定位。
大数据是近些年才出现的吗，人们是近些年才发现大数据的利用价值的吗？其实不然，早在几十年前，数学分析就已经涉猎金融行业了，人们依托于金融和数学知识来建立数学模型，利用金融市场所产的数据来预测金融市场产品收益同风险波动的关系。 到如今，互联网也发展了好些年了，越来越多的数据产生(用户浏览数据、搜索记录、出行记录、消费记录；农作物的成长观察记录；病人的医疗记录等)，各行业也开始慢慢的重视起这些数据记录，希望通过对这些数据的分析处理从而得到相应的利益和研究价值。
如果一艘快艇足够承载下你的所有货物到达彼岸，那么你不需要使用一艘轮船出行。产品设计和技术选型也是一样，我们经常会说：“我需要一个能够处理百万规模并发读写操作的，低延时，高可用的系统。” 如果按照这样的需求去设计系统，你可能得到的是一个设计复杂，代价昂贵的通用方案。但是如果仔细分析一下需求，你可能省略了需求背后的一些前提条件，比如真实的需求可能是这样的：“我需要一个能够处理百万规模的并发（只是理论峰值，平均情况小于10万并发）读写操作（读写比例1:9，只有追加写，没有修改操作）的低延时，高可用的（可以接受一定程度数据不一致性的）系统。” 那么你可能可以为这个特定的需求设计一个简单的，高效又低成本的系统。
上篇文章我们提到了数据系统常用的模型，当提交新数据时，必须将它发送给Leader节点，但是当用户查询数据时，可以从一个Follower节点读取该数据。 这样的模型使十分适合Web应用的读多写少的特点。
IoTDB 是一款时序数据库，相关竞品有 Kairosdb，InfluxDB，TimescaleDB等，主要使用场景是在物联网相关行业，如：车联网、风力发电、地铁、飞机监控等等，具体应用案例及公司详情可以查看：IoTDB在实际公司中的使用信息收集
TDengine 是一款开源、高性能、云原生的时序数据库（Time Series Database, TSDB）, 它专为物联网、车联网、工业互联网、金融、IT 运维等场景优化设计，基于C语言开发。
本文是Distributed systems for fun and profit的第三部分，本文是阅读该文后的一些记录。
当我们在使用单机系统时，它通常以一种相当可预测的方式工作：要么它正常工作，要么不工作。
数据在分片时，典型的是分库分表，就有一个全局ID生成的问题。 单纯的生成全局ID并不是什么难题，但是生成的ID通常要满足分片的一些要求： 1 不能有单点故障。 2 以时间为序，或者ID里包含时间。这样一是可以少一个索引，二是冷热数据容易分离。 3 可以控制ShardingId。比如某一个用户的文章要放在同一个分片内，这样查询效率高，修改也容易。 4 不要太长，最好64bit。使用long比较好操作，如果是96bit，那就要各种移位相当的不方便，还有可能有些组件不能支持这么大
通常我们在实际项目中很少使用AUTO_INCREMENT自增长，因为这样很容易被人遍历，从1循环到最大值，把所有的库都遍历一遍。
脚本 作用 kafka-server-start.sh kafka启动 kafka-server-stop.sh kafka停止 kafka-topics.sh 查看创建删除topic kafka-c
Hudi数据湖可以维护很多张表，与Hive类似，数据存储在HDFS不同的目录结构中。Hudi维护了表在不同时刻执行的所有操作的Timeline，这有助于提供表的瞬时视图。
RTP全名是Real-time Transport Protocol（实时传输协议）。它是IETF提出的一个标准，对应的RFC文档为RFC3550（RFC1889为其过期版本）。RFC3550不仅定义了RTP，而且定义了配套的相关协议RTCP（Real-time Transport Control Protocol，即实时传输控制协议）。RTP用来为IP网上的语音、图像、传真等多种需要实时传输的多媒体数据提供端到端的实时传输服务。RTP为Internet上端到端的实时传输提供时间信息和流同步，但并不保证服务质量，服务质量由RTCP来提供。
为什么需要分布式全局唯一ID以及分布式ID的业务需求？集群高并发情况下如何保证分布式唯一全局Id生成？
之前看过 《大规模分布式存储系统：原理解析与架构实战》 ，这个系统设计还是挺有意思的，里面提及了Google的一整套系统都有论文，而且现在已经进化到下一代支持分布式跨行事务的关系型数据库系统了。所以一直很想抽时间看看Google的那套去中心化并且可以平行扩容的分布式系统和数据库的论文。之前一些计划中的我自己的项目的优化项都差不多完成了，这段时间就陆陆续续的看完了这三篇Paper，可怜我的渣渣英语，所以看得比较慢。
数据在分片时，典型的是分库分表，就有一个全局ID生成的问题。 单纯的生成全局ID并不是什么难题，但是生成的ID通常要满足分片的一些要求： 1 不能有单点故障。 2 以时间为序，或者ID里包含时间。这样一是可以少一个索引，二是冷热数据容易分离。 3 可以控制ShardingId。比如某一个用户的文章要放在同一个分片内，这样查询效率高，修改也容易。 4 不要太长，最好64bit。使用long比较好操作，如果是96bit，那就要各种移位相当的不方便，还有可能有些组件不能支持这么大的ID。
Name Class Description %cassandra CassandraInterpreter 为Apache Cassandra CQL查询语言提供解释器 启用Cassandra解
降采样（或在信号处理中，抽取）是降低数据采样率或分辨率的处理过程。例如，假设温度传感器每秒钟都向OpenTSDB系统发送数据。如果用户在一小时内查询数据，他们将获得3,600个数据点，这些数据点可以相当容易地绘制出来。但是现在，如果用户要求整整一周的数据，他们将获得604,800个数据点，并且突然间图形可能变得非常混乱。使用降采样器，单个时间序列在一个时间范围内的多个数据点在一个对齐的时间戳中与数学函数一起聚合成单个值。这样我们可以将数量从604,800减少到168。
Hi,大家好,我是麦洛,今天带大家来了解一下SpringCloud Sleuth,这篇文章主要向大家介绍一下以下内容
FastDFS是一款类Google FS的开源分布式文件系统，它用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX系统。它只能通过专有API对文件进行存取访问，不支持POSIX接口方式，不能mount使用。准确地讲，Google FS以及FastDFS、mogileFS、HDFS、TFS等类Google FS都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。
开卷有益，是我们一直以来的认识。阅读可以帮助人们提高自己的语言能力、学习到新的技能....
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
