前段时间接触到腾讯云的一个新数据库产品 CynosDB 是基于 Amazon Aurora 数据库的Paper实现的。我比较感兴趣就来看看它和之前看过的 Spanner 之类有什么不同，也许部分设计也能用在我们游戏业务的服务器中。它的主要的创新点在于重新设计了binlog和存储的部分，所以我也主要就看了两篇Paper： 《Amazon Aurora - Design Considerations for High Throughput Cloud-Native Relational Databases》 是一个整体性质的介绍和概述； 《Amazon Aurora: On Avoiding Distributed Consensus for I/Os,Commits, and Membership Changes》 是对其重点部分的存储服务的。
Cloud Spanner是Google Megastore系统的继承者，Spanner表现出远超前辈的能力。Spanner首次是在Google内部数据中心中出现，而在2017年才对外发布测试版并加入了SQL能力。如今已经在Google云平台上架并拥有大量各个行业的用户。Cloud Spanner数据库是全球范围分布式的关系型/事务数据库，并且Google承诺Cloud Spanner拥有高吞吐量、低延迟和99.999%的高可用性。 接触Cloud Spanner 第一次接触到Google Cloud Sp
作为一个在虐狗节还奋笔疾书的公众号写手来说，最重要的是各位汪们不是汪的读者们的打赏。这篇文章就看大家怎么想啦。 今天不但是虐狗节还是世界癫痫日，还有，更大的新闻是Google宣布Spanner作为一个公有云的服务正式开始提供了。所谓几家欢喜几家愁，这永远都是真理。 我想Spanner大名鼎鼎，大家都知道，但是作为服务了狗狗家10余年的MegaStore，因为其出身不够正统，听说过的人就很有限了吧。很多时候我一直在想，到底是个人成就了公司还是公司成就了个人。每次看到Jeff Dean我就会觉得我和他比智商不
Spanner是Bigtable的魔改版，下面这张谷歌云的PPT几乎和intro一一对应。
The Google File System (2003) MapReduce: Simplified Data Processing on Large Clusters (2004) Bigtable: A Distributed Storage System for Structured Data (2006)
Spanner 之前是一个键值数据库，与现在谈论的 Spanner 是完全不同的东西。在设计之初，Spanner 就支持事务、外部一致性和透明的故障转移。到后面，Spanner 开始支持带类型的数据库表结构和其它的一些关系型数据库功能，以及支持了 SQL 功能。而现在我们正在努力改进 SQL 语法的兼容性和关系型数据库功能。
应用程序和系统日志可以帮助我们了解集群内部的运行情况，日志对于我们调试问题和监视集群情况也是非常有用的。而且大部分的应用都会有日志记录，对于传统的应用大部分都会写入到本地的日志文件之中。对于容器化应用程序来说则更简单，只需要将日志信息写入到 stdout 和 stderr 即可，容器默认情况下就会把这些日志输出到宿主机上的一个 JSON 文件之中，同样我们也可以通过 docker logs 或者 kubectl logs 来查看到对应的日志信息。
在kubernetes中对日志的处理方式叫做cluster-level-logging，即这个日志处理系统跟容器，Pod，Node的生命周期无关，也就是无论是容器挂了，Pod被删除了还是Node宕机了，应用的日志应该被正常获取到。
预计 Gemini 在 Google Cloud 数据库产品中的可用性将帮助开发者比去年集成的 Duet AI 更快地编写代码和迁移。
数字化时代下，企业的发展与数据库的建设息息相关。如果搭建云下数据库，不仅要通过大量的运维投入保证数据库稳定运行，随着企业规模与数据量的发展，还要应对数据库扩容、弹性、运维、备份等各种各样的问题，云下数据库对企业提出的要求日益增长。此时有两种应对之法，一是凭借扩充技术团队解决问题，但这无疑将会带来不菲的运维与人员成本，二则是把一切交给云服务。
在2005、2006年期间，谷歌内部大规模使用了 MySQL 数据库。其中Google Adwords （谷歌广告部门）使用了 90 多个 MySQL Shards（分片）集群方案存储数据，是谷歌内部使用 MySQL 数据库的最大的部门之一。由于系统维护的原因，谷歌广告部门重新规划了 MySQL 集群，整个过程花了 2 年时间。因为谷歌知道它们的数据增长的非常快，再使用 MySQL 这类数据库到未来的某个时刻会非常痛苦。这就是 Spanner 的诞生原因。
Google Spanner简介 Spanner 是Google的全球级的分布式数据库 (Globally-Distributed Database) 。Spanner的扩展性达到了令人咋舌的全球级，
Today, the Cloud Native Computing Foundation (CNCF) accepted TiKV, an open source distributed transactional key-value database, into the CNCF Sandbox for early stage and evolving cloud native projects.
有2年没有摸数据库了，重新学习下。数据库是IT系统的基石，小到一个个人站点，大到类似Google，阿里，腾讯这种大公司，里面都运行着各种各样的数据库，成千上万的人才还在继续开发和维护数据库。 数据库大牛stone breaker前两年还拿到了图领奖，了不起的成就。数据库理论这些年没啥大的突破，还是70年代提出来的关系模型，ACID等等。不过不表示数据库的发展停下来了，尤其是随着需要处理的数据和业务越来越大，数据库规模，性能越来越强。数据库的发展主要体现在工程能力，新硬件的使用上。 我个人理解就当前而言，技术
在分布式数据库领域中，高性能＋强一致性事务是代表数据库水平高低的重要象征，这个领域的代表数据库是Google Cloud Spanner和Azure Cosmos DB以及Apple开源的FoundationDB，YugaByte DB是这个领域的另外一个开源数据库。以下为 YugaByte DB关于开发分布式SQL数据库技术挑战的分享。
所以，当你通过网络发送一个数据包的时候，程序必须考虑到这个数据包可能丢失、也可能延迟。
注：本文专用于2019年3月29日前的谷歌云专业数据工程师认证考试。此后我也做了一些更新，放在了Extras的部分。
分布式数据库系统通常使用较小的计算机系统，每台计算机可单独放在一个地方，每台计算机中都可能有DBMS的一份完整拷贝副本，或者部分拷贝副本，并具有自己局部的数据库，位于不同地点的许多计算机通过网络互相连接，共同组成一个完整的、全局的逻辑上集中、物理上分布的大型数据库。余军讲师为你讲解分布式数据库在金融行业的创新实践。 余军 PingCAP 高级技术总监，金融行业首席架构师；开源软件的忠实爱好者，负责金融行业基于 TiDB 产品的解决方案、产品架构咨询和建设规划。主要工作经历：富麦信息科技有限公司 CTO ，中
1 什么是时间？ 2 物理时间：墙上时钟 3 逻辑时钟：为事件定序 4 Turetime：物理时钟回归 5 区块链：重新定义时间 6 其他影响 6.1 NTP的时间同步 6.2 有限时间内的不可能性 6.3 延迟 6.4 租约 7 总结 8 参考文献
1. DeepMind发布2017年的回顾blog，总结今年在多个方面取得的进展，比如AlphaGo Zero，Parallel WaveNet（比最早的WaveNet快了100倍，用来产生Google Assistant的语音），基于进化算法的增强学习和神经网络架构搜索，基于概率分布的增强学习（那篇paper很值得一读），已经基于imagination的model-based增强学习（跟Yann LeCun说的predictive learning有点像）等等 blog链接：https://deepmin
本文作者为 PingCAP 联合创始人兼 CTO 黄东旭，将分享分布式数据库的发展趋势以及云原生数据库设计的新思路。
响应式编程已经在 Java 编程领域出现很长一段时间了。具有高性能，事件驱动，充分利用计算资源，更加优雅的异步编程体验，同时它也提供了背压机制来防止系统过载。很长一段时间 Java 的响应式只能同 MongoDB、Redis 等这些非关系型数据库进行交互。而目前我们大部分的数据还是存放在关系型数据库中，大部分情况下 Java 使用 JDBC 来操作关系型数据库，而 JDBC 是阻塞的、同步的。所以迫切需要一种支持响应式的数据库驱动协议。目前市面上有两种响应式数据库驱动协议，我们来了解一下它们。
之前林仕鼎曾整理过系统架构领域的学习资料，这几天Spark核心团队成员辛湜（Reynold Xin）公开了他整理的一份数据库学习资料列表，Hacker News上引起了不少讨论。其中的评述文字也很有价值，简要编译如下。大家对这个列表如有补充，请评论。 基础与算法 The Five-Minute Rule Ten Years Later, and Other Computer Storage Rules of Thumb (1997): 此文与十年前的原始论文解释了一个量化公式，用来计算数据页是否应该缓存在内
哈喽，大家好，我是asong。今天想与大家分享Go语言中结构体标签是怎么使用的，以及怎样定制自己的结构体标签解析。
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/151766.html原文链接：https://javaforall.cn
本篇博客将探讨如何在Spring Cloud Alibaba项目中配置Nacos配置中心的集群和负载均衡。我们将介绍配置Nacos集群以及实现负载均衡的方法，帮助您构建高可用的配置中心。
使用mongo客户端来连接服务，mongo 客户端由 mongodb-org-shell 包提供
在讲新的思路之前，先为过去没有关注过数据库技术的朋友们做一个简单的历史回顾，接下来会谈谈未来的数据库领域，在云原生数据库设计方面的新趋势和前沿思考。首先来看看一些主流数据库的设计模式。
这 cat 命令是使用最广泛的通用工具。它将标准输入复制到标准输出。如果文本文件不适合当前屏幕，该命令支持滚动。
Spanner是一个全球分布式的数据库，从数据模型来看Spanner很像BigTable，都是类似于key对应着一行数据，但是却并不一样，Spanner中衍生出了“目录”的概念（把两张表合并存储）。这并不是重点，Spanner的重是它是第一个在全球范围内传递数据且保证外部一致的分布式事务的系统，且支持几种特定的事务，这显然是一个很困难的问题，我们会在文章中加以描述，这篇文章主要对Spanner的事务以及实现事务所使用的 TrueTime API 进行分析，这些也是论文中描述最为详尽，也是比较不好懂的地方。还有之所以不分析Spanner的架构是因为我觉得论文（第二节）中此方面的描述实在是有些简略，所以直接看论文就可以。
最近在写 L4/L7 ILB的design doc，load balancing在cloud和service mesh层面的矛盾在于它在架构层面极其重要（路由是微服务网关的基础），但从开发者的视角却几乎不存在（people expect it naturally happen）。
提到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发生了变化，版本也从0.x进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代，这不是说不用Hadoop，而是像NoSQL （Not Only SQL）那样，有其他的选型补充。 背景篇 Hadoop: 开源的数据分析平台，解决了大数据（大到一台计算机无法进行存储，一台计算机无法在要求的时间内进行处理）的可靠存储和处理。适合处理非结构化数据，包括HDFS，MapReduce基本组件。 HDFS：提供
本文介绍了k8s官方提供的日志收集方法，并介绍了Fluentd日志收集器并与其他产品做了比较。最后介绍了好雨云帮如何对k8s进行改造并使用ZeroMQ以消息的形式将日志传输到统一的日志处理中心。 容器日志存在形式 目前容器日志有两种输出形式： stdout,stderr标准输出 这种形式的日志输出我们可以直接使用docker logs查看日志，k8s集群中同样集群可以使用kubectl logs类似的形式查看日志。 日志文件记录 这种日志输出我们无法从以上方法查看日志内容，只能tail日志文件查看。 在k
上篇分享了一位30年编程经验的技术大佬，为什么选择离开google的几点原因。（作为大龄程序员，我为什么离开大厂？）
提到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发生了变化，版本也从0.x进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代，这不是说不用Hadoop，而是像NoSQL （Not Only SQL）那样，有其他的选型补充。我在知乎上也写过Hadoop的一些入门文章 如何学习Hadoop - 董飞的回答，为了给大家有个铺垫，简单讲一些相关开源组件。 背景篇 Hadoop: 开源的数据分析平台，解决了大数据（大到一台计算机无法进行存储，一台计算机无
感谢董飞先生投稿，推荐关注其知乎专栏 【董老师在硅谷 http://zhuanlan.zhihu.com/#/donglaoshi】 提到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发生了变化，版本也从0.x进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代，这不是说不用Hadoop，而是像NoSQL （Not Only SQL）那样，有其他的选型补充。我在知乎上也写过Hadoop的一些入门文章 如何学习Hadoop - 董飞的回答，为了给大家
大数据文摘翻译:于丽君／ 校对:瑾儿小浣熊(转载请保留) 摘要： 谷歌近期发表了一篇关于最新大数据系统的论文，是关于Mesa这一全球部署的数据仓库，它可以在数分钟内提取上百万行，甚至可以在一个数据中心发生故障时依然运作。 谷歌正在为其一项令人兴奋的产品揭开面纱，它可能成为数据库工程史上的又一个壮举，这就是一个名为Mesa的数据仓库系统，它可以处理几乎实时的数据，并且即使一整个数据中心不幸脱机也可以发挥它的性能。谷歌工程师们正在为下个月将在中国举行的盛大的数据库会议准备展示其关于Mesa的论文。 该篇论文的
日志对于调试问题和监视集群情况也是非常有用的。而且大部分的应用都会有日志记录，对于传统的应用大部分都会写入到本地的日志文件之中。对于容器化应用程序来说则更简单，只需要将日志信息写入到 stdout 和 stderr 即可，容器默认情况下就会把这些日志输出到宿主机上的一个 JSON 文件之中，同样也可以通过 docker logs 或者 kubectl logs 来查看到对应的日志信息。
NR:NR表示从awk开始执行后，按照记录分隔符读取的数据次数，默认的记录分隔符为换行符，因此默认的就是读取的数据行数，NR可以理解为Number of Record的缩写。
Spring Data 的委托是为数据访问提供熟悉且符合 Spring 的编程模型，同时仍保留着相关数据存储的特殊特征。
之前看过 《大规模分布式存储系统：原理解析与架构实战》 ，这个系统设计还是挺有意思的，里面提及了Google的一整套系统都有论文，而且现在已经进化到下一代支持分布式跨行事务的关系型数据库系统了。所以一直很想抽时间看看Google的那套去中心化并且可以平行扩容的分布式系统和数据库的论文。之前一些计划中的我自己的项目的优化项都差不多完成了，这段时间就陆陆续续的看完了这三篇Paper，可怜我的渣渣英语，所以看得比较慢。
我们都知道，在开发的过程中，有很多部署自己微服务的方式，其中有各种各样的不同操作，比如使用 docker 打包为镜像的方式，还有基础使用 jar 包的方式进行部署，但是呢？使用 jar 包部署，那就离不开这个启动 jar 包的脚本命令，总不能每次都是直接自己手动杀端口，然后再重新启动吧，今天了不起来带大家看一下这个 Shell 脚本，并且写一个 Shell 脚本通用给大家，拿来可用。
在Linux中经常使用ifconfig，route和netstat查看网络状态，它们就是. net-tools工具，下面我来使用下。
先回顾一下head和tail的基本用法 Linuxhead和tail 命令非常相似。它们默认安装在所有Linux 发行版中。让我们首先了解它们是什么以及它们的用途。 简而言之，顾名思义，该head命令从文件开头打印行，而该tail命令从文件末尾打印行。这两个命令都将结果写入标准输出。 Linux 中的head命令 head 命令的语法 非常简单： head [OPTIONS] FILES > head /etc/passwd root:x:0:0::/root:/bin/bash bin:x:1:1::/:
备份数据库或表最快的途径，只能运行在数据库目录所在的机器上，并且只能备份MyISAM类型的表。
Tedis（https://github.com/eleme/tedis） 是基于开源 TiKV 的兼容 Redis 协议的强一致性的 NoSQL 数据库开源项目。 本文介绍一下 Tedis 开源项目的架构设计和特性，以及架构背后的一些思考（包括为何选择 TiKV 和 Redis 协议）。
张量处理单元（TPU）是能够大大加快深度学习模型训练速度的硬件加速器。在斯坦福大学进行的独立测试中，在 TPU 上训练的 ResNet-50 模型能够在 ImageNet 数据集上以最快的速度（30 分钟）达到预期的准确率。
kafka/zookeeper 集群配置请参考公众号ELK专栏《KafKa 工作原理 && 集群部署（一）》的文章。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
