请务必注意CDP Data Center的安装前置条件，请到https://docs.cloudera.com/cloudera-manager/7.1.1/installation/topics/cdpdc-requirements-supported-versions.html 查询对应版本的前提条件。对应CDP数据中心版7.1来讲，前提条件包括如下：
Percona XtraDB Cluster(下称PXC)数据库集群节点在多台机器中分布，尽管这些节点在大多数情况下，位于同一个局域网内，其安全依旧有必要重视。PXC在各节点之间进行通信，通常使用了4个端口。这4个端口需要防火墙准许放行。其次节点间数据通信并没有加密，如果要考虑这部分安全增强，也需要采取相应的策略。下文基于这两点进行描述。
从PXC5.7版本开始，集群的配置主要是通过wsrep.cnf配置来实现。这个文件有几个常用的参数配置。下文对其做简要说明。
由于最近容器技术的火热，各大云计算厂商都已经提供了独立的容器服务，腾讯云也不例外。腾讯云容器服务的官方文档提供了一个基于Node.js的简单案例供大家上手，考虑到官方的文档并没有提供基于Java的上手教程，再加上容器/微服务技术在Java领域的各种衍生开源组件--如SpringCloud家族的各种神器应用极其广泛，今天有空拿一个简单的带增删改查接口功能的SpringBoot应用外接腾讯云CDB for MySQL来把玩容器服务，正好以此来演示如何从零开始在腾讯云上搭建基于SpringBoot的容器化应用。关于为啥选用SpringBoot框架，我想原因也不必多说，主要还是因为其本身就是一个为容器而生的框架，自带Tomcat服务器而且能以极简的配置构建web服务（相对于SpringMVC而言）。
如果你在寻找一个不会发生单点故障的数据库管理系统，那么水平拓展的MySQL集群分布式多主架构将是您的最佳选择。MySQL集群可以通过MySQL和NoSQL接口访问，并且可以用来服务密集的读/写工作。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
测试环境，最小规模，最少4台服务器。一台做管理节点Cloudera Manager和NameNode等，另外三台用作worker，DATANODE节点，这种最小规模一般仅用于开发和测试。
在本教程中，您将使用Ansible和Kubeadm从头开始设置Kubernetes集群，然后给它部署一个容器化的Nginx程序。
KubeSphere v3.0.0进行了重大升级，其中多集群管理功能是重要更新之一。
Percona XtraDB Cluster(简称PXC)集群是基于Galera 2.x library，事务型应用下的通用的多主同步复制插件，主要用于解决强一致性问题，使得各个节点之间的数据保持实时同步以及实现多节点同时读写。提高了数据库的可靠性，也可以实现读写分离，是MySQL关系型数据库中大家公认的集群优选方案之一。本文简要介绍其原理并给出安装指导。
其原理及特点详细介绍请看LVS的NAT模式LVS负载均衡之LVS-NAT搭建Web群集
作者选择了自由和开源基金作为Write for DOnations计划的一部分进行捐赠。
MMM 即 Multi-Master Replication Manager for MySQL:mysql 多主复制管理器,基于 perl 实现,关于 mysql 主主复制配置的监控、故障转移和管理的一套可伸缩的脚本套件（在任何时候只有一个节点可以被写入），MMM 也能对从服务器进行读负载均衡，所以可以用它来在一组用于复制的服务器启动虚拟 ip，除此之外，它还有实现数据备份、节点之间重新同步功能的脚本。MySQL 本身没有提供 replication failover 的解决方案，通过 MMM 方案能实现服务器的故障转移，从而实现 mysql 的高可用。MMM 不仅能提供浮动 IP 的功能，如果当前的主服务器挂掉后，会将你后端的从服务器自动转向新的主服务器进行同步复制，不用手工更改同步配置。这个方案是目前比较成熟的解决方案。
日均百万PV的网站站，费用也不低，并且CDN节点有时会出问题，还 需要每次的更改后刷新CDN，不太方便。
迁移数据库可以说是日常工作中的家常便饭，不过，如果一不小心把数据库搞炸了，那就麻烦大了（搞不好就得背锅了）。随着数据量的逐渐增加、表结构的改动，数据库各类迁移、升级是势在必行。所以，有一款好的迁移工具是可以大大提高工作效率，还能很大程度上避免手动操作带来的失误或数据损坏、丢失的风险。
在本系列的第一部分 Oracle公共云中的MySQL InnoDB集群，我们学习了如何使用Oracle Cloud配置InnoDB集群。 本文我们将了解如何以及何时使用MySQL Shell中提供的一些高级功能。 验证实例 首先需要验证一个特定的MySQL Server实例是否做好准备成为InnoDB集群的一部分。使用dba.checkInstanceConfiguration（）函数： mysql-js> dba.checkInstanceConfiguration('root@ic01-mysql-1:
根据IDG的说法，当客户考虑更新到产品的最新版本时，他们期望新功能、增强的安全性和更好的性能，但越来越希望拥有更简化的升级过程。伴随着CDP私有云的每个新版本，我们正在努力提供这些内容。伴随着许多新功能，我们正在尽可能简化升级过程。在此博客中，我们将介绍7.1.6版本中的新功能以及从HDP进行的新的就地升级，从而完全消除了替换基础架构和数据迁移的麻烦。
Rook 官网：https://rook.io 容器的持久化存储 容器的持久化存储是保存容器存储状态的重要手段，存储插件会在容器里挂载一个基于网络或者其他机制的远程数据卷，使得在容器里创建的文件，实际上是保存在远程存储服务器上，或者以分布式的方式保存在多个节点上，而与当前宿主机没有任何绑定关系。这样，无论你在其他哪个宿主机上启动新的容器，都可以请求挂载指定的持久化存储卷，从而访问到数据卷里保存的内容。 由于 Kubernetes 本身的松耦合设计，绝大多数存储项目，比如 Ceph、GlusterFS、NFS 等，都可以为 Kubernetes 提供持久化存储能力。 Ceph 分布式存储系统 Ceph 是一种高度可扩展的分布式存储解决方案，提供对象、文件和块存储。在每个存储节点上，您将找到 Ceph 存储对象的文件系统和 Ceph OSD（对象存储守护程序）进程。在 Ceph 集群上，您还可以找到 Ceph MON（监控）守护程序，它们确保 Ceph 集群保持高可用性。 Rook Rook 是一个开源的 cloud-native storage 编排, 提供平台和框架；为各种存储解决方案提供平台、框架和支持，以便与云原生环境本地集成。 Rook 将存储软件转变为自我管理、自我扩展和自我修复的存储服务，它通过自动化部署、引导、配置、置备、扩展、升级、迁移、灾难恢复、监控和资源管理来实现此目的。 Rook 使用底层云本机容器管理、调度和编排平台提供的工具来实现它自身的功能。 Rook 目前支持 Ceph、NFS、Minio Object Store 和 CockroachDB。
Cephadm使用容器和systemd安装和管理Ceph集群，并与CLI和仪表板GUI紧密集成。
点击下图左边的SQL Server网络配置/MSSQLSERVER的协议，然后在双击右边窗口的TCP/IP项，打开tcp/ip 配置窗口。切换到ip地址选项卡，凡是tcp端口的，均把原来的默认端口1433改为1772。然后保存。
高可用性是当今的一个重要主题，因为服务中断可能非常昂贵。谨慎采取措施，以便在发生中断时保持您的网站或Web应用程序正常运行。使用Pacemaker堆栈，您可以配置高可用性群集。
大家都知道，Apache Hadoop的配置很繁琐，而且很零散，为此Cloudera公司提供了Clouder Manager工具，而且还封装了Apache Hadoop,flume,spark，hive,hbase等大数据产品形成自己特色的CDH产品，再使用CM进行安装，很大程度上方便了集群的搭建，并提供了集群的监控功能。
在上一篇文章中，我们介绍了适合单个用户进行使用和开发的 Galaxy 在线平台，今天我们来聊一下在为多用户生产环境设置 Galaxy 时，我们应采取的一些可以让 Galaxy 获得最佳性能的额外步骤。
Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称“CDH”），基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。
MySQL Cluster分布式数据库为MySQL数据库管理系统提供高可用性和吞吐量。MySQL Cluster由一个或多个管理节点（ndb_mgmd）组成，这些节点存储集群的配置并控制ndbd存储集群数据的数据节点（）。与管理节点通信后，客户端（MySQL客户端，服务器或本机API）直接连接到这些数据节点。
MySQL Cluster分布式数据库为MySQL数据库管理系统提供高可用性和吞吐量。MySQL Cluster由一个或多个管理节点（ndb_mgmd）组成，这些节点存储集群的配置并控制存储集群的数据节点（ndbd）。与管理节点通信后，客户端（MySQL客户端，服务器或本机API）直接连接到这些数据节点。使用MySQL Cluster，通常不会复制数据，而是数据节点同步。为此，必须使用特殊的数据引擎 - NDBCluster（NDB）。将集群视为具有冗余组件的单个逻辑MySQL环境是有帮助的。因此，MySQL Cluster可以与其他MySQL群集一起参与复制。
一个是3个字，另一个2个字 集群一般被分为三种类型，高可用集群（High-availability (HA) clusters ）如RHCS、LifeKeeper等，负载均衡集群（Load balancing clusters ）如LVS等、高性能运算集群（High-performance (HPC) clusters）;分布式应该是高性能运算集群范畴内。 Restful+ZooKeeper+FastDFS+ActiveMQ+Nginx+Dubbo+Maven+Druid+Tomcat+MySQL+Spri
Linux Virtual Server（LVS）是针对 Linux内核开发的一个负载均衡项目，由我国的章文嵩博土在1998年5月创建，官方站点位于http://www.linuxvirtualserver.org/.
Elasticsearch是一个实时分布式搜索和分析数据的平台。它的流行是由于它的易用性，强大的功能和可扩展性。
DNS解析是Kubernetes上任何应用程序基础架构的重要组成部分.当您的应用程序代码尝试访问Kubernetes集群中的另一个服务甚至是Internet上的服务时，它必须先查找与该服务的主机名相对应的IP地址，然后再启动与该服务的连接.此名称查找过程通常称为服务发现。在Kubernetes中,server(无论是kube-dnsCoreDNS还是CoreDNS)将服务的主机名解析为唯一的不可路由的虚拟IP(VIP)，如果它是clusterIP类型的服务.在kube-proxy每个节点上这个VIP映射到该服务的一组pod，并随机选择一个pod进行转发。使用服务网格时，sidecar的工作原理就流量转发而言与kube-proxy相同。
MySQL上在线执行DDL语句（create table、alter table、create index、grant ...）一直是个令人头疼的操作。一方面大表上的DDL语句需要执行很长时间，这是因为MySQL的实现，它需要复制一遍表的数据。另一方面在高并发访问的表上执行DDL期间会阻塞其上所有DML（insert、update、delete）语句的执行，直到DDL语句执行完。不但如此，高并发大表上的在线DDL还极易产生经典的“Waiting for table metadata lock”等待。
MongoDB数据库默认的管理工具是（CLI）Shell命令行，对于专业的DBA来说比较容易上手，但是对于普通人员GUI可视化工具更方便使用。我们就来介绍13个好用的MongoDB可视化工具。MongoDB官方提供了社区版的Compass，可以独立安装使用，也提供了云服务器版本MongoDB Atlas。商业版本的MongoDB必须购买其订阅。MongoDB Atlas旨在在AWS，Azure和Google Cloud等云平台上运行。阿里云MongoDB数据库也提供了基于Web的管理工具。免费使用。MongoDB自带的Shell命令行工具，大家应该很熟悉了。
前言：生产环境中一台mysql主机存在单点故障，所以我们要确保mysql的高可用性，即两台MySQL服务器如果其中有一台MySQL服务器挂掉后，另外一台能立马接替其进行工作。
背景 最近在进行 MySQL 的 PXC 集群搭建使用和研究 前期已完成了一篇记录文章 ： 【CentOS7 下 MySQL 之 PXC 集群部署【Docker+多机多节点】】 但是，毕竟不是所有人都熟悉 docker 而作为开发人员，还是习惯于原生状态的安装流程 所以，在此整理官方指导的PXC 集群配置步骤 欢迎指摘 … 【注】：Percona XtraDB Cluster（简称 PXC 集群） —— 业界主流的 MySQL 集群方案 环境 CentOS 版本: CentOS Linux
CDP数据中心版7.0.3是Cloudera与Hortonworks合并后，第一个融合CDH和HDP所有组件的on-premise版本，CDP Data Center主要由Cloudera Runtime构成，Cloudera Runtime由超过35个开源项目组成，当然CDP Data Center还包括其它功能如管理功能Cloudera Manager，Key Management，专业支持等.
Elasticsearch是一种流行的开源搜索服务器，用于实时分布式搜索和数据分析。当用于开发以外的任何其他任务时，Elasticsearch应作为集群跨多个服务器部署，以获得最佳性能，稳定性和可伸缩性。
Distributed Replicated Block Device(DRBD)是一个用软件实现的、无共享的、服务器之间镜像块设备内容的存储复制解决方案，可以被用于高可用群集(HA)中。它类似于一个网络RAID-1功能。当数据写入本地文件系统时，数据还会被发送到网络中另一台主机上，以相同的形式记录在一个文件系统中。本地(主节点)与远程主机(备节点)的数据可以保证实时同步。当本地系统出现故障时，远程主机上还会保留有一份相同的数据，可以继续使用。在高可用群集(HA)中使用DRBD功能，可以代替使用一个共享盘阵。因为数据同时存在于本地主机和远程主机上。切换时，远程主机只要使用它上面的那份备份数据，就可以继续进行服务了。
郜德光，携程技术保障中心高级数据库经理，负责数据库相关的运维工作，参与了SQL Server和MySQL的高可用以及数据库容灾建设。喜欢钻研技术，对数据相关的技术一直保持着浓厚的兴趣。
数据库供应商通常每个月都会发布一些有bug /安全性修补程序的补丁，我们为什么要关心这些？因为，新的版本可能对安全漏洞或黑客入侵系统进行修复，所以除非不关注安全性能，否则，您会希望在您的系统安装上最新的安全修补程序。其中MySQL主要版本比较少见，通常是次版本升级，但是他们可能会带来一些重要的功能，使得升级是值得的。
Apache Sentry 是Cloudera公司发布的一个Hadoop开源组件，截止目前还是Apache的孵化项目，它提供了细粒度级、基于角色的授权以及多租户的管理模式。Sentry当前可以和Hive/Hcatalog、Apache Solr 和Cloudera Impala集成，未来会扩展到其他的Hadoop组件，例如HDFS和HBase等。
分片的优势在于提供类似线性增长的架构，提高数据可用性，提高大型数据库查询服务器的性能。当MongoDB单点数据库服务器存储成为瓶颈、单点数据库服务器的性能成为瓶颈或需要部署大型应用以充分利用内存时，可以使用分片技术。
使用JdbcStorageHandler，可以将Hive连接到MySQL，PostgreSQL，Oracle，DB2或Derby数据源。然后，您可以创建一个表示数据的外部表，并查询该表。
使用Galera进行MariaDB复制可为站点数据库添加冗余。通过数据库复制，多个服务器充当数据库集群。数据库群集对于高可用性网站配置特别有用。本教程使用三个单独的腾讯云CVM服务器来配置数据库复制，并创建相关数据库集群。
Apache Kafka是一种流行的分布式消息代理，旨在有效处理大量实时数据。Kafka集群不仅具有高度可扩展性和容错性，而且与其他消息代理（如ActiveMQ和RabbitMQ相比，它还具有更高的吞吐量。虽然它通常用作发布/订阅消息传递系统，但许多组织也将其用于日志聚合，因为它为已发布的消息提供持久存储。
.example_responsive_1 { width: 200px; height: 50px; } @media(min-width: 290px) { .example_responsive_1 { width: 270px; height: 50px; } } @media(min-width: 370px) { .example_responsive_1 { width: 339px; height: 50px; } } @media(min-width: 500px) { .example_responsive_1 { width: 468px; height: 50px; } } @media(min-width: 720px) { .example_responsive_1 { width: 655px; height: 50px; } } @media(min-width: 800px) { .example_responsive_1 { width: 728px; height: 50px; } } (adsbygoogle = window.adsbygoogle || []).push({});
断路 断路是分布式系统的关键组成部分。快速失败并尽快收回下游施加压力几乎总是好的。 Envoy网格的主要优点之一是，Envoy在网络级别强制实现断路限制，而不必独立配置和编写每个应用程序。 Envoy支持各种类型的完全分布（不协调）的电路中断： 群集最大连接数：Envoy将为上游群集中的所有主机建立的最大连接数。实际上，这仅适用于HTTP / 1.1群集，因为HTTP / 2使用到每个主机的单个连接。 群集最大挂起请求数：在等待就绪连接池连接时将排队的最大请求数。实际上，这仅适用于HTTP / 1.1群
kubeykey是KubeSphere基于Go 语言开发的kubernetes集群部署程序。使用 KubeKey，您可以轻松、高效、灵活地单独或整体安装 Kubernetes 和 KubeSphere。
此方案为暂定方案，有可能会变更。如果直接使用CDH会更加方便，但是如果进行自行配置，需要做实验。
版权声明：本文为木偶人shaon原创文章，转载请注明原文地址，非常感谢。 https://blog.csdn.net/wh211212/article/details/80539083
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
