一、elk架构简介 首先 logstash 具有日志采集、过滤、筛选等功能，功能完善但同时体量也会比较大，消耗系统资源自然也多。filebeat作为一个轻量级日志采集工具，虽然没有过滤筛选功能，但是仅
可以使用腾讯云服务器 https://cloud.tencent.com/product/cvm ，相对来讲比较便宜。
这里我们使用一台Linux CentOS系统的服务器来模拟三个Kafka Broker的伪集群（即一台server上开三个不同端口）环境用于学习测试，大概的准备工作有两个：
在hub.docker.com网站上，Star最多的kafka镜像是wurstmeister/kafka，今天一起来实践这个镜像，使用此镜像搭建kafka环境，并且生产和消费消息；
写作本文的背景是由于字节的暑期青训营中，某个项目要求编写一个简易的流处理引擎（flink），开发语言不限，推荐Java，本着好奇心的驱使，我打算使用Go语言进行部分尝试。
不使用 集群请参考这个文章：https://www.cnblogs.com/luzhanshi/p/13369834.html
简单明了，直接上步骤，首先，虚拟机环境，centos，docker都已搞定。略过，直接操作部署kafka.
本文介绍了如何使用Docker快速体验Kafka的消息发布和订阅功能。首先，通过编写Docker Compose文件，启动一个包含Kafka Broker、Zookeeper和Kafka Producer的容器。然后，创建一个Java应用程序，用于发送消息和接收消息。最后，通过执行Docker Compose命令，启动所有容器并启动Kafka Broker、Zookeeper和Producer。通过本文的介绍，读者可以快速体验Kafka的消息发布和订阅功能，为后续深入了解Kafka和Docker技术打下基础。"
使用docker-compose搭建kafka集群，解析一些参数含义及列出搭建过程的一些坑。
上篇文章我们进行了Docker的快速入门，基本命令的讲解，以及简单的实战，那么本篇我们就来实战一个真实的项目，看看怎么在产线上来通过容器技术来运行我们的项目，来达到学会容器间通信以及docker-compose学习以及docker网络模型学习的目的。
在本指南中，我们将深入探讨构建强大的数据管道，用 Kafka 进行数据流处理、Spark 进行处理、Airflow 进行编排、Docker 进行容器化、S3 进行存储，Python 作为主要脚本语言。
本文是对使用Docker快速搭建Kafka开发环境的补充，跟随教程即可完成搭建，但还有些地方需要注意。
Benthos 是一个开源的、高性能和弹性的数据流处理器，能够以各种代理模式连接各种源和汇，可以帮助用户在不同的消息流之间进行路由，转换和聚合数据，并对有效载荷执行水合、富集、转换和过滤。
新建一个名为 zk-single-kafka-single.yml 的文件，文件内容如下：
在当前微服务横行, 研发提速的大环境下, 除了单测对单个方法的逻辑做验证外, 在本机环境能正常运行, 减少三方环境的依赖也是提效的一个重要环节.
1、kafka需要zookeeper管理，所以需要先安装zookeeper。 （PS：2.8版本以后kafka-Kraft 模式不再依赖zk，目前别的很多组件都依赖zk注册，所以还是以zk举例）
参考连接：https://docs.pingcap.com/zh/tidb/v3.0/deploy-test-cluster-using-docker-compose
Docker-Compose 项目是 Docker 官方的一个开源项目，其主要职责是负责实现对Docker容器集群的快速编排。 Docker-Compose 将所管理的容器分为三层，分别是工程（project）、服务（service）以及容器（container）。Docker-Compose 运行目录下的所有文件（docker-compose.yml，extends 文件或环境变量文件等）组成一个工程，若无特殊指定工程名即为当前目录名。一个工程当中可包含多个服务，每个服务中定义了容器运行的镜像，参数，依赖。一个服务当中可包括多个容器实例，Docker-Compose 并没有解决负载均衡的问题，因此需要借助其它工具实现服务发现及负载均衡。 Docker-Compose 的工程配置文件默认为 docker-compose.yml，可通过环境变量 COMPOSE_FILE 或 -f 参数自定义配置文件，其定义了多个有依赖关系的服务及每个服务运行的容器。使用一个 Dockerfile 模板文件，可以让用户很方便的定义一个单独的应用容器。在工作中，经常会碰到需要多个容器相互配合来完成某项任务的情况。例如要实现一个 Web 项目，除了 Web 服务容器本身，往往还需要再加上后端的数据库服务容器，甚至还包括负载均衡容器等。 同时，Docker-Compose 允许用户通过一个单独的 docker-compose.yml 模板文件（YAML 格式）来定义一组相关联的应用容器为一个项目（project）。Docker-Compose 项目由 Python 编写，调用 Docker 服务提供的 API 来对容器进行管理。因此，只要所操作的平台支持 Docker API，就可以在其上利用 Compose 来进行编排管理。
Docker-Compose项目是Docker官方的一个开源项目，其主要职责是负责实现对Docker容器集群的快速编排。 Docker-Compose将所管理的容器分为三层，分别是工程（project）、服务（service）以及容器（container）。Docker-Compose运行目录下的所有文件（docker-compose.yml，extends文件或环境变量文件等）组成一个工程，若无特殊指定工程名即为当前目录名。一个工程当中可包含多个服务，每个服务中定义了容器运行的镜像，参数，依赖。一个服务当中可包括多个容器实例，Docker-Compose并没有解决负载均衡的问题，因此需要借助其它工具实现服务发现及负载均衡。 Docker-Compose的工程配置文件默认为docker-compose.yml，可通过环境变量COMPOSE_FILE或-f参数自定义配置文件，其定义了多个有依赖关系的服务及每个服务运行的容器。使用一个Dockerfile模板文件，可以让用户很方便的定义一个单独的应用容器。在工作中，经常会碰到需要多个容器相互配合来完成某项任务的情况。例如要实现一个Web项目，除了Web服务容器本身，往往还需要再加上后端的数据库服务容器，甚至还包括负载均衡容器等。 同时，Docker-Compose允许用户通过一个单独的docker-compose.yml模板文件（YAML 格式）来定义一组相关联的应用容器为一个项目（project）。Docker-Compose项目由Python编写，调用Docker服务提供的API来对容器进行管理。因此，只要所操作的平台支持Docker API，就可以在其上利用Compose来进行编排管理。
随着客户的不断增多，客户业务复杂程度不断加大，传统的服务器级别监控由于监控粒度过大，且当告警时需要进一步排查原因，已无法满足需求，为了深入客户业务，保证业务健康运行，我们需要手机服务器系统的日志、客户业务日志，并进行分析处理，做到故障发生时可以第一时间定位故障原因，通知相应的人员处理，那么怎么将日志文件归集，怎么将日志文件呈现，以及故障发生时第一时间通知给相应业务负责的人员，成了很多公司需要面对的问题，因此日志监控系统应运而生。
个人博客纯净版：https://www.fangzhipeng.com/docker/2018/09/11/docker-trans4.html
我们先说一下docker集群之一的swarm集群, 先说一下集群这个东西, 它并不适用于任何项目, 他是为了解决架构中高性能的。将单节点的负载转移到多节点身上, 但是多节点中存在很多问题, 例如节点的状态、通信、调度、任务分配等等, 我们自己来弄的话十分麻烦、相当复杂, 但是使用了docker集群, 它已经帮我们做好了这些工作, 甚至做的更多。
容器技术诞生后，成为云计算领域的绝对主角，但容器本身价值并不大，任何互联网领域都涉及到部署，容器编排才重要。创造docker 的dotCloud 的公司并没有获取到云计算领域的红利，虽然之后也推出的自家的 docker swarm 应用于容器编排，相比设计理念更为先进的 kubernetes，存在更多的问题，事实上 k8s 已经成为容器编排领域的领头羊。几乎所有的互联网公司，云计算公司都使用 k8s 用于容器编排。
在现代应用中，无法容忍系统中断或数据丢失。Redis 作为一种高性能的内存数据库，被广泛应用于缓存、会话管理等场景。然而，即使我们拥有可伸缩的 Redis Cluster 集群，也需要考虑在主节点故障时自动切换到从节点的机制。这时候 Redis Sentinel 就派上用场了。高可用性是分布式应用的核心需求之一。我们在之前的文章中介绍了redis cluster 3主3从集群的搭建，本文将为您介绍如何在现有的 Redis 3 主 3 从 Cluster 集群基础上，使用 Docker Compose 部署 Redis Sentinel，为您的应用构建一个强大的高可用性方案。
使用 ZK 命令行客户端连接 ZK 因为刚才我们启动的那个 ZK 容器并没有绑定宿主机的端口, 因此我们不能直接访问它. 但是我们可以通过 Docker 的 link 机制来对这个 ZK 容器进行访问. 执行如下命令:
docker-compose是docker提供的一个命令行工具，用来定义和运行由多个容器组成的应用。
kafka集群使用了3个节点，依赖zookeeper进行协调，所以会同时搭建一套3节点的zookeeper集群。
Docker是一个开放源代码软件项目，让应用程序布署在软件容器下的工作可以自动化进行，借此在Linux操作系统上，提供一个额外的软件抽象层，以及操作系统层虚拟化的自动管理机制。Docker利用Linux核心中的资源分脱机制，例如cgroups，以及Linux核心名字空间（name space），来创建独立的软件容器（containers）。这可以在单一Linux实体下运作，避免启动一个虚拟机造成的额外负担。Linux核心对名字空间的支持完全隔离了工作环境中应用程序的视野，包括进程树、网络、用户ID与挂载文件系统，而核心的cgroup提供资源隔离，包括CPU、存储器、block I/O与网络。从0.9版本起，Dockers在使用抽象虚拟是经由libvirt的LXC与systemd - nspawn提供界面的基础上，开始包括libcontainer库做为以自己的方式开始直接使用由Linux核心提供的虚拟化的设施，依据行业分析公司“451研究”：“Dockers是有能力打包应用程序及其虚拟容器，可以在任何Linux服务器上运行的依赖性工具，这有助于实现灵活性和便携性，应用程序在任何地方都可以运行，无论是公有云、私有云、单机等。” 。
后期要使用Canal，需要把MySQL的配置文件提取出来，所以要进行相关的配置文件的编写
官网:https://kafka.apache.org/33/documentation.html#quickstart Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。
个人博客纯净版：https://www.fangzhipeng.com/docker/2018/09/11/docker-trans3.html
在本教程中，我们将详细介绍如何使用 Docker 和 docker-compose 在生产环境中部署 Nacos 集群和高可用 MySQL。
ELK日志分析系统是Logstash、Elastcsearch、Kibana开源软件的集合，对外是作为一个日志管理系统的开源方案，它可以从任何来源、任何格式进行日志搜索、分析与可视化展示。
canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议 MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal ) canal 解析 binary log 对象(原始为 byte 流)
Hi all，这是我首次在腾讯云开发者上发文章，先简单介绍下我自己吧，我叫 Jason Thon，魔都一枚小开发，喜欢撸猫撸狗打电玩，练习时长两年半，擅长各种 Bug 制作技巧与 Debug 手艺。
自己平时摸鱼或者自由时间都会浏览一些比较感兴趣的博客文章，也会无意间发现一些比较有用的文章或者工具，但是大部分情况都是当时称赞连连，事后很容易忘记，后面再想找的时候不一定能记得。
消息队列不知道大家看到这个词的时候，会不会觉得它是一个比较高端的技术。消息队列，一般会简称为 MQ（Message Queue）。消息队列是一种帮助开发人员解决系统间异步通信的中间件，常用于解决系统解耦和请求的削峰平谷的问题。
我使用 docker-compose 来创建，新建文件夹并在文件夹下创建一个 “docker-compose.yml”，这个文件描述了具体配置如下：
Compose is a tool for defining and running multi-container Docker applications. With Compose, you use a YAML file to configure your application’s services. Then, with a single command, you create and start all the services from your configuration. To learn more about all the features of Compose, see the list of features.
现在可谓是容器化的时代，云原生的袭来，导致go的崛起，作为一名java开发，现在慌得一批。作为知识储备，小编也是一直学关于docker的东西，还有一些持续继承jenkins。 提到docker，大家都知道，以前需要在linux中安装的，现在只需要pull下来镜像，然后运行就可以直接使用了！非常的干净又卫生，但是想想我们一个web应用，是需要mysql、redis、mq等很多个应用组成的，我们使用了docker，就需要一个个的运行，很是麻烦，而且还需要给他们建立一个网桥，因为容器之间是相互隔离的！
本文的宗旨在于通过简单干净实践的方式教会读者，使用 Docker 部署 Kafka 以及 Kafka 的管理后台，同时基于 DDD 工程使用 Kafka 消息。这里有一个非常重要的点，就是怎么优雅的在 DDD 工程结构下使用 MQ 消息。
Docker Compose会为其创建的每个容器添加标签。如果您想获取由Compose创建的所有容器，可以执行container ls并应用过滤器。
参考了一些 https://www.likecs.com/show-152186.html 中的信息，去 https://github.com/big-data-europe/docker-hive 中把下载 docker-compose.yml 和 hadoop-hive.env 放在 docker-hive路径下，cmd输入 docker-compose up -d，会部署hive相关的容器
本篇笔记是官方Get Started入门教程的Part3 Services，主要演示如何使用 docker-compose.yml 来定义应用服务，docker-compose 可以很方便地对 app 进行调整，并且很容易地实现负载均衡。
Redis Cluster（Redis 集群）是 Redis 分布式解决方案的一部分，它旨在提供高可用性、高性能和横向扩展的功能。Redis Cluster 能够将多个 Redis 节点组合成一个分布式集群，实现数据分片和负载均衡，从而确保在大规模应用场景下的稳定性和可靠性。我们这篇文章了将为大家介绍如何使用 docker-compose 搭建 redis 集群。
今天讲解一下新方式搭建 Wordpress，超级简单。使用 docker-compose 快速安装博客。
The author selected United Nations Foundation to receive a donation as part of the Write for DOnations program.
领取专属 10元无门槛券
手把手带您无忧上云
