Logstash是一种分布式日志收集框架，经常与ElasticSearch，Kibana配置，组成著名的ELK技术栈，非常适合用来做日志数据的分析。logstash具备实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端；与此同时这根管道还可以让你根据自己的需求在中间加上滤网，Logstash提供里很多功能强大的滤网以满足你的各种应用场景。当然它可以单独出现，作为日志收集软件，你可以收集日志到多种存储系统或临时中转系统，如MySQL，Redis，Kakfa，HDFS, Lucene，Solr等，并不一定是ElasticSearch。
每次看日志信息都需要登陆到远程服务器，会很麻烦，而且不同应用的日志需要切换到不同的日志文件，有时候还要联合多个日志文件查看请求涉及的所有信息。总结下来主要有 3 点问题：
Logstash是一个开源的数据收集引擎，可以水平伸缩，而且logstash整个ELK当中拥有最多插件的一个组件，其可以接收来自不同来源的数据并统一输出到指定的且可以是多个不同目的地。
•监听某个目录下的日志文件，读取文件内容，处理数据，写入 influxdb 。•从 kafka 中消费消息，处理数据，写入 elasticsearch 。
这是最简单的一种ELK架构方式。优点是搭建简单，易于上手。缺点是Logstash耗资源较大，运行占用CPU和内存高。另外没有消息队列缓存，存在数据丢失隐患。建议供学习者和小规模集群使用。
本文详细介绍日志信息从应用到 Elasticsearch 的具体传输过程，是 日志收集集成 的升级篇。
Logstash logstash基于JRuby实现，可以跨平台运行在JVM上 优点 主要的优点就是它的灵活性，这还主要因为它有很多插件。然后它清楚的文档已经直白的配置格式让它可以再多种场景下应用。
本文是牛冬的 《Elasticsearch实战与原理解析》的读书笔记。电子书还是看文字类的舒服，可以在PC上阅读，也可以在手机上阅读。看文章最后，提供原文链接和源代码链接。
消息队列（Messeage Queue，MQ）是在分布式系统架构中常用的一种中间件技术，从字面表述看，是一个存储消息的队列，所以它一般用于给 MQ 中间的两个组件提供通信服务。
RabbitMQ是一个流行的开源消息队列系统，是AMQP（高级消息队列协议）标准的实现，由以高性能、健壮、可伸缩性出名的Erlang语言开发，并继承了这些优点。业界有较多项目使用RabbitMQ，包括OpenStack、Spring、Logstash等。
RabbitMQ 是一个消息中间件，它接收消息并且转发，是“消费-生产者模型”的一个典型的代表，一端往消息队列中不断的写入消息，而另一端则可以读取或者订阅队列中的消息。
被概括为“开源分布式消息代理”，用Erlang编写，有助于在复杂的路由方案中有效地传递消息，可以通过服务器上启用的插件进行扩展，高可用（队列可以在集群中的机器上进行镜像）
消息队列是一种将消息从发送者传递到接收者的机制，被广泛应用于分布式系统、异步处理等场景。 例如，在电商网站上，当顾客下订单时，订单信息被发送到一个消息队列，消费者可以从这个队列读取订单信息并处理，这样可以提高订单处理的效率和灵活性，并且系统可以自动处理过载情况。
由于Elastic X-Pack是面向收费的，所以我们不妨也把X-Pack放进去，看看哪些是由X-Pack带来的，在阅读官网文档时将方便你甄别重点：
在本文中，我们将学习什么是RabbitMQ，它是如何工作的，以及RabbitMQ的核心概念。 RabbitMQ是一个开源的消息代理软件。它接受来自生产者的消息并将其传递给消费者。它就像一个中间人，可以用来减少Web应用服务器的负载和投递时间。
简介 ELK并不是一款软件，是一整套解决方案，是由ElasticSearch,Logstash和Kibana三个开源工具组成:通常是配合使用，而且先后归于Elastic.co公司名下,简称ELK协议栈. 日志的收集和处理 在日常运维工作中，对于系统和业务日志的处理尤为重要。日志主要包括系统日志，应用日志，应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息，检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。 通常，日
在实际使用过程中，发现有时候rabbitmq启动后，很快就能提供服务（在指定端口上侦听，客户端能正常连接到rabbitmq）；而有时候则需要过一段时间才能提供服务，尤其是启动前有许多持久化的消息未被消费掉的时候。在这种情况下，日志文件中可以看到如下类似的日志信息：
AMQP 0-9-1协议中定义了basic.qos方法用于限制信道或者连接上的未确认消息数量，这个消息数据量命名为prefetch_count。不幸的是，信道其实并不是限制未确认消息数量的理想范畴，因为单个信道有可能有多个消费者订阅多个不同的队列，所以信道和队列需要为发送的每个消息相互协调，以确保消息总数量不超过限制，造成了性能下降，单机性能出现瓶颈，在集群方案中耗时更加严重。
作为一个有丰富经验的微服务系统架构师，经常有人问我，“应该选择RabbitMQ还是Kafka？”。基于某些原因， 许多开发者会把这两种技术当做等价的来看待。的确，在一些案例场景下选择RabbitMQ还是Kafka没什么差别，但是这两种技术在底层实现方面是有许多差异的。
开源社区有好多优秀的队列中间件，比如RabbitMQ和Kafka，每个队列都貌似有其特性，在进行工程选择时，往往眼花缭乱，不知所措。对于RabbitMQ和Kafka，到底应该选哪个？
最近在学习Spring Cloud，其中消息总线Spring Cloud Bus是必不可少的，但是Spring Cloud Bus目前只支持RabbitMQ和kafka，因此学习RabbitMQ势在必行，今天先从最基本的安装开始。安装之前我们先认识下RabbitMQ。
目前对消息队列并不了解其原理，本篇文章主要是通过慕课网学习归纳的一些笔记，为后续学习打下基础。 众所周知在对网站设计的时候，会遇到给用户“群发短信”，“订单系统有大量的日志”，“秒杀设计”等，服务器没法处理这种瞬间迸发的压力，这种情况要保证系统正常有效的使用，就需要“消息队列”的帮助。本篇主要通过消息队列的思路进行学习。 主要了解如下知识： 1、队列是个什么东西，他能干什么？ 2、对列的应用场景有哪些？ 3、如何使用队列对业务进行解偶？ 4、如何使用Redis队列来消除高压力？ 5、专业的对列系统RabbitMQ如何使用？ 归纳如下主要内容 @消息队列的概念，原理和场景 @解耦案例：队列处理订单系统和配送系统 @流量削峰案例：Redis的List类型实现秒杀 @RabbitMQ：更专业的消息系统实现方案
参考消息队列模式：点对点 与 发布订阅 消息队列中点对点(RabbitMQ)与发布订阅区别(Kafka)
**Connection** **极大减少了操作系统建立** **TCP connection** **的开销**
父进程与子进程间，同一父继承可以用multiprocess的Manager模块来实现数据互访。
我们在使用MQ搭建系统的时候，经常要开放队列给外接系统访问。外接系统的稳定性是不可控的。为了防止外接系统不稳定导致误操作破坏了MQ的配置或数据，需要对MQ做比较精细的权限控制。
随着58集团业务的飞速发展，日志数量也呈现指数级增长。传统的日志处理方案，已不再适用，此时急需一套功能强大、稳定可靠的日志处理系统。
本文翻译自国外论坛 medium，原文地址：https://betterprogramming.pub/rabbitmq-vs-kafka-1779b5b70c41
原文链接：https://www.toutiao.com/i6754740078179779079
Logstash是一个开源的数据采集引擎。它可以动态地将不同来源的数据统一采集，并按照指定的数据格式进行处理后，将数据加载到其他的目的地。最开始，Logstash主要是针对日志采集，但后来Logstash开发了大量丰富的插件，所以，它可以做更多的海量数据的采集。
前言 随着Devops、云计算、微服务、容器等理念的逐步落地和大力发展，机器越来越多，应用越来越多，服务越来越微，应用运行基础环境越来多样化，容器、虚拟机、物理机不一而足。 面对动辄几百上千个虚拟机、容器，数十种要监控的对象，现有的监控系统还能否支撑的住？来自于容器、虚拟机、物理机的应用日志、系统服务日志如何采用同一套方案快速、完整的收集和检索？怎样的架构、技术方案才更适合如此庞大繁杂的监控需求呢？本文主要从以下几个方面来分享下笔者在日志监控方面的一些经验。 目录 一、DevOps浪潮下带来的监控挑
开源社区有好多优秀的队列中间件，比如RabbitMQ和Kafka，每个队列都貌似有其特性，在进行工程选择时，往往眼花缭乱，不知所措。对于RabbitMQ和Kafka，到底应该选哪个
开源社区有好多优秀的队列中间件，比如RabbitMQ和Kafka，每个队列都貌似有其特性，在进行工程选择时，往往眼花缭乱，不知所措。
Exchange类似于数据通信网络中的交换机，提供消息路由策略。rabbitmq中，producer不是通过信道直接将消息发送给queue，而是先发送给Exchange。一个Exchange可以和多个Queue进行绑定，producer在传递消息的时候，会传递一个ROUTING_KEY，Exchange会根据这个ROUTING_KEY按照特定的路由算法，将消息路由给指定的queue。和Queue一样，Exchange也可设置为持久化，临时或者自动删除。 queue采用轮询的方式从绑定的queue中取消息。
作为一个有丰富经验的微服务系统架构师，经常有人问我，“应该选择RabbitMQ还是Kafka？”。
在这一部分中，我们将探讨RabbitMQ和Apache Kafka以及它们的消息传递方法。每种技术在设计的每个方面都做出了截然不同的决定，每种方面都有优点和缺点。我们不会在这一部分得出任何有力的结论，而是将其视为技术的入门，以便我们可以深入探讨该系列的后续部分。
Erlang Cookie是保证不同节点可以互相通信的密钥, 要保证集群中的不同节点相互通信必须共享相同的Erlang Cookie, 具体的目录存放在/var/lib/rabbitmq/.erlang.cookie.
MQ全称为Message Queue, 消息队列（MQ）是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过 队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。
Kafka 是一个开源的分布式流式平台，它可以处理大量的实时数据，并提供高吞吐量，低延迟，高可靠性和高可扩展性。Kafka 的核心组件包括生产者（Producer），消费者（Consumer），主题（Topic），分区（Partition），副本（Replica），日志（Log），偏移量（Offset）和代理（Broker）。Kafka 的主要特点有：
本篇，我们介绍一下消息队列(MessageQueue)以及生产中比较常使用的框架 RabbitMQ。
RabbitMQ和Kafka都提供持久的消息保证。两者都提供至少一次和至多一次的保证，另外，Kafka在某些限定情况下可以提供精确的一次（exactly-once）保证。
本文翻译自国外论坛 medium，原文地址：https://medium.com/better-programming/rabbitmq-vs-kafka-1ef22a041793
中间件是指位于应用程序和操作系统之间的软件组件，用于协调和连接不同的系统、服务或组件，以实现数据传输、通信和功能扩展。它们在分布式系统、网络通信和应用集成中起着关键的作用。
领取专属 10元无门槛券
手把手带您无忧上云
