消息同步发送和异步发送 ActiveMQ支持同步、异步两种发送模式将消息发送到broker上。 同步发送过程中，发送者发送一条消息会阻塞直到broker反馈一个确认消息，表示消息已经被broker处理。这个机 制提供了消息的安全性保障，但是由于是阻塞的操作，会影响到客户端消息发送的性能 异步发送的过程中，发送者不需要等待broker提供反馈，所以性能相对较高。但是可能会出现消息丢失的情况。所 以使用异步发送的前提是在某些情况下允许出现数据丢失的情况。 默认情况下，非持久化消息是异步发送的，持久化消息并且是在非事务模式下是同步发送的。 但是在开启事务的情况下，消息都是异步发送。由于异步发送的效率会比同步发送性能更高。所以在发送持久化消 息的时候，尽量去开启事务会话。 除了持久化消息和非持久化消息的同步和异步特性以外，我们还可以通过以下几种方式来设置异步发送
prometheus本身报警规则及服务发现策略基于文件配置很不方便，对于非K8S服务监控经常需要操作配置文件，不利于管理系统平台化建设。实现思路：将相关配置信息存储在MySQL里，加入新的逻辑，实现保留文件加载配置的同时，加载MySQL中的信息， 动态生成 static_config及 alert_rule从而实现报警及监控目标的配置UI化.
2被测端监控：Exporter + Prometheus + Grafana 上一节我们介绍了在压测端使用JMeter集群+Influxdb存储+Grafana实时数据展示进行监控压测端，这一节我们来介绍下在被测端的监控工具组合：Exporter + Prometheus + Grafana。 2.1 Exporter 在被测端，如果操作系统为Linux系统，对应的Exporter为node_exporter；如果操作系统为Windows系统，对应的Exporter为windows_exporter.exe。我们先来介绍node_exporter的安装。 1）node_exporter node_exporter可通过以下几个步骤进行和下载和安装。
在连接之前，你需要一个受支持的驱动。下面是一些测试过的驱动及其版本，把你所需要的加入到package.json中。
MySQL5.7并行复制初理解 我们知道MySQL5.7并行复制引入了两个值last_committed和sequence_number。last_committed表示事务提交的时候，上次事务提交的编号，在主库上同时提交的事务设置成相同的last_committed。如果事务具有相同的last_committed，表示这些事务都在一组内，可以进行并行的回放。这个机制也是Commit-Parent-Based SchemeWL#6314中的实现方式。不过之后，官方对这种模式做了改进，所以最新的并行回放机制
工欲善其事必先利其器，对于ES数据的查看，首先先安装一个谷歌浏览器的插件ElasticSearch Head，便于大家后期确认测试数据是否成功；
上面实例中，采用此方法上传的文件，不论图片还是文本，在存储桶中展示均为灰色的文件，这样会导致外联会直接下载文件，从而起不到预览的效果，如下图标红所示：
数据库基本为myql,数量不是很多，过去一直默认开启了防火墙模式通过公司固定IP,远程访问操作mysql。疫情原因，一些小伙伴不喜欢远程通过公司的网络去连接mysql，频繁添加防火墙操作。并且对数据库的操作及其不规范，没有访问操作的日志，也没有各种审核。虽然每次操作数据库前会对数据库进行备份。但是这样的安全操作隐患还是很严重的。在此背景下发现还是需要一款mysql审计平台，规范化数据库的操作。常年混迹于github的我搜索关键词 mysql 审计找到了 Yearning，当然了可以更方便的在gitee的仓库去看！
背景 前面讲了可以自定义 Response，那么这里就讲下请求对象 Request 可以通过 Request 来获取一些数据 获取请求基础信息 @app.get("/base") async def get_base(*, request: Request): res = { # 客户端连接的 host "host": request.client.host, # 客户端连接的端口号 "port": request.client.por
集群中的所有资源可以提供如下方式查看： kubectl api-resources
偶然间注意到实用功能>日志浏览>JVM空闲内存太少了，于是就看了下bolo程序的内存回收情况，发现ygc执行次数太多了，于是就有了改造dockerfile的想法。
本文使用「署名 4.0 国际 (CC BY 4.0)」许可协议，欢迎转载、或重新修改使用，但需要注明来源。 署名 4.0 国际 (CC BY 4.0)
为了与时俱进，介绍基于docker的安装部署，如果想用非docker化部署，可以参考官网
对于新手建站，如果不想使用Oneinstack或者LNMP一键安装包这类命令脚本工具，现在多数人会推荐使用BT宝塔面板，这是一个非常适合新手建站的VPS国产面板。而今天分享的AMH 是国内首个开源的主机面板，使用APL开源软件协议，在《服务器控制面板榜单》一文中有列出AMH面板。
分享如何将自定义容器镜像切换到 Bitnami 容器镜像，以及如何搭配反向代理软件（如 Traefik）配置使用。
推荐使用原因:因为测试和上线时候DEBUG属性再测试时候一般为true上线为false所有可以把其他公用的内容放一个基类中,下面测试和上线都继承基类,用的时候切换类名即可
所谓SQL注入，就是通过把SQL命令插入到Web表单提交或输入域名或页面请求的查询字符串，最终达到欺骗服务器执行恶意的SQL命令。
官方下载 有的时候官方下载连接会失败，所以这里选择docker镜像来进行安装部署，非常的简单
作者：my_bai 来源： http://blog.csdn.net/my_bai/article/details/62226474 首先，jumpserver是什么呢？ Jumpserver 是
1.简介 Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 为什么要学习Spark SQL？ 我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所以Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非常快！同时Spark SQL也支持从Hive中读取数据。 2.特点 *容易整合 *统一的数据访问方式 *兼容Hive *标准的数据连接 3.基本概念 *DataFrame DataFrame(表) = schema(表结构) + Data(表结构，RDD) 就是一个表 是SparkSql 对结构化数据的抽象 DataFrame表现形式就是RDD DataFrame是组织成命名列的数据集。它在概念上等同于关系数据库中的表，但在底层具有更丰富的优化。DataFrames可以从各种来源构建， DataFrame多了数据的结构信息，即schema。 RDD是分布式的Java对象的集合。DataFrame是分布式的Row对象的集合。 DataFrame除了提供了比RDD更丰富的算子以外，更重要的特点是提升执行效率、减少数据读取以及执行计划的优化 *Datasets Dataset是数据的分布式集合。Dataset是在Spark 1.6中添加的一个新接口，是DataFrame之上更高一级的抽象。它提供了RDD的优点（强类型化，使用强大的lambda函数的能力）以及Spark SQL优化后的执行引擎的优点。一个Dataset 可以从JVM对象构造，然后使用函数转换（map， flatMap，filter等）去操作。 Dataset API 支持Scala和Java。 Python不支持Dataset API。 4.创建表 DataFrame 方式一 使用case class 定义表 val df = studentRDD.toDF 方式二 使用SparkSession直接生成表 val df = session.createDataFrame(RowRDD,scheme) 方式三 直接读取一个带格式的文件(json文件) spark.read.json("") 5.视图(虚表) 普通视图 df.createOrReplaceTempView("emp") 只对当前对话有作用 全局视图 df.createGlobalTempView("empG") 在全局(不同会话)有效 前缀:global_temp 6.操作表： 两种语言:SQL,DSL spark.sql("select * from t ").show df.select("name").show
俗话说，没有监控的系统就是在裸奔，好的监控就是运维人员的第三只手，第三只眼。本文将使用prometheus及Grafana搭建一套监控系统来监控主机及数据库（MySQL、Redis）。
之前的文章Zookeeper基础原理&应用场景详解中将Zookeeper的基本原理及其应用场景做了一个详细的介绍，虽然介绍了其底层的存储原理、如何使用Zookeeper来实现分布式锁。但是我认为这样也仅仅只是了解了Zookeeper的一点皮毛而已。所以这篇文章就给大家详细聊聊Zookeeper的核心底层原理。不太熟悉Zookeeper的可以回过头去看看。
实施ChatOps是一种现代工作方式，它将人员，工具和讨论结合在一起，以提高生产力并帮助企业更快地发展。在ChatOps上运行的组织将自动监视和系统解析与人工监督和分析相结合，以最大程度地提高正常运行时间和效率。
实现伪静态方法比较简单，网上方法一搜就出来，web服务器分apache和nginx环境，这两个的实现方式不一样，需要根据自己的环境选择，nginx的环境伪静态如下：
一般Mysql主从复制有三个线程参与，都是单线程：Binlog Dump(主) -> IO Thread (从) -> SQL Thread(从)。
数据库高可用一直是企业的重中之重，而采用主从方案，一主一从，能实现负载均衡，读写分离的作用，分担数据库的负荷，提高性能，而如果搭配keepalived还能实现高可用性，当主服务器故障以后，自动切换到从服务器上。
最近把开发环境从Wiindows切换到了Mac OS X上, 原来在Windows上使用的软件, 有一些要么找不到, 要么就需要付费, 要么就不好用, 这几天折腾到自己满意了. 所以留下个印记.
参考: nextcloud/docker: ⛴ Docker image of Nextcloud
这里考察的是XSS漏洞。对于XSS漏洞，大部分出现的地方在输出环节，如 echo var； var可控且无过滤，或者过滤不严格，导致了XSS漏洞的产生。
最近做了一个应用，需要用邮件发通知，但是免费的邮箱每天发信数量是有限制的，所以呢就想着搭建一个自己的邮件服务器，能够实现邮件的发送和接收即可,其中大概花了一个星期找资料，测试，终于成功了，写个教程分享给大家。
说明：最近发现了一个不错的网盘程序蓝眼云盘，该程序后端使用golang开发，前端使用vue套件开发，而且开源免费，基本上目前除了离线下载外，其它功能都有，同时也支持多用户，超级管理员可以对用户进行权限，文件管理等，外观也蛮好看，安装包仅10M左右，可以同时在Windows、Linux、Mac OS操作系统中运行。作者更新也很频繁，功能也会越来越多，这里就大概说下安装方法。
在更改 SQLAlchemy Session 从每次请求都创建到共享同一个 Session 之后遇到了如下问题：
uwsgi中文文档：http://uwsgi-docs-cn.readthedocs.io/zh_CN/latest/WSGIquickstart.html
MySQL Shell 8.2于10月25日GA。在这一版本里为用户带来了一个非常便利的功能——可以向目标实例复制实例、模式，和表。改变了以往必须通过文件进行导出、导入的方法，极大地提升了便利性。 新功能利用了MySQL的“ LOAD DATA LOCAL INFILE”语句，因此，需要在目标服务器上开启变量：
跨数据库服务器，跨实例访问是比较常见的一种访问方式，在Oracle中可以通过DB LINK的方式来实现。对于MySQL而言，有一个FEDERATED存储引擎与之相对应。同样也是通过创建一个链接方式的形式来访问远程服务器上的数据。本文简要描述了FEDERATED存储引擎，以及演示了基于FEDERATED存储引擎跨实例访问的示例。
Redis功能强大，数据类型丰富，再快的系统，也经不住疯狂的滥用。通过禁用部分高风险功能，并挂上开发的枷锁，业务更能够以简洁、通用的思想去考虑问题，而不是绑定在某种实现上。
原文： https://www.cnblogs.com/xpp142857/p/7373005.html http://blog.codinglabs.org/articles/theory-of-m
本篇开始，将会学习有关 Python 爬虫的相关知识，通过几篇的介绍，完整学习 Python 爬虫的方方面面。
虽然 Redis支持持久化，但将所有数据存储在 Redis 中，成本非常昂贵。建议将热数据 (如 QPS超过 5k) 的数据加载到 Redis 中。低频数据可存储在 Mysql、 ElasticSearch中。
利用条件 （1）web服务器存在SSRF漏洞； （2）web服务器有访问本地或远程服务器的权限； 存在位置 一般是web服务器提供了从其他服务器获取数据的功能。 （1）通过URL分享网页内容 （2）在线翻译 （3）通过url对图片的加载和下载 （4）转码服务 利用实验，开启方法
1、用户通过kubectl或其他api客户端提交需要创建的pod信息给apiServer。 2、apiServer开始生成pod对象的信息，并将信息存入etcd，然后返回确认信息至客户端。 3、apiServer开始反映etcd中的pod对象的变化，其它组件使用watch机制来跟踪检查apiServer上的变动。 4、scheduler发现有新的pod对象要创建，开始为Pod分配主机并将结果信息更新至apiServer。 5、node节点上的kubelet发现有pod调度过来，尝试调用docker启动容器，并将结果回送至apiServer。 6、apiServer将接收到的pod状态信息存入etcd中。
📷 🤞这次都给他拿下🤞 基于Docker快速构建基于Prometheus的MySQL监控系统 先来捋一下数据流的传输 📷 正菜来了⛳⛳⛳ 环境： Mysql：127.0.0.1:3306 mysql_export: 127.0.0.1:9104 prometheus:127.0.0.1:9090 grafana:127.0.0.1:3000 环境设置：（防火墙放行这些指定的端口） firewalld -cmd --zone=public --add-port=3306/tcp --p
🤟 博主介绍: CSDN、头条、知乎等平台优质博主，全网粉丝2w+ ---- 拥有自己的特色的个人博客网站真是一件很酷的事情！不仅在朋友面前可以装杯，还可以随时随地在上面记录自己的学习经验，不用担
redis功能强大，数据类型丰富，再快的系统，也经不住疯狂的滥用。通过禁用部分高风险功能，并挂上开发的枷锁，业务更能够以简洁、通用的思想去考虑问题，而不是绑定在某种实现上。
Redis根据不同的用途，会有不同的持久化策略和逐出策略，所以，在使用和申请 Redis 集群前，请明确是用来做缓存还是存储。Redis的集群有主从和 cluster 两种模式，各有优缺点。以下规范不区分集群模式，我们分别从使用场景和操作限制两方面说明。
Seafile 是国产开源的一个自建网盘，作为网盘十分优越，客户端支持多平台，支持团队协作，可以在线编辑Office文件，最重要的是支持自行部署。
Disconf服务依赖的环境除了前两篇博文描述的外，还需要一个java的servlet容器（tomcat），因为Disconf项目是前后的分离的，所以还需要一个httpweb服务器（推荐使用nginx），当然还需要数据持久化话数据库mysql还持久化我们的数据
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
