高级开发工程师

devops探索

代码在线跑，知识轻松学

Python精品学习库

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

博客搬家 | 分享价值百万资源包

往期视频·干货材料·成员作品 最新动态

技术创作特训营·精选知识专栏

新邀入驻腾讯云开发者社区，福利多多！

如何运用「云、端融合的数智化安全体系」高效护航数据安全

左手AI，右手安全 —— 一汽丰田数字化转型之路

当我们打开一个网页，在上面发现一些了有用的信息之后，于是通过人工的方式从网页上一顿操作将信息记录起来，而通过爬虫，则可以利用一些设定好的规则以及方法来自动的从该网页上获取信息，总而言之就是解放双手，释放天性。

使用python多进程爬取高清美图

logstash就是用来处理数据的，通过建一个管道，将数据按照不同的阶段，进行处理，并最终输出的一个过程，以输入到elasticsearch为例，如下图：

日志收集详解之logstash解析日志格式(一)

在写这个小工具之前，我就在想一定要非常简单，足够简单，所以这里用了不到 200 行代码，写了一个，可以说是非常简单。

不到200行代码，使用python写一个超简单的跳板机工具

这是关于k8s的日志采集，部署方式是采用DaemonSet的方式，采集时按照k8s集群的namespace进行分类，然后根据namespace的名称创建不同的topic到kafka中

百亿架构之filebeat讲解

正常grafana看板的颜色非常单调，时间长了也会审美疲劳，对于那些喜新厌旧的人来说，多少有点不能满足，于是我就在网上找了一些方式来让我的grafana看板变得更加炫酷，讲之前先贴个对比图吧

装X神器，让你的grafana看板变得炫酷起来

prometheus我们都知道它是最近几年特别火的一个开源的监控工具，原生支持kubernetes，如果你使用的是kubernetes集群，那么使用prometheus将会是非常方便的，而且prometheus也提供了报警工具alertmanager，实际上在prometheus的架构中，告警能力是单独的一部分，主要是通过自定义一堆的rule即告警规则，来周期性的对告警规则进行计算，并且会根据设置的报警触发条件，如果满足，就会进行告警，也就是会向alertmanager发送告警信息，进而由alertmanager进行告警。

​prometheus中使用python手写webhook完成告警

现在这家单位的CICD比较的混乱，然后突发奇想，想改造下，于是就用pipeline做了一个简单的流水线，下面是关于它的一些介绍

结合k8s和pipeline的流水线，并通过k8s接口完成镜像升级

问题记录
一个vue项目的前端，在登录时去请求另一个接口进行登录，请求时返回404，原因就是在请求www.a.com/forward/login/v1/doLogin?loginName=test&p

nginx反向代理’/’的问题记录

占位符类型
通用占位符
整型
浮点数
字符串
结构体
布尔值
指针
下文将结合fmt.Printf来进行举例说明
1. 通用占位符
1.1 %v 万能占位符
以默认方式打印变量的值
1
2
3
4
5
6
7
8
9	package main

import "fmt"

func main() {
	name := "dogfei"
	country := "中国"
	fmt.Printf("name: %v, country: %v\n", name, country)
}

1.2 %T 打印变量类型

go基础-格式化输出时的占位符总结(draft)

每有一个新的项目，就要把现有环境的所有任务都再复制一遍，一个一个的太烦琐了，且不敢保证能100%正确，所以有没有一个脚本可以代替我们去批量执行呢？ groovy脚本

Jenkins使用脚本批量复制视图内的所有任务

首先我们需要在k8s集群中准备边缘节点，用来部署ingress（需要对边缘节点打污点或者使用亲和性/反亲和性），如果是私有化部署，需要对ingress做高可用，如果资源充足，还可以再做一次负载均衡，这里在本地测试的话，直接在其中一个node上启动一个就可以了 

ingress通过daemonSet,nodeSelector,hostNetwork方式部署

有这样一种场景，当我们有一个使用java写的项目，比如这个时候做了前后端分离，由一个服务变成了俩服务，这个时候前端访问地址比如说是：www.a.com，这个服务需要掉后端接口，比如www.b.com，这个时候倒是可以，但是使用了两个不同的域名，并且这本来就是一个项目，所以正常来说应该使用一个域名，即www.a.com/api，类似这种。
 但是这样会有一个问题，在进行请求时，由于使用了一个域名，而后面的URI是不一样的，所以要么修改代码，加上这么一层路径，要么修改nginx的location，在转发时把携带的路径给去掉。
 第一种方式可行，但是如果项目非常多，几十个项目，这种情况协调起来都费劲，所以通过nginx，把路径去掉，这种方式不需要研发做任务调整，还是非常灵活的。

ingress中虚拟路径解决方案

可以看到monitoring这个namespace一直处于Terminating状态，一般情况下强删是删不掉的，强删的方法如下：

删除处于Terminating状态的namespace

Kubernetes从1.1版本开始， 新增了名为Horizontal Pod Autoscaler（HPA） 的控制器， 用于实现基于CPU使用率进行自动Pod扩缩容的功能。 HPA控制器基于Master的kube-controller-manager服务启动参数–horizontal-pod-autoscaler-sync-period定义的探测周期（默认值为15s） ， 周期性地监测目标Pod的资源性能指标， 并与HPA资源对象中的扩缩容条件进行对比， 在满足条件时对Pod副本数量进行调整。Kubernetes在早期版本中， 只能基于Pod的CPU使用率进行自动扩缩容操作， 关于CPU使用率的数据来源于Heapster组件。 Kubernetes从1.6版本开始， 引入了基于应用自定义性能指标的HPA机制， 并在1.9版本之后逐步成熟。

k8s中pod的自动扩缩容

MVC(Model View Controller)
传统的Web开发的标准设计模型
1
2
3	C: 用于接收请求，处理业务逻辑，与Model和View交互，返回结果
M: 主要封装对数据库的访问，

django基础之MVC和MVT介绍与理解

当我们查看java日志的时候，有一些报错日志，并不会是输出到一行中，而是唰唰唰打印一堆，就像下面这样

命令小技巧总结

点击“+”，新建视图，然后输入名称，选择列表视图，勾选”使用正则表达式在视图中显示任务“

新增项目时如何修改Jenkins

LVM是 Logical Volume Manager（逻辑卷管理）的简写，它是Linux环境下对磁盘分区进行管理的一种机制。LVM将一个或多个磁盘分区（PV）虚拟为一个卷组（VG），相当于一个大的硬盘，我们可以在上面划分一些逻辑卷（LV）。当卷组的空间不够使用时，可以将新的磁盘分区加入进来。我们还可以从卷组剩余空间上划分一些空间给空间不够用的逻辑卷使用。

LVM添加硬盘并扩容至已有分区

由于使用虚机部署，跟结合k8s和docker有一些区别，且此部署是针对私有化部署，例如本例中的重庆项目，外面是无法访问到服务器的，像这种场景的部署，需要具备以下条件：

Jenkins结合ansible实现虚机部署

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

腾讯云开发者社区推出了devops探索专栏，为你提供了devops探索的相关文章，致力于帮助开发者快速成长与发展。

devops探索

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐