翻译自 What Do You Know about Your Linux System?
上面是说的cgroups 是内核提供的功能，但现在我们在用户空间想使用的是cgroup的功能。其原理是：linux 内核有一个很强大的模块叫做VFS(vritual File System)，VFS 把具体的文件系统的细节隐藏起来，给用户态进程提供一个完备的文件系统API接口。linux 也是通过VFS 把cgroups 功能暴漏给用户态进程的，cgroups 与VFS 之间的衔接部分叫做cgroups 文件系统。
KubeSphere v3.0.0进行了重大升级，其中多集群管理功能是重要更新之一。
taskPHP基于原生态php开发的定时计划任务框架,利用多进程实现任务的分配和运行,利用原生态php内存共享实现进程间通信,支持linux和windows。有较好的伸缩性、扩展性、健壮稳定性而被多家公司使用，同时也希望开源爱好者一起贡献。 项目地址 github地址: https://github.com/qq8044023/taskPHP oschina地址: http://git.oschina.net/cqcqphper/taskPHP 框架概况 框架目录结构: taskPHP 根目录 |-- core 框架系统目录 | |-- lib 框架核心文件目录 | | |-- .... 众多的框架核心类库文件 | |-- guide.php 框架引导文件 | |-- distribute_listen.php 任务派发进程入口 | |-- worker_listen.php 任务执行进程入口 |-- logs 日志目录 |-- tasks 用户任务目录 | |-- demo demo任务 | | |-- Lib demo任务的扩展目录 | | |-- demoTask.php demo任务类文件 | | |-- config.php demo任务配置文件 | | ... 更多任务 | |-- config.php 全局配置文件 |-- main.php 框架入口文件 |-- windows_single.cmd windows快速启动文件 框架说明 linux下子进程执行任务,修改脚本无需重启后台服务立即生效,windows下修改任务脚本后需重启后台脚本 但往系统添加执行不受影响 使用内存共享实现进程通信，堵塞式消息队列,整个框架的运行无需第三方扩展。 任务派发及具体任务执行不在同个进程[distribute_listen.php]和[worker_listen.php],windows和linux下启用入口文件[main.php],windows下可运行[windows_single.cmd]快速启动 执行时间语法跟crontab类似实现crontab的运行规则,并有辅助工具在Utils类,且支持秒设置. 添加任务简单,只需继承Task基类,实现任务入口run方法 注意事项 由于任务存在派发时间，所以任务运行的时间可能会有1-2秒的误差。 windows下执行任务在循环里,编写任务有问题或调用exit将导致后台脚本停止,linux下无此问题。 使用说明 时间配置格式说明: * * * * * * * //格式 :秒 分 时 天 月 年 周 10 * * * * * * //表示每一分钟的第10秒运行 /10 * * * * * * //表示每10秒运行 系统命令说明: mian.php [start] 启动 可不带参数 mian.php close 结束 main.php reload 重新加载任务 main.php delete demo 删除任务 main.php select 查看任务列表 Windows 命令操作 调试启动程序 D:\phpStudy\wwwroot\ostaskphp>php main.php ------------------------- taskPHP ------------------------------ taskPHP version:1.0 PHP version:5.6.1 ------------------------- taskPHP PROCESS ---------------------- listen processes status distribute N [OK] worker
前言 互联网公司一般都会运行着几千到几万的服务器。一般的监控会采用类似ganglia/falcon类似的工具，在本地启动一个agent，把数据统计上报到集中式的服务器中，用来监控和分析系统的问题。 另外，有atop这样的工具，可以运行在服务器上，在本地写下record文件，atop命令本身也可以分析record文件，其中保存的数据的粒度更加细致，可以精确到线程级别，还有IPC，主频等等。 经验来看，atop每天生成的record文件大约500M左右，保存最近的一段时间，似乎也不是问题。用集中式的监控，配合上atop，对于问题分析来说，会有一些帮助。 分析 1,atop的改进 atop的代码量本身并不大，官方的代码在： https://github.com/Atoptool/atop.git 在使用atop的过程中，遇到了一些问题，作者也做了相应的修改： https://github.com/bytedance/atop 在bytedance-features分支上。作者把patch发送给maintainer，但是maintainer一直没有回复。在这里，列举一下改动的内容，如下。 2,smaps的优化 尝试使用smaps_rollup代替smaps，用来提高atop收集进程的PSS内存使用的效率。这个patch会在4.14上有所提升。一般情况下，建议在atop收集的时候不要加上-R选项。因为在atop读/proc/PID/smaps的时候，会walk整个PID进程的页表，期间会lock住内存页表的锁。如果在这期间PID进程发生了page fault，也需要lock，就会造成锁的进程。影响PID进程的性能。 3,数据破损问题 atop使用裸数据的方式保存record文件，其中包括三部分：raw record，就是头信息; scompbuf，是系统状态信息的数据; pcompbuf，是task级的状态信息数据，大小和task数量有关系。为了减小record文件的大小，对于 scompbuf和pcompbuf还采用了压缩。所以，数据必须完整的 rr,scompbuf,pcompbuf顺序写下去的，否则atop无法识别数据。 good case : ... rr,scompbuf,pcompbuf ... rr,scompbuf,pcompbuf ... bad case : ... rr,scompbuf[missing] ... rr,scompbuf,pcompbuf … 例如上面的例子，在写完rr,scompbuf之后，atop发生了crash，再重新启动，就会丢失后面的 pcompbuf，造成了整个record文件的不可用。 在patch中，作者使用writev进行写入数据，要么都写入成功，要么都写入不成功，用来防止这种case发生。 4,IPC造成的虚拟机性能抖动 IPC,instructions per cycle。可以用来衡量CPU运行的效率。通常是通过perf采集的数据。 提到perf，就要说明一下它的工作原理：intel的CPU上集成了PMU，用来采集硬件的信息。可以收集的硬件信息很多，可以通过perf list | grep Hardware来看。但是硬件的寄存器有数量限制，所以需要通过wrmsr指令告诉CPU收集哪些具体的事件，再通过rdpmc指令来读取对应的数据。 在虚拟化场景下，在虚拟机中使用PMU又复杂了一下，在虚拟机中执行wrmsr和rdpmc的时候，都需要虚拟机从none-root模式退出，影响了虚拟机的性能。 在patch中，作者让atop支持perfevents的配置，支持三种模式：enable模式，启用perf收集IPC。disable模式，禁用perf收集IPC。auto模式，在启动的时候，atop自动检查是否在虚拟机中运行，如果在虚拟机中，禁用;在物理级中，启用。默认是auto模式。 5,减小record文件 如果是大规格的服务器，40CPU，甚至到96CPU，通常运行大量的docker，里面运行了很多的task。其中很多task占用资源很少，但是依然会占用atop的record文件。 在patch中，支持了配置参数recordcputop & recordmemtop。用来配置收集cpu和内存的topN。其他的task可以忽略。作者测试线上的服务器36CPU, about 500 processes的场景，大约节省了40%的磁盘空间。 6,加速读record 一般在ganglia上看到系统抖动，例如下午三点十分，在对应的服务器上执行： atop -r / var/log/atop/atop_xxxx -b 15:10 如前文所述，因为rawrecord的原因，则会从头读到尾，直到匹配到对应的时间。对于log盘的使用，尤其是虚拟化场景，会限制IOPS。这
通过使用一个名为 ftrace 的机制来阐明追踪内核函数的一些情况。它使得任何 Linux 用户可以轻松地追踪内核，并且了解更多关于 Linux 内核内部如何工作。
【Linux – Date formatting】 【编写shell 脚本所需的语法和示例】
框架概况 框架目录结构 框架说明 1、linux下子进程执行任务,修改脚本无需重启后台服务立即生效,windows下修改任务脚本后需重启后台脚本 但往系统添加执行不受影响 2、使用内存共享实现进程通
项目开发中，如果有定时任务的业务要求，我们会使用linux的crontab来解决，但是它的最小粒度是分钟级别，如果要求粒度是秒级别的，甚至毫秒级别的，crontab就无法满足，值得庆幸的是swoole提供的强大的毫秒定时器。 应用场景举例 我们可能会遇到这样的场景：
NCL是气象和海洋绘图中常用的软件，其专门为处理气象和海洋数据设计，因此在处理两类数据有着较高的效率。同时，随着NCL多个版本的优化，NCL提供了大量优秀的函数，来帮助使用者快速熟悉并使用气象和海洋中常用的统计方法。虽然现在NCL在向python转移，但是短时间内NCL依旧不会过时。
几乎每天都会有新的系统漏洞产生，系统管理员经常忙于管理服务器，有时候会忽略一些很明显的安全问题。扫描 Linux 服务器以查找安全问题并不是很简单的事情，所以有时候需要借助于一些专门的工具。
自从Linux内核代码迁移到Git之后，Linux内核配置/构建系统(也称为Kconfig/kBuild)已经存在了很长时间。然而，作为支持基础设施，它很少受到关注；即使在日常工作中使用它的内核开发人员也从未真正考虑过它。
在上一篇文章中介绍了提高socket性能的几个socket选项，其中给出了几个源于内核源码树中的例子，如果选择使用内核树中的Makefile进行编译的话，可能会出现与本地头文件冲突的情况，如重复定义变量，结构体类型不对等错误。这些问题大大影响了BPF程序的可移植性。
完全公平调度器CFS中有两个函数可用来增删队列的成员:enqueue_task_fair和dequeue_task_fair分别用来向CFS就绪队列中添加或者删除进程
到目前为止，我们只考虑了实时系统上的调度。事实上， Linux可以做得更好些。除了支持多个CPU之外，内核也提供其他几种与调度相关的增强功能，在以后几节里会论述。但请注意，这些增强功能大大增加了调度器的复杂性，因此我主要考虑简化的情形，目的在于说明实质性的原理，而不考虑所有的边界情形和调度中出现的奇异情况。
许庆伟：龙蜥社区eBPF技术探索SIG组 Maintainer & Linux Kernel Security Researcher
ftrace 现在已经是内核中的一部分了，你不再需要事先安装它了。也就是说，如果你在使用最近的 Linux 系统，那么 ftrace 是已经启用了的。为了验证 ftrace 是否可用，运行 mount 命令并查找 tracefs。如果你看到类似下面的输出，表示 ftrace 已经启用，你可以轻松地尝试本文中下面的例子。下面有些命令需要在 root 用户下使用（用 sudo 执行是不够的）。
image.png 头图是加拿大lake simcoe自然风光，非常漂亮，基本没有中国游客，适合深度游。 这是操作系统底层技术第二篇，前一篇是《Codegen技术学习》 CPU亲和性 简单地说，CPU亲和性（affinity）就是进程要在某个给定的CPU上尽量长时间地运行而不被迁移到其他处理器的倾向性。 Linux内核进程调度器天生就具有被称为软CPU亲和性（affinity）的特性，这意味着进程通常不会在处理器之间频繁迁移。这种状态正是我们希望的，因为进程迁移的频率小就意味着产生的负载小。2.6版本的L
中断是计算机体系结构中的一个重要概念，用于处理器响应异步事件。中断设计对于提高计算机系统的性能和响应能力至关重要。下面详细讲解中断的工作原理、类型、中断处理流程以及中断设计的关键组件，并附上逻辑示意图。
原文：https://salls.github.io/Linux-Kernel-CVE-2017-5123/
原文：https://salls.github.io/Linux-Kernel-CVE-2017-5123/ 译者：hello1900@知道创宇404实验室 本文介绍如何利用Linux内核漏洞CVE-2017-5123提升权限，突破SEMP、SMAP、Chrome沙箱全方位保护。 背 景 在系统调用处理阶段，内核需要具备读取和写入触发系统调用进程内存的能力。为此，内核设有copy_from_user与put_user等特殊函数，用于将数据复制进出用户区。在较高级别，put_user的功能大致如下：
Slurm为cgroup v2的系统提供支持。这个cgroup版本的文档可以在kernel.org Control Cgroup v2文档中找到。
大家好，我是程栩，一个专注于性能的大厂程序员，分享包括但不限于计算机体系结构、性能优化、云原生的知识。
Celery需要一个方法来发送和接受消息，这个方法被称为消息代理(message broker)。Celery支持多种消息代理，如RabbitMQ、Redis等。
echo 在linux帮助文档的描述是显示一行文本，类似于python和java等编程语言中的print语句，实际上它的作用不仅仅如此。可以使用man echo查看详细的参数说明。
Commander是一款功能强大的命令与控制C2服务器框架，在该工具的帮助下，广大红队和蓝队研究人员可以轻松部署自己的C2组件。该工具基于Python开发、Flask和SQLite开发，并提供了Python和C版本的代理。
Remote Desktop mac版是一款mac远程管理软件，向最终用户提供实时在线帮助.创建详细的软硬件报告，以及自动化日常管理任务，拥有Remote Desktop mac一切都在您自己的Mac上完成。
Nginx通过使用多路复用IO（如Linux的epoll、FreeBSD的kqueue等）技术很好的解决了c10k问题，但前提是Nginx的请求不能有阻塞操作，否则将会导致整个Nginx进程停止服务。
dotnet团队官方博客发布了一篇HTTP3的文章：HTTP/3 support in .NET 6：https://devblogs.microsoft.com/dotnet/http-3-support-in-dotnet-6/。文章介绍了.NET 6 将预览支持HTTP3，.NET 7正式支持HTTP3，原因主要是HTTP/3 的 RFC 尚未最终确定，因此仍然可以更改，并且在 .NET 6 中，HTTP/3 可能存在行为或性能问题。将 HTTP/3 包含在 .NET 6 中，可以开始尝试它。
多任务系统中, 内核负责管理各个任务, 或者说为每个任务分配CPU时间, 并且负责任务之间的通讯.
由于 caddy 使用了 cf 的 dns 插件，更新的时候比较麻烦，所以想着使用 docker 来部署，自己只需要 build 最新的 caddy 镜像就可以了。
✅ 解决关于docker运行容器自动开放端口问题 firewall无法控制docker端口情况
Ansible中的单元测试是确保角色按预期运行的关键。通过允许您指定针对不同环境测试角色的方案，Molecule使此过程更容易。使用Ansible，Molecule将角色卸载到配置器，该配置器在配置的环境中部署角色并调用验证器（例如Testinfra）来检查配置偏差。这可确保您的角色在该特定方案中对环境进行了所有预期的更改。
基础常用命令 shutdown -h now关闭服务器 cd /home 进入 '/ home' 目录' cd .. 返回上一级目录 cd ../.. 返回上两级目录 cd - 返回上次所在的目录 pwd 显示工作路径 ls 查看目录中的文件 ls -F 查看目录中的文件 ls -l 显示文件和目录的详细资料 ls -a 显示隐藏文件 ls *[0-9]* 显示包含数字的文件名和目录名 tree 显示文件和目录由根目录开始的树形结构(1) lstree 显示文件和目录由根目录开始的树形结构(2) mkdir
启动一个新的JVM进程将耗时1秒左右，对于运行时间较长（比如1分钟以上）的job影响不大，但如果都是时间很短的task，那么频繁启停JVM会有开销。
引言 全文约定：$为命令提示符、greatsql>为 GreatSQL 数据库提示符。在后续阅读中，依据此约定进行理解与操作 Rapid 引擎 从 GreatSQL 8.0.32-25 版本开始，新增Rapid存储引擎，该引擎使得 GreatSQL 能满足联机分析（OLAP）查询请求。 GreatSQL Rapid引擎性能表现优异，在32C64G测试机环境下，TPC-H 100G测试中22条SQL总耗时仅需不到80秒
后台服务的业务逻辑中，或多或少需要一些异步去处理的脚本逻辑，例如业务的统计、上报、数据运算，定时监控等等。实现的方法也有很多，用linux自带的crontab，定时清理服务器上的日志就很常用，由于Python处理数据的优势，很多开发童鞋也会用python来跑一些需要运算的脚本，另外还有网上流行的一些脚本框架，一些大公司也有自己研发的框架服务。在最近的项目中，接触到swoole2+与php7+搭配的性能优越，普通4核心CPU，单机压测qps 10000+/s，突生灵感，除了用来搭后端服务，能不能用来搭一个脚本服务呢？
关于Android Gradle更多详细内容已经出书《Android Gradle权威指南》，大家可以购买，看更多没有介绍的知识点和内容，购买链接如下
Python 中的 asyncio 模块提供了一些有用的 debug 工具，可以帮助我们更好地理解异步IO程序的运行状态，并找到程序中的错误。在本节中，我们将介绍 asyncio 的 debug 工具，并介绍如何使用这些工具进行调试。
前言： 在《clocksource的管理和虚拟化》中，大概分析了kvm clock，tsc，hpet等clock source。其中尤其是kvm clock计算尤其复杂。其目的就在于让Guest中的clock更加准确。但是问题还没有完，Guest只是在Host中的一个进程，还是会发生时钟跳变。下文具体分析。 分析： 1，analysis 当前Host的墙上时间是HWT1，此时Guest中的墙上时间GWT1，如果是同一个时区的话，此时HWT1和GWT1是相等的。 如果此时Host中发生了调度，Guest所
cgroups是Linux下控制一个（或一组）进程的资源限制机制，全称是control groups，可以对cpu、内存等资源做精细化控制，比如目前很多的Docker在Linux下就是基于cgroups提供的资源限制机制来实现资源控制的；除此之外，开发者也可以指直接基于cgroups来进行进程资源控制，比如8核的机器上部署了一个web服务和一个计算服务，可以让web服务仅可使用其中6个核，把剩下的两个核留给计算服务。cgroups cpu限制除了可以限制使用多少/哪几个核心之外，还可以设置cpu占用比（注意占用比是各自都跑满情况下的使用比例，如果一个cgroup空闲而另一个繁忙，那么繁忙的cgroup是有可能占满整个cpu核心的）。
负荷权重用struct load_weight数据结构来表示, 保存着进程权重值weight。其定义在/include/linux/sched.h, v=4.6, L1195, 如下所示
系统编程课上遇到的一个问题：Linux下，如果一个 pthread_create 创建的线程没有被 pthread_join 回收，是否会和僵尸进程一样，产生“僵尸线程”？
描述: auditd是Linux审计系统的用户空间组件, 该守护进程它负责将审计记录写入磁盘，我们可以使用 ausearch 或 aureport 实用程序查看日志。 与此同时，我们可以使用 auditctl 实用程序配置审计系统或加载规则，在 auditd 启动期间审计规则 /etc/audit/audit.rules，由 auditctl 读取并加载到内核中或者还有一个 augenrules 程序，它读取位于 /etc/audit/rules.d/ 中的规则并将它们编译成一个 audit.rules 文件。
今天要探讨的是最近不知道为什么突然间火起来的面试题：当JAVA程序出现OOM之后，程序还能正常被访问吗？答案是可以的，很多时候他并不会直接导致程序崩溃，而是JVM会抛出一个error，告知你程序内存溢出了。当然也要分操作系统。
Spring Cloud Task是一个轻量级的框架，用于独立和可重用的任务执行，通常用于批处理和ETL作业。Spring Cloud Task提供了一种简单的方法，可以将任务作为Spring Boot应用程序打包和部署，并提供了一些与任务相关的功能，如任务执行状态的管理、任务执行参数的传递等。
Yarn上可以运行各种类型的分布式运算程序（mapreduce只是其中的一种），比如mapreduce、storm程序，spark程序等。
HealthCheck 不仅是对应用程序内运行情况、数据流通情况进行检查，还包括应用程序对外部服务或依赖资源的健康检查。 健康检查通常是以暴露应用程序的HTTP端点的形式实施，可用于配置健康探测的的场景有 ：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
即时通信 IM
