最近遇到一个问题，使用爬虫爬取视频地址和url存入文件，之后想用python通过wget来下载视频到本地
Shell 脚本是一种强大的工具，广泛用于自动化和系统管理任务。在编写复杂的 Shell 脚本时，使用函数是一种常见的做法，它有助于提高代码的可读性和可维护性。本文将探讨如何在 Shell 脚本中设计函数的成功和异常返回值，以便于更有效地处理错误和管理脚本的执行流程。
昨天一番为electron写了个开篇，本来今天应该继续的，但一番回来收拾完了快10点了，吃了夜宵看了电影都12点了。好吧，工作太累，放松一下。现在开始写文章了。没时间研究electron了，所以继续写写python吧，这样的方式写python，写一年也写不完啊（捂脸）。
高通量的原始数据通常情况下会上传到NCBI的SRA（Sequence Read Archive）数据库。
对于测试人员，经常使用 Jmeter 或 Postman 进行接口测试与调试，其实市面上还有很多接口测试工具，本篇将介绍一个简单但功能强大的命令行 HTTP 和 API 测试客户端-HTTPie，适用于 API 时代，方便对 API、HTTP服务器和 web 服务进行测试和调试。
使用到的工具：xshell（选择自己喜欢的SSH工具都可以的） 一、宝塔面板安装和配置
今天讲一些redis和lua脚本的相关的东西，lua这个脚本是一个好东西，可以运行在任何平台上，也可以嵌入到大多数语言当中，来扩展其功能。lua脚本是用C语言写的，体积很小，运行速度很快，并且每次的执行都是作为一个原子事务来执行的，我们可以在其中做很多的事情。由于篇幅很多，一次无法概述全部，这个系列可能要通过多篇文章的形式来写，好了，今天我们进入正题吧。
在Linux平台下我们可以利用2.6内核的inotify监控文件系统机制，通过inotify-tools来实现实时同步了。 具体操作如下： 1.安装所需软件 目前各大Linux发行版本都已经具有了rsync与inotify-tools的软件包，推荐通过RPM，yum，apt-get等方式进行安装。 RHEL: [root@server1 ~]# rpm -ivh rsync-* [root@server1 ~]# rpm -ivh inotify-tools-* CentOS: [root@server1 ~]# yum install rsync inotify-tools Ubuntu: [root@server1 ~]# apt-get install rsync inotify-tools 采用源码方式安装的步骤如下： [root@server1 ~]# wget ftp://ftp.samba.org/pub/rsync/rsync-3.0.8.tar.gz [root@server1 ~]# tar xzvf rsync-3.0.8.tar.gz [root@server1 ~]# cd rsync-3.0.8 [root@server1 ~]# ./configure [root@server1 ~]# make [root@server1 ~]# make install [root@server1 ~]# wget http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz [root@server1 ~]# tar xzvf inotify-tools-3.14.tar.gz [root@server1 ~]# cd inotify-tools-3.14 [root@server1 ~]# ./configure [root@server1 ~]# make [root@server1 ~]# make install 2.配置ssh key信任 建议通过普通用户进行操作，理由是通过root操作本身就危险，免密码登陆的root就更危险了。 在两台服务器上创建rsync用户 [root@server1 ~]# useradd -m rsync [root@server1 ~]# passwd rsync [root@server2 ~]# useradd -m rsync [root@server2 ~]# passwd rsync [root@server1 ~]# su - rsync [rsync@server1 ~]$ ssh-keygen -t rsa 在提示保存私钥（key）和公钥（public key）的位置时，使用默认值； 在提示是否需要私钥密码（passphrase）时，直接敲回车，即不使用私钥密码。 之后，将生成一对密钥，id_rsa（私钥文件）和id_rsa.pub（公钥文件），保存在/home/rsync/.ssh/目录下。 将公钥添加到远程主机的 authorized_keys 文件中 将文件上传到远程主机（假设远程主机IP为192.168.10.4） [rsync@server1 ~]$ scp ~/.ssh/id_rsa.pub rsync@192.168.10.4:/home/rsync/ 使用rsync用户SSH到登陆到远程主机，并将公钥添加到 authorized_keys 文件中 [rsync@server2 ~]$ mkdir .ssh [rsync@server2 ~]$ chmod 700 .ssh [rsync@server2 ~]$ mv ~/id_rsa.pub ~/.ssh/authorized_keys 重启SSH服务 [root@server1 ~]# /etc/init.d/sshd restart [root@server2 ~]# /etc/init.d/sshd restart 3.创建inotify_rsync.sh脚本 [root@server1 ~]# vim inotify_rsync.sh 1 #!/bin/sh 2 SRC=/home/rsync/test 3 DST=rsync@192.168.10.4:/home/rsync/test 4 5 /bin/su - rsync 6 /usr/local/bin/inotifywait -mrq -e modify,delete,create,attrib ${SRC} | while read D E F 7 do 8 /usr/bin/rsync -ahqzt
本文内容主要目的在于测试Ibreoffice转换docx文档失败的原因是否和系统有关，之前我在CentOS上和MacOS上均转换不成功，但是使用一个开源的项目却可以，而他用的就是Ubuntu和Ibreoffice，抱着找到原因的心态在Ubuntu上进行测试。
python在Linux集群运维时需要统一python版本，简单的编写python安装脚本，以便统一安装，需要机器有安装包源环境（网络源/本地源）python源码包（下载到本地或在线），源码包国内推荐sohu python源包。 此脚本无任何技术可言，用os.syetem 调用Linux命令，根据返回值判断是否成功执行 仅input_timeout_python 问题 在stackoverflow上寻求的答案。
监控网站URL是否正常最常见的方法莫过于wget和curl命令了，这两个命令都是非常强大的，强大到网友查看帮助都无从选择的地步了。 1.1 wget命令 wget命令的参数非常多，至少也有数十个， 但是运维工作中常用的并不多，老男孩老师把最有用的列表如下。 wget命令 下载网页或文件 --spider 模拟爬虫的行为去访问网站，但不会下载网页 -q, --quiet 安静的访问，禁止输出，类似-o /dev/null功能 -o, --output-file=FILE 记录输出到文件 -T,
wget命令的参数非常多，至少也有数十个， 但是运维工作中常用的并不多，老男孩老师把最有用的列表如下。
记得上次写python的学习笔记是三个月以前了，期间看过，也放下过，这次要坚持下来，一鼓作气，吃下python。
Functrace是一款使用DynamoRIO（http://dynamorio.org/）通过动态检测分析二进制文件的工具。
最近，Google 开源了其 TCP BBR 拥塞控制算法，并提交到了 Linux 内核，从 4.9 开始，Linux 内核已经用上了该算法。根据以往的传统，Google 总是先在自家的生产环境上线运用后，才会将代码开源，此次也不例外。 根据实地测试，在部署了最新版内核并开启了 TCP BBR 的机器上，网速甚至可以提升好几个数量级。 于是我根据目前三大发行版的最新内核，开发了一键安装最新内核并开启 TCP BBR 脚本。
包括服务器和桌面环境，自动识别指令集架构，支持x86/x64/arm/arm64/mips64/loongarch64/riscv64。
我有一个习惯，就是不断的记录在工作中反复用到的知识点，原本我很喜欢使用印象笔记和有道云笔记，其一是云笔记的同步功能，其二是云笔记的搜索功能，当你输入的笔记多了之后，你才会发现搜索功能是多么的重要。 鉴于公司内部对信息安全管理比较严格，这种云笔记在内部禁止了。很遗憾。大凡优秀的企业都不应该在限制这些条条框框。 没办法。在本地使用Atom 加上 Markdown 插件编写笔记。 初期我是这么做： 每天一个页面 这个页面包含当天的待办事项、遇到的问题收集、以及解决办法的思路。 后期，我不这么做了，是因为Atom
wget -c https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
「最近将会更新 Go 语言入门的系列文章，非常基础。适合小白入门或者零基础的同学，已有相关 Go 基础的同学可以略过。」
包含4个子模块，常用的是urllib.request和urllib.error模块
之前介绍过 BTrace，线上问题排查神器 BTrace 的使用，也说它是线上问题排查神器。都是神器，但今天这个也很厉害，是不是更厉害不好说，但是使用起来非常简单。如果你用 BTrace 的话，需要事先写好探测脚本，然后上传到需要排查问题的服务器，然后执行命令。比方说获取某个方法的参数、返回值、异常等。而 Athas 方便在不用写脚本，直接用命令行方式就可以，使用它就好像在用安装在服务器上的各种工具一样，比如 top、jps、jmap 等。
初学python，装饰器是什么玩意儿？ 1：装饰器是函数，只不过该函数可以具有特殊的含义，装饰器用来装饰函数或类，使用装饰器可以在函数执行前和执行后添加相应操作。 2：至少两层函数 方式一： 理解方式 def auth(func): def inner(): print 'before' func() return inner def f1(): print 'f1' ret = auth(f1) f1 = ret f1() 执行过程： # 1：执行d
BBR 是 Google 开源的 TCP BBR 拥塞控制算法，并提交到了 Linux 内核，最新的 4.10 版内核已经用上了该算法。 主要用于网络加速，类似于锐速。不支持OpenVZ的机器。
如果是长期使用gcc9.3需要使用命令： echo “source /opt/rh/devtoolset-9/enable” >>/etc/profile，继续执行make操作
本文仅测试及学习Arthas命令的使用方式,对原理不做探讨,有兴趣的胖友可以戳下方美团博客的链接,讲解的十分不错.
在强化学习里面我们需要让agent运行在一个环境里面，然鹅手动编环境是一件很耗时间的事情, 所以如果有能力使用别人已经编好的环境, 可以节约我们很多时间。 OpenAI gym 就是这样一个模块, 他提供了我们很多优秀的模拟环境. 我们的各种 RL 算法都能使用这些环境.。
下载一个安装包除了yum和rpm之外我们还可以下载源码包 编译并安装 首先下载所有的源码包一定要去官网，为了就是防止源码包被第三方编译 例如我们今天安装一个httpd的源码包，也就是经常说的apache 首先进入官网 apache.org image.png 进入download，并选择一个下载源 image.png 找到httpd image.png 点击下载任意一个（右击复制链接地址即可） image.png 如果使用wget下载的时候发现如下情况，代表没有安装wget服务，安装一下即可
Linux是一个多用户多任务的操作系统，任何一个要使用系统资源，都需要先向管理员申请一个帐号，然后以这个帐号的身份登录进系统。
eBPF (Extended Berkeley Packet Filter) 是 Linux 内核上的一个强大的网络和性能分析工具。它允许开发者在内核运行时动态加载、更新和运行用户定义的代码。
如果架构是Nginx+uWSGI+APP，uWSGI是一个中间件 如果架构是uWSGI+APP，uWSGI是一个服务器
前期准备: yum -y update wget http://mirrors.cnnic.cn/apache/thrift/0.9.0/thrift-0.9.0.tar.gz yum -y groupinstall "Development Tools" wget http://ftp.gnu.org/gnu/autoconf/autoconf-2.69.tar.gz tar xvf autoconf-2.69.tar.gz cd autoconf-2.69 ./configure --prefix=/
本文目的：在centos7.x服务器上利用nginx和uwsgi部署Django应用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
什么是Linux Unix Unix是一个强大的多用户、多任务操作系统。 于1969年在AT&T的贝尔实验室开发。 UNIX的商标权由国际开放标准组织（The Open Group）所拥有。 UNIX操作系统是商业版，需要收费，价格比Microsoft Windows正版要贵一些。 Linux的概述 Linux是基于Unix的一种自由和开放源码的操作系统，存在着许多不同的Linux版本，但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中，比如手机、平板电脑、路由器、台式计算机。诞生于1991 年10 月5 日。是由芬兰赫尔辛基大学学生Linus Torvalds和后来加入的众多爱好者共同开发完成。 Linux的历史 Linux最初是由芬兰赫尔辛基大学学生Linus Torvalds由于自己不满意教学中使用的MINIX操作系统， 所以在1990年底由于个人爱好设计出了LINUX系统核心。后来发布于芬兰最大的ftp服务器上，用户可以免费下载，所以它的周边的程序越来越多，Linux本身也逐渐发展壮大起来，之后Linux在不到三年的时间里成为了一个功能完善，稳定可靠的操作系统。 Linux系统的应用 服务器系统 Web应用服务器、数据库服务器、接口服务器、DNS、FTP等等； 嵌入式系统 路由器、防火墙、手机、PDA、IP 分享器、交换器、家电用品的微电脑控制器等等， 高性能运算、计算密集型应用。 Linux有强大的运算能力。 桌面应用系统 移动手持系统 Linux的版本 Linux的版本分为两种：*内核版本和发行版本；* 内核版本是指在Linus领导下的内核小组开发维护的系统内核的版本号 ； 发行版本是一些组织和公司根据自己发行版的不同而自定的 ； Linux的目录结构
2018年的第一天，祝大家365天元气满满！ 话不多说，先打响新年第一炮（不好意思，我又污了=.=） ***本系列内容仅用于技术分享，请勿对号入座*** 之前有讲过要分享一些云平台渗透的经验，其中最有意思的就属这个python shell了。 首先经过fuzzing发现了这样一个console口： 根据路径判断，这个应该是python的交互式shell，也就是我们平时在cmd命令行敲“python”之后出来的一个console，试了一下，果然是： 📷 但是执行系统命令的时候就返回不正常了，要么是0，要么是2
手机抓包是一名测试工程师常备的技能，比如我想查看一个接口请求的参数、返回值，还有移动设备上的http请求、https请求，这一次的背景是我们想要在app端和小程序端抓取一些视频，这里用腾讯视频作为例子，使用mac系统的Charles软件（有点类似win系统中的fiddler，使用方式上大同小异）来进行视频接口与地址的抓包和嗅探。
看第21章时，介绍到了解析命令行的神器 getopt，了解了 linux 下处理通用命令行的方法。
mount.cifs //IP地址/server /mnt/server -o user=administrator,password=123456 linux 下的server需要自己手动建一个 后面的user与pass 是windows主机的账号和密码 注意空格 和逗号。
云原生这么多微服务，当然需要一个诊断利器来排查问题。 Arthas 是阿里开源的 Java 诊断工具，深受开发者喜爱。在线排查问题，无需重启；动态跟踪 Java 代码；实时监控 JVM 状态。Arthas 支持 JDK 6+，支持 Linux/Mac/Windows，采用命令行交互模式，同时提供丰富的 Tab 自动补全功能，进一步方便进行问题的定位和诊断。
#前言：case条件语句我们常用于实现系统服务启动脚本等场景，case条件语句也相当于if条件语句多分支结构，多个选择，case看起来更规范和易读
（一）Btrace的介绍 BTrace是Java的安全可靠的动态跟踪工具。 他的工作原理是通过 instrument + asm 来对正在运行的java程序中的class类进行动态增强，可以在不用重启的情况下监控系统运行情况，方便的获取程序运行时的数据信息，如方法参数、返回值、全局变量和堆栈信息等，并且做到最少的侵入，占用最少的系统资源。 正如上面描述的一些特性，所以btrace一般是用来排查生产环境jvm问题的一款利器，使用它不用再担心应用程序的日志打的不够全，不够细，也不用为了排查问题一遍遍的重启程序。
一般我们平时写main函数的话，一般都是写不带参数的比较多，而且也习惯了这样写；其实标准的形式写法，main函数是带两个参数的，这两个参数分别是：argc和argv，那么这两个参数是表示什么意思，怎么用呢？今天就给大家分享main函数里面这两个参数的使用，下面看到这样的写法，要明白这样写的意思哦！
wget 简单直接。这意味着你能享受它超凡的下载速度。wget 是一个独立的程序，无需额外的资源库，更不会做其范畴之外的事情。
前段时间，我在准备面试的时搜到的一套 Linux 运维工程师面试题，感觉比较全面，一直保存在草稿，刚在整理后台时翻了出来，干脆就发出来好了，以备不时之需。 1.linux 如何挂在 windows 下的共享目录 mount.cifs //192.168.1.3/server /mnt/server -o user=administrator,pass=123456 linux 下的 server 需要自己手动建一个 后面的 user 与 pass 是 windows 主机的账号和密码 注意空格 和逗号 2
#前言：这篇我们接着写shell的另外一个条件语句case，上篇讲解了if条件语句。case条件语句我们常用于实现系统服务启动脚本等场景，case条件语句也相当于if条件语句多分支结构，多个选择，case看起来更规范和易读
原创作品转载请注明出处https://github.com/mengning/linuxkernel/
学习python一直是断断续续的，今天我们来介绍的是python的一个非常强大的模块---OS,我们来事例的时候不是用的标准的python，而是用的python的同胞兄弟Ipython，ipython 是一个 python 的交互式 shell，比默认的 python shell 好用得多，支持变量自动补全，自动缩近，支持 bash shell 命令，内置了许多很有用的功能和函数。
安装Nginx所需的pcre库 作用：实现伪静态的功能 yum install pcre pcre-devel -y 1.2.2 安装编译依赖包： yum install gcc gcc-devel -y yum install openssl openssl-devel -y 1.2.3 下载源码包： wget -q http://nginx.org/download/nginx-1.6.3.tar.gz 参数：-q 下载不提示。 1.2.4 解压 tar xf nginx-1.6.3.tar.gz
新购买VPS云服务器后常用VPS测试脚本代码：跑分看看你的VPS综合性能。综合测试VPS硬件信息、CPU，核cores，CPU性能跑分，内存，硬盘大小，硬盘I/O speed、speedtest，国内国外下载速度Download Speed和网络延迟，Trace去程回程路由，一键开启BBR等等的测试脚本。测试完之后大家就会对自己的VPS小鸡有个底呢，知道是个什么样的货色。 测试脚本用到的软件：Xshell安装使用教程
一般的Linux下的隐藏目录使用命令ls -l是查看不出来的，只能查看到文件及文件夹
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
