展开

关键词

Scrapyd 输出

Scrapyd运行会输出到本地,导致文件会越来越大,几十个G,这个其实就是Scrapy控制台的输出。但是这个其实有用的部分也就是最后那几百行而已,如果出错,去查看下出错信息就好了。 所以现在可以写一个脚本,来更新文件,将最后的100行保存下来就好了。 Scrapyd默认的目录是在用户文件夹下的logs目录。 所以在这里我们指dir=~logs 新建bash脚本,内容如下: #! 然后crontab创建任务。 执行 crontab -e 我们想要一分钟一次文件。 输入 *1 * * * * binsh ~clean.sh 然后退出之后,crontab就可以每隔一分钟执行一次clean.sh,了。 这样我们就不怕文件大量占用主机空间啦~

2.2K00

和logrotate

常见应用服务,都会记录,方便问题查询和故障位。linux系统本身也会有输出。 策略一般是,通过一的规则,对进行,防止间增长占满磁盘空间。 1. ,最先想到的方法是通过crontab+shell的方式。通过对后缀表示或mtime进行判断,rm相应的,必要候还需要reload应用。 1.1 crontab显示 例如,查找7天前的并删除(保留7天) # 脚本 find . -name *.log -mtime +7 -delete find . -name *.log -type f -newermt 2018-11-01 00:00 | xargs rm 1.2 crontab隐式 部分应用安装自带脚本,但具体的逻辑隐层于脚本中 2. logrotate工具 logrotate是linux自带的工具,linux系统就是依赖logrotate完成。

3.4K40
  • 广告
    关闭

    90+款云产品免费体验

    提供包括云服务器,云数据库在内的90+款云计算产品。打造一站式的云产品试用服务,助力开发者和企业零门槛上云。

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    linux

    for dir in `awk '{print $1}' /root/dirlist.txt`

    16230

    安全之linux

    作者:Evi1oX想到入侵到别人服务器..那么擦屁股的事情肯要做的..即使你挂了代之类的.我们用的常见的思路1.直接删除文件2.删除我们自己 ip 的内容3.rm -rf 如果直接删除文件, 那么管员也会从别的地方下手.或者恢复文件之类的.我有一个大胆的想法, 替换自己的 ip为随机 ip . 然后多次替换即可.为了判断 for 循环次数 .我们通过 grep |wc 命令来决执行次数.完整代码如下:#! 当然.我还是建议使用 python 完成这项工作..当超过10w 或者100w 级以上的数量 . bash 的执行速度就会显得极其鸡肋.如需在目标机上使用.建议使用 pyinstaller 完成这项工作

    59750

    Linux 系统 varlogjournal 垃圾

    是一个改进型服务,可以收集来自内核、系统早期启动阶段的、系统守护进程在启动和运行中的标准输出和错误信息,还有syslog的。 该服务仅仅把集中保存在单一结构的文件runlog中,由于是经历过压缩和格式化的二进制数据,所以在查看和位的候很迅速。默认情况下并不会持久化保存,只会保留一个月的Linux到底有没有占用空间的垃圾文件,这个看如何判了,例如好几年前、几个月前的文件、系统文件,基本没什么用处,算垃圾文件吗? systemd情况,毫无价值,用journalctl --vacuum-size=10M命令将其之后,腾出了2.7G的空间。 varlogjournal 文件的方法1、用echo命令,将空字符串内容重向到指文件中echo > system.journal说明:此方法只会空一次,一段间后还要再次手动空很麻烦,这里可以用以下命令让

    1.3K21

    Linux 系统 varlogjournal 垃圾

    是一个改进型服务,可以收集来自内核、系统早期启动阶段的、系统守护进程在启动和运行中的标准输出和错误信息,还有syslog的。 该服务仅仅把集中保存在单一结构的文件runlog中,由于是经历过压缩和格式化的二进制数据,所以在查看和位的候很迅速。 本文转自米扑博客:Linux 系统 varlogjournal 垃圾默认情况下并不会持久化保存,只会保留一个月的。另外,一些rsyslog无法收集的也会被journal记录到。 Linux到底有没有占用空间的垃圾文件,这个看如何判了,例如好几年前、几个月前的文件、系统文件,基本没什么用处,算垃圾文件吗? varlogjournal 文件的方法1、用echo命令,将空字符串内容重向到指文件中echo > system.journal说明:此方法只会空一次,一段间后还要再次手动空很麻烦,这里可以用以下命令让

    4K30

    Docker

    最终位问题:docker 容器产生了大量的.解决方案删除所有关闭的容器docker ps -a | grep Exit | cut -d -f 1 | xargs docker rm删除所有 print $3 })删除所有dangling数据卷(即无用的volume):docker volume rm $(docker volume ls -qf dangling=true)通过以上方案,我们了大量的磁盘空间出来 ,但是依旧发现某些容器占了大量空间查看容器发现,是某个废弃应用产生了大量,果断删除。 经过后,磁盘 空间得到释放参考资料:https:www.cnblogs.comfundebugp8353158.html总结用了Docker,好处挺多的,但是有一个不大不小的问题,它会一不小心占用太多磁盘 ,这就意味着我们必须及

    65750

    脚本

    需求背景解决某些中间件或者应用无法自动的情况,比如:Nacos 的 access 7 天前的文件sh clear-logs.sh -p homenacoslogssh clear-logs.sh -p homenacoslogs -d 7 2. 30 天前的文件sh clear-logs.sh -p homenacoslogs -d 30 使用场景Nacos access crontab 任务设置$ crontab -e0 7 天前的文件#% sh ${SCRIPT_NAME} -p homenacoslogs#% sh ${SCRIPT_NAME} -p homenacoslogs -d 7#%#% 2. infoLog ====>> End cleaning up log files: exit 1 fi # 临记录要的文件(*.log*) echo ${clear_log_files} > log_files.tmp

    38610

    Linux 登陆替换、方法 原

    公司安全检查,规所有登录必须采用管控平台登录,而工作中都是使用跳板机登录服务器,为了应付检查,修改了登录文件varlogwtmp,由于该文件为二进制文件,普通编辑器无法编辑,而网络上提供的几个小工具 binbashtempfile=varlogtest #义临文件wtmpfile=varlogwtmp #义目标文件#函数实现某个范围的随机数function rand(){ min=$1 max 1000000000)) #增加一个10位的数再求余 echo $(($num%$max+$min)) }rnd=$(rand 4 13)utmpdump $wtmpfile > $tempfile #将文件生成到临文件

    36830

    新手学Linux(七)----copy Tomcat

    系统运行后,一些重要的数据是需要做好备份的,如果每天让一个人去备份tomcat下的,肯会很麻烦的,服务器少了还好说,如果项目做大,服务器数量增加,难道要派很多人来的干这件事情么? linux服务器上候两个可以用的任务的,cron 和 crontab,crontab暂没有用到,大家可以自己去了解了解,我主要用的是cron任务。 cron是一个linux下的执行工具(相当于windows下的scheduled task),可以在无需人工干预的情况下地运行任务task。 关闭服务 sbinservice crond restart 重启服务 sbinservice crond reload 重新载入配置 备份tomcat的log命令cronlogs.sh复制前一天的到另一个目录 (必须是指月份的有效期) month - 从1到12的整数 (或如Jan或Feb简写的月份) dayofweek - 从0到7的整数,0或7用来描述周 (或用Sun或Mon简写来表示) command

    26730

    python 技术篇-设置,自动上个月的实例演示

    先说一下我设置的: 每天都建立一个新的文件来存储,每次启用程序检查目录里的所有文件,自动上个月之前的。 ? 如图,我把期存在当天的名字里。 import logging # 模块import datetime # 间模块import os # 设置存放路径path = .logif(not os.path.exists(path) ): os.mkdir(path) # 获取今天的期 格式2019-08-01today_date = str(datetime.date.today()) # logging.basicConfig , filemode = a, format = 【%(asctime)s】 【%(levelname)s】 >>> %(message)s, datefmt = %Y-%m-%d %H:%M) # 上个月的 = int(today_date) # 今天的年份 y = int(i) # 的年份 # 对上个月的进行,即删除。

    66420

    ELK实-指JDK

    7.附录1-指JDK服务器上默认为非1.8的JDK,使用5.x的ELK需要指单独的1.8的JDK才可。后期若能写成脚本,能在脚本中指的话就不必现在这样麻烦地做入侵式修改了。 Logstash查看logstash启动脚本,没有关于java_home之类的相关配置,但logstash启动过程会引入lib文件binlogstash.lib.sh ,经查看logstash.lib.sh中义了一个

    60120

    Linux

    Linux 常见的登录文件登录文件可以帮助我们了解很多系统重要的事件,包括登入者的部分信息,因此登录文件的权限通常是设为仅有 root 能够读取而已。 CentOS 7.x 使用 systemd 提供的 journalctl CentOS 7 除了保有既有的 rsyslog.service 之外,其实最上游还使用了 systemd 自己的登录文件功能喔 ----|--H---|-服务与相关函数-|-----------信息------->我们拿第一笔数据 (共两行) 来说明好了,该资料是说:『在 1103 的 19:35 左右,在名为 study用户用 如何设?如果你的 Linux 主机想要当作整个区网的登录档服务器,又该如何设?底下就让我们来玩玩这玩意! 不过近年来磁盘空间容量比较大了,加上管员又担心登录文件数据真的给它不见去,因此,你可能已经发现到,最近的登录档轮替后的档名已经会加上期参数,然后源源不绝的保留在你的系统上虽然这个设是可以修订的,不过

    1.8K20

    GLC - glog 类库

    glc.png 项目地址github.comxuriglc简介GLC (glog cleaner) 是 Go 语言编写的 glog 类库,glog 是由 Google 开发的一个应用级框架, 提供了分级、文件切分等功能,但是暂未提供功能,配合 GLC 可以方便地实现功能,类库提供了自保留间、文件名前缀匹配和扫描频率的支持。 安装go get github.comxuriglc使用方式下面是一个简单的例子,每小,仅保留 30 分钟内指目录下以 glc 做前缀由 glog 产生的:glc.NewGLC(glc.InitOption

    922101

    mysql 正确binlog

    mysq 正确binlog前言:MySQL中的binlog记录了数据库中数据的变动,便于对数据的基于间点和基于位置的恢复,但是binlog也会渐增大,占用很大的磁盘空间,因此,要对binlog 使用正确安全的方法掉一部分没用的。 【方法一】手动binlog前的准备:① 查看主库和从库正在使用的binlog是哪个文件? 1 purge master logs before2016-09-01 17:20:00; 删除指期以前的索引中binlog文件 或? 1 purge master logs tomysql-bin.000022; 删除指文件的索引中binlog文件 注意:间和文件名一不可以写错,尤其是间中的年和文件名中的序号,以防不小心将正在使用的

    1.1K10

    linux系统自动的操作脚本

    linux系统自动的操作脚本根据实际需要,编写自义的脚本,添加到任务中大致操作命令格式如下,可按照脚本含义解释自行修改你所需要的执行效果:创建可执行文件cd hometouch clear_log.sh ,-type f 文件类型为文件,f修改成d 就是文件夹。 -mtime +3 三天前的文件,文件名为.tmp结尾的文件,-exec 执行的命令,{} ; 固格式。 设置任务cd etccrontab -e添加内容(每天陵城2点执行脚本)0 2 * * * homeclear_log.sh保存退出####以上脚本内容结束! 具体参数说明如下:find:linux的查找命令,用户查找指条件的文件;exportLogs:想要进行的任意目录; -type f代表文件 d代表目录-mtime:标准语句写法;+30:查找30天前的文件

    19120

    nginx模块及切割

    一:作用  Ngx_http_log_module:格式,并且以指的格式保存。 默认情况下,缓冲区大小等于64K字节,压缩级别设置为1.由于数据是以原子块压缩的,因此文件可以随解压或由“ zcat” 读取。  3:   保存在缓存区中的最长间。 14:request_time 请求处间,单位为秒,精度毫秒; 从读入客户端的第一个字节开始,直到把最后一个字符发送给客户端后进行写入为止。   15:time_iso8601 ISO8601标准格式下的本地间。  16:time_local 通用格式下的本地间。 如果要切割特文件,就指到该文件。2.

    58210

    Linux-MySQL数据备份和

    最近接了个新需求,需要将我们经常使用的几个数据库,MySQL、influxdb在Linux系统上实现自动备份,比如每天备份一次,间隔31天31天之前备份的数据,研究了一下,准备先从MySQL实现 中,通常使用BASH脚本对需要执行的内容进行编写,加上执行命令crontab实现自动化生成。 执行mysqldump命令保存备份文件,并将操作打印至同目录下的log.txt中标记操作。 5.如果文件超出限制大小,就删除最早创建的sql文件使用crontab期执行备份脚本在LINUX中,周期执行的任务一般由cron这个守护进程来处。 一、cron服务  cron是一个linux下 的执行工具,可以在无需人工干预的情况下运行作业。

    25320

    linux轮询的流程详解

    logrotate介绍对于Linux系统安全来说,文件是极其重要的工具。文件包含了关于系统中发生的事件的有用信息,在排障过程中或者系统性能分析经常被用到。 当文件不断增长的候,就需要切割,否则,写的速度和性能也会下降,更不便于我们归档,查询。 这样就能完美制自己想要的切割间logrotate参数说明compress 通过gzip 压缩转储以后的 nocompress 不做gzip压缩处 create mode owner group notifempty 当文件为空,不进行轮转 mail address 把转储的文件发送到指的E-mail 地址 olddir directory 转储后的文件放入指的目录,必须和当前文件在同一个文件系统 依然打开的是原来的文件描述符,可以继续往里面写,而不用发送信号给nginxcopytruncate这种方式操作的候, 拷贝和空之间有一个间差,可能会丢失部分数据。

    45510

    GTD -

    记录间的花费后,你可以对自己间有一个晰的认识,慢慢对间有一种感觉。 有一种锻炼的办法,就是每次想知道是什么间的候,就自己先猜一个,看看误差多大,慢慢的,自己心间与真实的间就会越来越接近。 2012年5月至今开始使用Evernote来记录,免费版的evernote1个月有60M数据量限制,但如果只是记录,不存照片的话,完全够用,evernote for Windows上的抓图 的好处之一是填写项目周报很容易,只需要翻开本周的,把与工作有关的内容粘贴出来就行了,不用在周五的候才挖空心思地想昨天做了什么?前天做了什么?周一做了什么? 没有任何记录的人估计那个候什么也回忆不起来了。另一个好处是:有一段间心情不好,做什么都没劲,上内容会比较空虚,但只要不间断地记录,慢慢地会调整过来。

    664110

    扫码关注云+社区

    领取腾讯云代金券