之前写过一篇 《 在公司做的项目和自己在学校做的有什么区别? 》不知道大家还有印象没有,里面提到了在工作中可能需要等上Linux服务器,查看一些信息(特别是查日志找Bug)。
但是,在学校学完,没咋练手(还是太菜了),去到公司可以说是全忘光了。这篇文章主要来回顾以前的笔记,以及记录一下在工作中比较常用的一些命令。
线上出现了问题,登上线上的机器查日志是非常常见的操作了。我第一次登上线上机器查日志的时候,我还只记得以下的几个命令(假设现在我们的日志文件叫做service.log):
之前遇到一个同学问一个问题,他在c源文件中使用bool变量,然后编译的时候提示bool没有定义。不知道怎么办。其实对于初学者来说,遇到的编译错误最多的就是某某变量或函数没有定义,或者有的时候函数有定义,编译过了但是在链接的时候提示找不到函数符号。这类错误其实都是非常好解决的。下面介绍一种在linux下编程如何更好更快的解决此类问题。 对linux稍微有点了解的同学估计都知道linux下有一个man命令,但是会用的人估计并不多。man分为很多部分: 1 用户命令, 可由任何人启动的。 2 系统调用, 即由内核
以下图片 出自菜鸟教程: http://www.runoob.com/linux/linux-comm-tail.html
我们经常在linux要查找某个文件或命令,但不知道放在哪里了,可以使用下面的一些命令来搜索。 which 查看可执行文件的位置 whereis 查看文件的位置 locate 配合数据库查看文件位置 find 实际搜寻硬盘查询文件名称 1、which 语法: which 可执行文件名称 例如: [root@redhat ~]# which passwd /usr/bin/passwd which是通过 PATH 环境变量到该路径内查找可执行文件,所以基本的功能是寻找可执行文件 2、whereis 语法: whereis [-bmsu] 文件或者目录名称 参数说明: -b : 只找二进制文件 -m: 只找在说明文件manual路径下的文件 -s : 只找source源文件 -u : 没有说明文档的文件 例如: [root@redhat ~]# whereis passwd passwd: /usr/bin/passwd /etc/passwd /usr/bin/X11/passwd /usr/share/man/man5/passwd.5.gz /usr/share/man/man1/passwd.1.gz /usr/share/man/man1/passwd.1ssl.gz 将和passwd文件相关的文件都查找出来 [root@redhat ~]# whereis -b passwd passwd: /usr/bin/passwd /etc/passwd /usr/bin/X11/passwd 只将二进制文件 查找出来 和find相比,whereis查找的速度非常快,这是因为linux系统会将系统内的所有文件都记录在一个数据库文件中,当使用whereis和下面即将介绍的locate时,会从数据库中查找数据,而不是像find命令那样,通过遍历硬盘来查找,效率自然会很高。 但是该数据库文件并不是实时更新,默认情况下时一星期更新一次,因此,我们在用whereis和locate 查找文件时,有时会找到已经被删除的数据,或者刚刚建立文件,却无法查找到,原因就是因为数据库文件没有被更新。 3、 locate 语法: locate 文件或者目录名称 例 如: [root@redhat ~]# locate passwd /etc/passwd /etc/passwd- /etc/cron.daily/passwd /etc/init/passwd.conf /etc/init.d/passwd /etc/pam.d/chpasswd /etc/pam.d/passwd /etc/security/opasswd …………
大半夜接到线上一服务器磁盘占用率超过90%的短信,需要立即处理。一般这种情况都是线上异常,当天日志打太多,无法自动删掉的。上来第一反应就是查我们规范java应用日志目录,居然没有文件,再查,居然连java进程都没有,原来不是java应用,不过没关系,干一年运维也不是白干的,还是有其他方法可以查的,在此记录下整个排查过程。
大家工作时,少不了ssh登录各个服务器,我这边手里也有很多服务器,有一些登录很快就进去了,有些要卡半天才能进去。之前以为是公司网络问题,每次也就忍了,这次突然不想忍了,决定定位一下。
今天,内网测试服务器A总是运行一段时间就服务器进程自行退出了,给出了“Java Result :137”这样的错误码。上网查了一下这个137,感觉没有啥有价值的东西。一开始怀疑项目中的JNI调用崩溃到底层,但是没有看到core.*这样的崩溃日志,同时也没有发现OOM的日志,也没有常见的Java 的堆异常log,关键是同样的环境,另外一台机器B,压力远比这个大,都稳定运行很长时间没有问题。下午又崩溃了两三次,一度怀疑Java是不是有什么bug,不过这个想法立马被我否认了,先从自己找原因。
大家好~我是荣顶,不知道大家平时开发时,是否需要经常查单词,和一些报错长短句,由于我的英文实在是不怎么好,所以日常使用有道等查词工具的频率是非常高的.但是经常在编辑器以及翻译软件或是其他中来回切换难免有些影响效率,所以我决定写一个能在终端轻松方便使用的翻译小工具. 下面就给小伙伴们分享一下我的 cli 工具制作历程~
我们继续学习Linux 1. find find命令用来在指定目录下查找文件,任何位于参数之前的字符串都将被视为欲查找的目录名。 如果使用该命令时,不设置任何参数,则find命令将在当前目录下查找子目
作为linux中最为常用的三大文本(awk,sed,grep)处理工具之一,掌握好其用法是很有必要的。
大家平时都怎么查Linux日志呢?像我平时会用tail、head、cat、sed、more、less这些经典系统命令,或者awk这类三方数据过滤工具,配合起来查询效率很高。但在使用过程中有一点让我比较头疼,那就是命令参数规则太多了,记的人脑壳疼。
像我平时会用tail、head、cat、sed、more、less这些经典系统命令,或者awk这类三方数据过滤工具,配合起来查询效率很高。但在使用过程中有一点让我比较头疼,那就是命令参数规则太多了,记的人脑壳疼。
公司使用mongodb 来做数据库的功能,第一次使用,所以自己去研究了下MongoDB的官网和相关资料,本地windows环境搭建了一个MongoDB的简单数据库,话不多说,进入正题
本文讲述了一位技术编辑人员通过编写一个简单的 shell 脚本,实现了对若干网站进行批量查询是否可用的功能。该脚本使用 curl 命令和 grep 过滤,将结果输出到日志文件中。同时,该脚本还处理了长时间无响应的问题,并优化了输出结果。
首先是下午14点左右有几台服务器出现流量超高,平时只有几百M的流量,那时候发现流量上G了,达到这个量第一感觉就是遭受了DDOS流量***,那时候手上的服务器比较多,出现几台并没
今天晚上,在一个单机多实例的环境上,发生了一个错误,看着比较奇怪,之前也遇到过,但是没有留意,今天花了一点时间,搞了一下,问题得到了解决,跟大家分享一下。
1.日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。2.应用太多,面临数十上百台应用时你该怎么办。3.随意登录服务器查询log对系统的稳定性及安全性肯定有影响。4.如果使用人员对Linux不太熟练那面对庞大的日志,定位问题慢。
2、准备数据 网址:https://dev.mysql.com/doc/sakila/en/sakila-installation.html
在项目开发和维护的过程中,我们经常需要在 Linux 服务器上查询和分析日志文件。为了高效地处理大量的文本数据,我们可以借助一些强大的文本过滤工具,如 tail -f、more、zmore 、less、zless和 grep。本文将换种方式介绍这些常用的 Linux 命令,帮助您在日志分析中更加得心应手。
简单说一下,我们为什么会推出关于HW防守的文章,目前关于该行动,会发现越来越多的厂商需求该行动的人员具备分析溯源的能力了。
在现代软件开发和运维中,管理和操作各种不同类型的服务器和数据库是一个复杂而又重要的任务。虽然有一些现成使用到的服务器管理工具和数据库管理应用,比如:XShell、Termius、Navicat等。但是它们都是分开使用的。
工作方向上的原因,不得不接触部分MongoDB的运维工作,之前有接触过一些MongoDB的内容,基本的运维操作没有什么问题,包括MongoDB的集群搭建、数据分片功能等都测试过。但是时间久了,很多东西不用就忘记了,最近准备出一个系列的MongoDB的运维操作文章,希望把这块儿内容重新拾起来。网上查了查,MongDB讲得好的书也就是<MongoDB权威指南>这本了,但是它引用的MongoDB版本比较旧,所以最好结合着官方文档看,这样收获会更快。MongoDB中文论坛里面也有不少前人总结的好文档,对学习都很有帮助。废话不多说,开始讲述吧!
连接者:不同语言的代码程序和mysql的交互(SQL交互) 1、连接池 管理、缓冲用户的连接,线程处理等需要缓存的需求 2、管理服务和工具组件 系统管理和控制工具,例如备份恢复、Mysql复制、集群等 3、sql接口 接受用户的SQL命令,并且返回用户需要查询的结果 4、查询解析器 SQL命令传递到解析器的时候会被解析器验证和解析(权限、语法结构) 5、查询优化器 SQL语句在查询之前会使用查询优化器对查询进行优化 select id,name from user where age = 40; a、这个select 查询先根据where 语句进行选取,而不是先将表全部查询出来以后再进行age过滤 b、这个select查询先根据id和name进行属性投影,而不是将属性全部取出以后再进行过滤 c、将这两个查询条件联接起来生成最终查询结果 6、缓存 如果查询缓存有命中的查询结果,查询语句就可以直接去查询缓存中取数据 7、插入式存储引擎 存储引擎说白了就是如何管理操作数据(存储数据、如何更新、查询数据等)的一种方法。因为在关系数据库 中数据的存储是以表的形式存储的,所以存储引擎也可以称为表类型(即存储和操作此表的类型)
◆ 一、开源项目简介 基于DDD分层实现的web版 linux(终端 文件 脚本 进程)、数据库(mysql postgres)、redis(单机 集群)、mongo统一管理操作平台 ◆ 二、开源协议 使用Apache-2.0开源协议 ◆ 三、界面展示 ◆ 系统核心功能截图 记录操作记录 ◆ 机器操作 状态查看 ssh终端 文件操作 ◆ 数据库操作 sql编辑器 在线增删改查数据 Redis操作 Mongo操作 ◆ 系统管理 账号管理 角色管理 资源管理 ◆ 四、功能概述 功能介
现在熟练使用Linux已经成为IT人员的必备技能了,学会一些使用小技巧,能帮助您更好的使用Linux系统,今天就来介绍一番。
接上文 从应用到内核查接口超时(中),查到是因为 journal 导致 write 系统调用被阻塞进而导致超时后,总感觉证据还不够充分,没有一个完美的交待。而且 leader 还想着让我把问题排查过程分享给同事们,这让我更加不安,担心搞错了方向。
U1:没有太好的办法,上 notepad++ 吧,查关键词,好像可以各种颜色标注不同关键词,我看别人这么用过,还是挺方便的
1、获取并安装 具体的安装包可以到官方网站下载:http://www.mongodb.org/downloads 我看着教程就下载了linux版本吧,也不是很复杂。包的体积有点大。 安装过程比较简单
服务器部署会经常用到linux,很多时候都是用的时候上网查一下指令,然后用完过不了多久就忘记了,因此本文记录一些自己常用的linux指令,以作备忘。并不断添加。
回望整个过年期间真的是躺的平平的,每天学习的时间和平时比起来差的不是一星半点。今天就复工了,也要收心了。我这个人有一个比较牛逼的能力就是状态调整特别快,只需要往工位上一坐下,我就能进入复工状态了。
方法:http://www.aboutyun.com/thread-12694-1-1.html http://www.linuxidc.com/topicnews.aspx?tid=13 http
find 命令在linux中是很常用到的一个查找命令,它的功能非常地强大。可以结合正则匹配来搜索系统中的指定的内容,以下我就记录一下这个find常用到的一些用法 find 语法:find path -option [ -print ] [ -exec -ok command ] {} \;
转载随意,文章会持续修订,请注明来源地址:https://zhenbianshu.github.io 。
#!/bin/bash #检查是否已经安装 rpm -qa | grep python #查版本 python #最好是重新安装 Python推荐版本( >= v2.5.0 & < 3.0.0
工作的时候mongodb都是运维人员早早给我们搭建好了,然后开发就在已经搭建好的基础上面进行mongodb的增删改查,所以关于mongodb的安装细节就不是很清楚,但是作为开发人员,我们还是有必要懂这一块的内容的,所以今天我给大家介绍一下在Linux中如何进行mongodb的安装。
某天下午TIM官网突然无法访问(502错误),官网是纯静态页面,挂在nginx服务器下,我们下午也没有做发布。那么,问题出现在什么地方呢?下面就讲讲我定位、解决问题的思路及步骤,具体如下:
很多程序员熟悉了在 Windows 环境下开发,而我们服务器一般都是 Linux 系统。当有一天你需要在 Linux 服务器上做一些配置或者故障排除的时候,你会很困惑,不知道如何下手。原因是对 Linux 常用的命令还不熟悉,今天我就给大家介绍几个 Linux 常用命令。掌握它们的用法后,我们在使用 CRMEB 打通版系统的时候就能如鱼得水,可以大大提高工作效率。
最近,负责基础设施的同事,要对一批测试环境机器进行回收,回收就涉及到应用迁移,问题是整个过程一团乱。比如服务器A上一堆应用要调用服务器B上一堆服务,结果服务器B被回收了,然后服务器A上一堆应用报错。
redis 的 windows 客户端实在难用,这次连不上还 crash 了 N 次,还是转命令行吧。搜出来的教程都是杂七杂八,不适合我这种菜鸡。
在ubuntu上配置tensorflow 1.7+CUDA踩过的坑 tensorflow1.6+CUDA9.0+cuDNN7.0整个环境在windows下正常工作。因为需要就要把项目整到ubuntu上面跑测试,于是就调到坑里面去了,先说一下版本 ubuntu 14 64位 python3.4 tensorflow1.7 GPU 网上查了一下说tensorflow1.7支持CUDA9.0,于是就下载了CUDA9.0开始安装,但是死活装不上,不管是下载local还是network的installer,总是报错,
linux主要特征 :一切且文件(目录、硬盘等都是文件);硬件都在/dev 目录,如硬盘、U盘为/dev/sd[a-d];
find . | xargs grep -ri ‘content’ //find . | xargs grep -ril ‘content’ 只显示文件名称 ---------------------------------------------------------------------------------------------------------------------
有客户要求安装给Linux系统安装免费的杀毒软件,说实话,之前只部署过火绒企业版的Linux版本——很多Linux服务器根本就不安装杀毒软件,所以Linux系统下的杀毒软件接触得并不多。
今天在一个全新的Ubuntu16.04主机上配置PHP,MySQL,Nginx环境。 这种事情我已经做过很多遍了。应该是信手拈来。 环境很快就搭建起来了,本地浏览器访问主机IP后确始终显示不出来页面。 我配置的是8001端口,难道防火墙限制了? 这个主机是天猫聚石塔用的,查了文档果然有如下说明:
具体开展的方法: 1. 修改代码配置,将log输出到一个单独的目录:/search/odin/flxlog/swc.log 2. 新建一个账户flxlog,默认目录为log目录:useradd -d /search/odin/flxlog/swc.log flxlog 3. 创建flxlog密码为flxlog:passwd flxlog。 4. 修改/search/odin/flxlog/文件夹及文件的用户和用户组:chown -R flxlog:flxlog /search/odin/flxlog/ 5. 修改泛灵犀代码目录的权限为root账号读写、其他账号不能查看: chown -R root:root /search/odin/test/test/ chmod 700 swc_15001/ 6. 切换到flxlog用户下,验证下结果:
领取专属 10元无门槛券
手把手带您无忧上云