程序猿的日常——工作中常用的Shell脚本

工作当中总是会有很多常用的linux或者命令,这里就做一个总结

文件远程拷贝

如果想把文件从本机拷贝到远程,或者从远程下载文件到本地。

# 把本地的jar拷贝到远程机器xxxip的/home/source目录下
scp a.jar root@xxxip:/home/source
# 拷贝远程的文件到本地
scp root@xxxip:/home/source/b.jar b.jar

目录下文件太多无法删除

如果目录下的文件很多,无法直接rm -rf,那么可以寻找一些匹配模型,分批删除。比如文件下面有很多的文件:

001.jpg
002.jpg
003.jpg
...

那么可以按照下面的命令删除:

rm -rf *1.png

文件的解压缩

xxx目录为待压缩的目录:

tar -cvf xxx.tar xxx 压缩

解压缩:

tar -xvf xxx.tar 默认解压缩到当前目录

Linux统计

如果想要统计一个文件的行数,可以直接用wc:

wc -l xxx.txt

如果想要统计目录下文件的数量,可以这样:

ls -l | grep "^-" | wc -l

网络端口是否可用

telnet ip port

查看磁盘的空间

df -hl

spark脚本刷历史

#!/bin/sh

URL="jdbc:mysql://127.0.0.1:3306/test?useUnicode=true&characterEncoding=utf8"
USER="test"
PASSWORD="123456"

for i in {10..1}
do
let "sqoop_day=i+1"
day=`date --date="${sqoop_day} days ago" +%Y-%m-%d`
spark_day=-${i}

spark2-submit --master yarn --deploy-mode cluster --executor-memory 5G --num-executors 3 --executor-cores 3 --driver-memory 5G --class com.a.b.c.App spark.jar spark_name ${spark_day}

sqoop export --connect ${URL} --username ${USER} --password ${PASSWORD}  --table table_name --update-mode allowinsert --update-key b_id --fields-terminated-by  ^ --export-dir hdfs://nameservice1/data/csv/${day} --mapreduce-job-name test_sqoop -m 1

done

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏蓝天

快速上手,协程剖析

协程也叫微线程,英文名称为coroutine。一个进程可以有多个线程,一个线程可以有多个协程,这是协程和线程间的关系。不同的是,线程由系统调度,但协程需要...

1091
来自专栏Laoqi's Linux运维专列

Find命令详解整理

Find locate 搜索命令 使用: 1 #yum install -y mlocate   安装 updatedb  生...

3246
来自专栏一个默默无闻的工程师的日常

openstack icehouse负载均衡配置

1784
来自专栏java思维导图

【一分钟知识】线程同步,线程调度

sleep()和yield()方法区别 1 sleep()方法给其他线程运行机会时不考虑线程的优先级,因此会给低优先级的线程以运行的机会; yield()方法只...

3408
来自专栏菩提树下的杨过

ssh远程执行目标机器上的命令

一句话: ssh -t -p 端口号 用户名@远程机器IP '远程机器上的命令完整路径' 例如:   ssh -t -p 22 yangjunming@dev ...

21510
来自专栏Java帮帮-微信公众号-技术文章全总结

操作Linux这些命令够用了

操作Linux这些命令够用了 玩过Linux的人都会知道,Linux中的命令的确是非常多,但是玩过Linux的人也从来不会因为Linux的命令如此之多而烦恼,因...

4396
来自专栏Vamei实验室

Linux常用命令

我总结了常用的Linux命令,方便你的Linux使用。下面是格式说明,你现在可以跳过,直到遇到疑问时再来查询。 $ 命令行提示符 粗体表示命令 斜体表示参数 ...

3137
来自专栏开源优测

软件测试人员必须掌握的Linux基本命令

软件测试人员必须掌握的Linux基本命令 下面的这些命令是日常Linux下最为常用的基本命令,也是软件测试人员必须掌握的 ls 列出当前目录下所有可见文件 ls...

3736
来自专栏帅小子的日常

JVM内存管理

1293
来自专栏小李刀刀的专栏

在WebKit中并行加载外部脚本译:

作者:Tony Gentilcore 原文:http://webkit.org/blog/1395/running-scripts-in-webkit/ Web...

3507

扫码关注云+社区

领取腾讯云代金券