首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Shell 脚本数据处理艺术:文本清洗、格式转换实用指南

这个脚本实现了在 input.log 文件搜索包含 "error" 关键词行,并将结果写入 errors.log 文件。2....CSV 文件处理awk 'NF' file.csv | tr ',' '\t' > cleaned_file.tsvawk 'NF':awk 命令,NF 表示非空行,这里用于删除空行。...这个脚本用于删除 CSV 文件空行,并将逗号分隔文件内容转换为制表符分隔内容,并将结果输出到 cleaned_file.tsv 文件。2....这个脚本用于格式化 data.txt 文件内容,提取指定列,并在处理过程中使用 sed 命令进行多次替换删除字符 [ ],将字符 / : 替换为空格。  ...通过这些简单而又功能强大命令组合,我们能够实现文本清洗、格式转换,处理各种数据文件。希望本文能够为您展示 Shell 脚本在数据处理实际应用,为您工作提供一些实用技巧思路。

32910

文本编辑器及文本处理 文本编辑器介绍 常见Linux文本编辑器有: emacs nano gedit kedit vi vimLinux文本编辑器-emacs emacs是一款功能强大

nano有很多人性化功能设计,如语法高亮、正则表达式搜索替换、平滑滚动、多个缓冲区、自定义快捷键、撤销或重复编辑。 优点: 易于使用,操作简单,适用于简单文本编辑。...gedit包含语法高亮标签编辑多个文件功能。利用GNOME VFS库,它还可以编辑远程文件。它支持完整恢复重做系统以及查找替换。...替换 :1,5s/word1/word2/g 将文档1-5行word1替换为word2,不加g则只替换每行第一个word1。...%s/word1/word2/gi 将文档所有的word1替换为word2,不区分大小写。...grep在一个或多个文件搜索字符串模板。如果模板包括空格,则必须被引用,模板后所有字符串被看作文件名。搜索结果被送到标准输出,不影响原文件内容。

41240
您找到你想要的搜索结果了吗?
是的
没有找到

华为认证欧拉openEuler-HCIA文本编辑器及文本处理

nano有很多人性化功能设计,如语法高亮、正则表达式搜索替换、平滑滚动、多个缓冲区、自定义快捷键、撤销或重复编辑。 优点: 易于使用,操作简单,适用于简单文本编辑。...gedit包含语法高亮标签编辑多个文件功能。利用GNOME VFS库,它还可以编辑远程文件。它支持完整恢复重做系统以及查找替换。...替换 :1,5s/word1/word2/g 将文档1-5行word1替换为word2,不加g则只替换每行第一个word1。...%s/word1/word2/gi 将文档所有的word1替换为word2,不区分大小写。...grep在一个或多个文件搜索字符串模板。如果模板包括空格,则必须被引用,模板后所有字符串被看作文件名。搜索结果被送到标准输出,不影响原文件内容。

27840

【Linux操作系统】探秘Linux奥秘:shell 编程解密与实战

/^[[:space:]]*#/:正则表达式,表示不匹配以0个或多个空格开头,紧接着是#号行。 SYM.sh:要搜索文件名。 运行结果为: (3)显示所有的(去掉注释空行)有效行。...-E:表示使用扩展正则表达式。 ^\s*($|#):正则表达式,表示匹配空行或以0个或多个空格开头,紧接着是#号行,并将其删除。 SYM.sh:要搜索文件名。.../^[[:space:]]*#/d:正则表达式,表示匹配以0个或多个空格开头,紧接着是#号行,并将其删除。 /^$/d:表示匹配空行,并将其删除。 SYM.sh:要搜索文件名。...熟练应用sed命令进行文本编辑: 通过实践,我掌握了sed命令流式文本编辑特性,包括替换删除、插入追加等操作。...能够利用sed对文件进行灵活处理,实现文本替换操作、删除指定行、以及去除特定字符。这为我在处理文本数据时提供了更多选择便利,增强了对文本内容掌控能力。

11410

vim 个性化设置

前言 最近在开发一个脚本工具集中需要实现对各单个工具脚本版本管控,作为懒癌晚期患者,对于繁琐事情一向是很反感。于是趁着这个机会学习应用一下vim自定义函数以及一些常规操作。...[] 所有字符并进入插入模式 "* ci( 删除一对 () 所有字符并进入插入模式 "* ci 所有字符并进入插入模式 "* ci{ 删除一对 {} 所有字符并进入插入模式...bb " :s/\/bb/g 将光标所在行出现所有 aa 替换为 bb, 仅替换 aa 这个单词 " :%s/aa/bb/g 将文档中出现所有包含...aa 字符串 aa 替换为 bb " :12,23s/aa/bb/g 将从12行到23行中出现所有包含 aa 字符串 aa 替换为 bb " :12,23s/^/.../igc则 对于这些满足条件行进行替换 " :g/^\s*$/d 空行(空格也不包含)删除. " :%s/\r//g 删除

1.5K20

Shell四剑客实操案例

,它可对文本文件标准输入进行编辑,标准输入可以来自键盘输入、文本重定向、字符串、变量,甚至来自于管道文本,与VIM编辑器类似,它一次处理一行内容,Sed可以编辑一个或多个文件,简化对文件反复操作、...‘$d’ jfedu.txt 删除jfedu.txt最后一行: sed ‘$d’ jfedu.txt 通常而言,SED将待处理行读入模式空间,脚本命令逐行进行处理,直到脚本执行完毕,然后该行被输出...如果用户希望在某个条件下脚本某个命令被执行,或者希望模式空间得到保留以便下一次处理,都有可能使得sed在处理文件时候不按照正常流程来进行。这时可以使用SED高级语法来满足用户需求。...总的来说,SED高级命令可以分为三种功能: N、D、P:处理多行模式空间问题; H、h、G、g、x:将模式空间内容放入存储空间以便接下来编辑; :、b、t:在脚本实现分支与条件结构。...;-n 顺便输出行号; 学习Grep时,需要了解通配符、正则表达式两个概念,很多读者容易把彼此搞混淆,通配符主要用在LinuxShell命令,常用于文件或者文件名称操作,而正则表达式用于文本内容字符串搜索替换

2.1K21

20个堪称神器Linux命令行软件

1.ag:比grep、ack更快递归搜索文件内容。 ? 2.tig:字符模式下交互查看git项目,可以替代git命令。 ?...4.jq: json文件处理以及格式化显示,支持高亮,可以替换python -m json.tool。 ? 5.shellcheck:shell脚本静态检查工具,能够识别语法错误以及不规范写法。...6.yapf:Google开发python代码格式规范化工具,支持pep8以及Google代码风格。 7.mosh:基于UDP终端连接,可以替代ssh,连接更稳定,即使IP变了,也能自动重连。...13.cloc:代码统计工具,能够统计代码空行数、注释行、编程语言。 ? 14.ccache:高速C/C++编译缓存工具,反复编译内核非常有用。...而且关键是每次打命令内心os完全一致,有种人机合一快感。fuck! 20.tldr: 如果你经常不想详读man文档,那么你应该试试这个小工具。 使用 $ man tar时 ?

1.1K50

20个堪称神器命令行软件

1.ag:比grep、ack更快递归搜索文件内容。 ? 2.tig:字符模式下交互查看git项目,可以替代git命令。 ?...4.jq: json文件处理以及格式化显示,支持高亮,可以替换python -m json.tool。 ? 5.shellcheck:shell脚本静态检查工具,能够识别语法错误以及不规范写法。...6.yapf:Google开发python代码格式规范化工具,支持pep8以及Google代码风格。 7.mosh:基于UDP终端连接,可以替代ssh,连接更稳定,即使IP变了,也能自动重连。...13.cloc:代码统计工具,能够统计代码空行数、注释行、编程语言。 ? 14.ccache:高速C/C++编译缓存工具,反复编译内核非常有用。...而且关键是每次打命令内心os完全一致,有种人机合一快感。fuck! 20.tldr: 如果你经常不想详读man文档,那么你应该试试这个小工具。 使用 $ man tar时 ?

54510

20个堪称神器 Linux 命令行软件

1.ag:比grep、ack更快递归搜索文件内容。 ? 2.tig:字符模式下交互查看git项目,可以替代git命令。 ?...4.jq: json文件处理以及格式化显示,支持高亮,可以替换python -m json.tool。 ? 5.shellcheck:shell脚本静态检查工具,能够识别语法错误以及不规范写法。...6.yapf:Google开发python代码格式规范化工具,支持pep8以及Google代码风格。 7.mosh:基于UDP终端连接,可以替代ssh,连接更稳定,即使IP变了,也能自动重连。...13.cloc:代码统计工具,能够统计代码空行数、注释行、编程语言。 ? 14.ccache:高速C/C++编译缓存工具,反复编译内核非常有用。...而且关键是每次打命令内心os完全一致,有种人机合一快感。fuck! 20.tldr: 如果你经常不想详读man文档,那么你应该试试这个小工具。 使用 $ man tar时 ?

1.7K10

Shell编程学习笔记

cat filename|grep -n --color=auto 'home' //搜索多个字符串匹配 grep -E "aaa|bbb|ccc" 排序命令:sort 忽略大小写:-f 数字排序:...t(与-E一起使用) 匹配一个或者多个字符:ro+t(与-E一起使用) 贪婪模式,匹配所有:.* sed 查找替换 //打印第一行 sed '1p' -n 1.txt //打印第五行到最后一行,并显示行号...' 1.txt | sed 's/[0-9]//g' //删除所有非数字 grep -n '.*' 1.txt | sed 's/[^0-9]//g' //直接替换文档 sed -i awk //...:/etc/profile /etc/bashrc 用户变量:~/.bashrc ~/.bash_profile 命令提示符:PS1 //[root@wangs ~]# 用户名,主机名,目录...home/user/hadoop/hive/bin/hive” 变量赋值:a=”home/user/hadoop/hive/bin/hive” 命令执行结果赋值给变量:dir=which hadoop 脚本读取输入

50520

VIM 快捷操作

1 参考 《Linux就是这个范》章节 7.1.2 ,有个脑图很好记。.../表达式 搜索下一个匹配表达式字符串 n 向前重复搜索 N 向后重复搜索 搜索之后字符串高亮怎么取消: 命令模式下,输入:noh // nohighlight 2.2 编辑控制 通用 J 将下一行接到当前行行末...I 插到当前行到行首 a 在光标字符后插入 A 文本追加到当前行到行末 o 在当前行下面生成一空行并插入 O 在当前行上面生成一空行 3.2 更改 cc 以新行替换当前行 4 命令模式 s/表达式.../替换/ 替换当前行第一个表达式 s/表达式/替换/g 替换当前行所有匹配表达式 %s/表达式/替换/g 替换文件所有匹配表达式 %s/表达式/替换/gc 替换文件所有匹配表达式,每次替换前确认...put) d+o 将差异点另一文档内容拷贝到当前文档(diff get)

88410

少有人知道几个工具网站,值得收藏!-搜嗖工具箱

图片colorhunthttps://colorhunt.co/分享一个提供免费配色方案网站,它就是Colorhunt,用户可以在该网站上浏览搜索各种颜色组合,收藏自己喜欢颜色或者下载到本地,以便在设计网站...Colorhunt上配色方案由用户上传分享,也可以通过颜色代码或关键字搜索。这个网站网站还为大家提供了一些工具,像调色板生成器、颜色对比度检测器等等来帮助用户更好地选择使用颜色。...Google Fonts使用非常方便,用户可以通过网站搜索预览字体,然后将所需字体嵌入到他们网站或应用程序。此外,用户还可以将字体添加到自己收藏夹,以方便日后使用。...这个网站还为用户提供了筛选选项,大家可以按字体类型、流派语言进行过滤,以找到最适合自己字体。Google Fonts目标是让更多人轻松地访问高质量字体,使网络上文本更美观、易读独特。...它提供了多种文本处理功能,包括去除重复行、删除空行、排序、替换、合并、拆分等。用户可以将文本粘贴到网站上,然后选择所需处理功能,最后将处理后文本复制到剪贴板或下载到本地计算机,使用起来很方便。

29900

20个堪称神器 Linux 命令行软件

4.jq: json文件处理以及格式化显示,支持高亮,可以替换python -m json.tool。 ? 5.shellcheck:shell脚本静态检查工具,能够识别语法错误以及不规范写法。...6.yapf:Google开发python代码格式规范化工具,支持pep8以及Google代码风格。 7.mosh:基于UDP终端连接,可以替代ssh,连接更稳定,即使IP变了,也能自动重连。...8.fzf:命令行下模糊搜索工具,能够交互式智能搜索并选取文件或者内容,配合终端ctrl-r历史命令搜索简直完美。 ?...13.cloc:代码统计工具,能够统计代码空行数、注释行、编程语言。 ? 14.ccache:高速C/C++编译缓存工具,反复编译内核非常有用。...而且关键是每次打命令内心os完全一致,有种人机合一快感。fuck! 20.tldr: 如果你经常不想详读man文档,那么你应该试试这个小工具。 使用 $ man tar时 ?

81610

vim 常用命令

启动vim 在命令行窗口中输入以下命令即可 vim 直接启动vim vim filename 打开vim并创建名为filename文件 文件命令 打开单个文件 vim file 同时打开多个文件...1-10行 :11,$d 删除11行及以后所有的行 :1,$d 删除所有行 J(shift + j)  删除两行之间空行,实际上是合并两行。...注释命令 perl程序#开始行为注释,所以要注释某些行,只需在行首加入# 3,5 s/^/#/g 注释第3-5行 3,5 s/^#//g 解除3-5行注释 1,$ s/^/#/g 注释整个文档...:%s/^/#/g 注释整个文档,此法更快。...查看是否设置了ruler,在.vimrc,使用set命令设制选项都可以通过这个命令查看 :scriptnames  查看vim脚本文件位置,比如.vimrc文件,语法文件及plugin等。

1.4K21

Linux(八)

非贪婪模式尽可能少匹配所搜索字符串,而默认贪婪模式则尽可能多匹配所搜索字符串 [xyz] 字符集合(character class),匹配所包含任意一个字符 [^xyz] 排除型(negate...'d' source.txt # 只删除第二行 $sed '2d' source.txt # 删除第一到第四行 $sed '1,4d' source.txt # 删除空行 $sed '/^$/...106,Mattt Thompson,Heroku # 107,Ask Solem Hoel,VMware # 替换第一行首个匹配项 $sed '1s/a/A/' source.txt|head...,使用 c: sed -i '5 c hello world' source.txt awk awk 是贝尔实验室 1977 年开发用于处理文本文件一个应用程序,它依次处理文件每一行,并读取里面的每一个字段...$1; else print "---"}' /etc/passwd grep grep(globally search a regular expression and print) 会对匹配一个或多个正则表达式文本进行搜索

1.5K10

教程 | Vim 教程【命令-操作-快捷键】

启动vim 在命令行窗口中输入以下命令即可 vim 直接启动vim vim filename 打开vim并创建名为filename文件 文件命令 打开单个文件 vim file 同时打开多个文件 vim...行 :11,$d 删除11行及以后所有的行 :1,$d 删除所有行 J(shift + j)  删除两行之间空行,实际上是合并两行。...注释命令 perl程序#开始行为注释,所以要注释某些行,只需在行首加入# 3,5 s/^/#/g 注释第3-5行 3,5 s/^#//g 解除3-5行注释 1,$ s/^/#/g 注释整个文档。...:%s/^/#/g 注释整个文档,此法更快。...查看是否设置了ruler,在.vimrc,使用set命令设制选项都可以通过这个命令查看 :scriptnames  查看vim脚本文件位置,比如.vimrc文件,语法文件及plugin等。

98420

138 条 Vim 命令、操作、快捷键全集

启动vim 在命令行窗口中输入以下命令即可 vim 直接启动vim vim filename 打开vim并创建名为filename文件 文件命令 打开单个文件 vim file 同时打开多个文件 vim...行 :11,$d 删除11行及以后所有的行 :1,$d 删除所有行 J(shift + j)  删除两行之间空行,实际上是合并两行。...注释命令 perl程序#开始行为注释,所以要注释某些行,只需在行首加入# 3,5 s/^/#/g 注释第3-5行 3,5 s/^#//g 解除3-5行注释 1,$ s/^/#/g 注释整个文档。...:%s/^/#/g 注释整个文档,此法更快。...查看是否设置了ruler,在.vimrc,使用set命令设制选项都可以通过这个命令查看 :scriptnames  查看vim脚本文件位置,比如.vimrc文件,语法文件及plugin等。

1.2K60

Vim 命令、操作、快捷键(收藏大全)

启动vim 在命令行窗口中输入以下命令即可 vim 直接启动vim vim filename 打开vim并创建名为filename文件 文件命令 打开单个文件 vim file 同时打开多个文件 vim...行 :11,$d 删除11行及以后所有的行 :1,$d 删除所有行 J(shift + j)  删除两行之间空行,实际上是合并两行。...注释命令 perl程序#开始行为注释,所以要注释某些行,只需在行首加入# 3,5 s/^/#/g 注释第3-5行 3,5 s/^#//g 解除3-5行注释 1,$ s/^/#/g 注释整个文档。...:%s/^/#/g 注释整个文档,此法更快。...查看是否设置了ruler,在.vimrc,使用set命令设制选项都可以通过这个命令查看 :scriptnames  查看vim脚本文件位置,比如.vimrc文件,语法文件及plugin等。

91930

138 条 Vim 命令、操作、快捷键全集

启动vim 在命令行窗口中输入以下命令即可 vim 直接启动vim vim filename 打开vim并创建名为filename文件 文件命令 打开单个文件 vim file 同时打开多个文件 vim...:11,$d 删除11行及以后所有的行 :1,$d 删除所有行 J(shift + j)  删除两行之间空行,实际上是合并两行。...注释命令 perl程序#开始行为注释,所以要注释某些行,只需在行首加入# 3,5 s/^/#/g 注释第3-5行 3,5 s/^#//g 解除3-5行注释 1,$ s/^/#/g 注释整个文档。...:%s/^/#/g 注释整个文档,此法更快。...查看是否设置了ruler,在.vimrc,使用set命令设制选项都可以通过这个命令查看 :scriptnames  查看vim脚本文件位置,比如.vimrc文件,语法文件及plugin等。

97800

Vim 命令、操作、快捷键(建议收藏)

启动vim 在命令行窗口中输入以下命令即可 vim 直接启动vim vim filename 打开vim并创建名为filename文件 文件命令 打开单个文件 vim file 同时打开多个文件 vim...行 :11,$d 删除11行及以后所有的行 :1,$d 删除所有行 J(shift + j)  删除两行之间空行,实际上是合并两行。...注释命令 perl程序#开始行为注释,所以要注释某些行,只需在行首加入# 3,5 s/^/#/g 注释第3-5行 3,5 s/^#//g 解除3-5行注释 1,$ s/^/#/g 注释整个文档。...:%s/^/#/g 注释整个文档,此法更快。...查看是否设置了ruler,在.vimrc,使用set命令设制选项都可以通过这个命令查看 :scriptnames  查看vim脚本文件位置,比如.vimrc文件,语法文件及plugin等。

1.2K10
领券