首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Linux 删除文本中的重复

在进行文本处理的时候,我们经常遇到要删除重复的情况。那怎么解决呢? 下面就是三种常见方法? 第一,用sort+uniq,注意,单纯uniq是不行的。...shell> sort -k2n file | uniq 这里我做了个简单的测试,当file中的重复不再一起的时候,uniq将服务删除所有的重复。...经过排序后,所有相同的行都在相邻,因此unqi可以正常删除重复。 第二,用sort+awk命令,注意,单纯awk同样不行,原因同上。...P; D' 最后附一个必须先用sort排序的文本的例子,当然,这个需要用sort排序的原因是很简单,就是后面算法设计的时候的“局部性”,相同的可能分散出现在不同的区域,一旦有新的相同行出现,那么前面的已经出现的记录就被覆盖了...参考推荐: 删除文本中的重复(sort+uniq/awk/sed)

8.5K20
您找到你想要的搜索结果了吗?
是的
没有找到

Linux 打印文本部分行内容(前几行,指定,中间几行,跨行,奇偶,后几行,最后一,匹配

背景 打印对账文件最后一汇总信息,通过钉钉定时发送到运维群。顺便总结下 Linux 打印文本部分行内容的各种方法。...测试文本 # 生成测试文本内容 $ seq -f "%02g daodaotest" 1 10 > test.txt # 查看测试文本内容,并显示行号 $ cat -n test.txt 1...i' test.txt ## m~np:m 表示起始行;~2 表示:步长 $ sed -n '1~2p' test.txt ## 先打印第 1 ,执行 n 命令读取当前行的下一,放到模式空间,后面再没有打印模式空间操作...,所以只保存不打印,同等方式继续打印第 3 。...# tail 打印最后一内容 $ tail -n 1 test.txt # sed 打印最后一内容 $ sed -n '$p' test.txt # awk 打印最后一内容 $ awk 'END

12.8K32

Linux文本编辑器—vim详解

零.前言 本篇主要介绍Linux文本编辑器vim的使用方法,以及sudo命令的实现。...其中,vim就属于文本编辑器,是可以编写代码的,但是不能调试代码,也不能执行代码。 早期的Linux编辑器使用的是vi进行文本的编辑,vi与vim的关系类似C于C++的关系。...注意:只有当进入模式的时候才能退出vim,如果当前处于插入模式,那么就需要先进入命令模式,再进入模式,才能退出vim。插入模式和模式必须通过命令模式进行相互转换。...o:光标新开启一。 (2)文本操作 yy:复制当前行。 nyy:复制当前行以及当前行后的n-1。 p:光标所在行后所有后退一,粘贴到光标所在行的下一。...5.模式 在命令模式下输入shift+:进入模式。 进入模式后我们会发现我们输入的指令都会显示在

1.9K20

如何熟练使用vim工具?

Vim是一款文本编辑器,是从Unix中的vi编辑器(visual editor)发展而来的。Vim可以在多种操作系统上运行,包括Unix、Linux、macOS和Windows等。...模式(Command-line Mode):模式允许用户执行一些高级的编辑和搜索操作。...首行尾 「 $ 」:移动到光标所在行的“行尾” 「^」:移动到光标所在行的“首” 文章开头和结尾 [gg]:进入到文本开始 [shift+g]:进入文本末端 跳至指定的 「ctrl」+「g」...二、模式 先按ESC键回退到命令行模式,再使用shift+:进入模式. 列出行号(模式下) 「set nu」:会在文件中的每一前面列出行号。...再回车,就会跳到第5。 查找字符(串) 「/+查找字符(串)」: 示例:查找linux 指令:/linux 配合n进行搜索下一个符合条件的语句. 「?

96410

Linux基础——Linux开发工具(上)_vim

Linux 编辑器 - vim 2.1 什么是vim Vim是一个高度可定制的文本编辑器,它是从Vi发展而来的加强版本,兼容Vi的所有指令。...Vim的设计理念是命令的组合,用户可以通过学习各种文本间移动/跳转的命令和其他普通模式的编辑命令,并灵活组合使用,从而比没有模式的编辑器更加高效地进行文本编辑。...模式不能直接从输入模式切换,必须回到命令模式 所以我们要先从输入模式跳转到命令模式才能再跳转到底模式 让我们来直观的看一下三种模式的联系 命令模式切换至模式 输入Shift...该模式是我们后面用的频繁 的编辑模式。 3、模式(last line mode) 文件保存或退出,也可以进行文件替换,找字符串,列出行号等操作。...2.3 vim下的模式指令 在使用模式之前,记住先按「Esc」键确定你已经处于命令模式,再按 shift + ; 即可进入模式。 以下指令需要在模式下使用!

8110

vim的使用

前言vim是Linux编辑器,功能上和记事本没有区别。不仅仅可以用来写c语言和c++,其它语言也可以在上面写。...该模式是我们后面用的频繁的编辑模式。末行模式(last line mode)文件保存或退出,也可以进行文件替换,找字符串,列出行号等操作。 在命令模式下shift+: 即可进入该模式。...,不存盘强制退出vim)总之,三个模式切换如下图:注意:模式是不能直接到插入模式的,同样插入模式也不能直接到底模式。...shift+6=^:将光标的位置定位到当前行的开始gg:将光标定位到整个文本开头shift+g=G:将光标定位到整个文本的最后一n+shift+g=G:将光标定位到整个文本的任意一举个例子:10...ls -l:vs filename分屏,多文件操作先新建一个code.c然后打开再打开test.c如果想要在vim中进行多文件操作在模式下输入:vs test.h在模式下又输入:vs code.c

31000

Linux】vim的使用

前言 vim是Linux编辑器,功能上和记事本没有区别。不仅仅可以用来写c语言和c++,其它语言也可以在上面写。...,不存盘强制退出vim) 总之,三个模式切换如下图: 注意:模式是不能直接到插入模式的,同样插入模式也不能直接到底模式。...4.1.1 光标定位 shift+4=$:将光标的位置定位到当前行的结尾 shift+6=^:将光标的位置定位到当前行的开始 gg:将光标定位到整个文本开头 shift+g=...G:将光标定位到整个文本的最后一 n+shift+g=G:将光标定位到整个文本的任意一 举个例子:10+shift+g,定位到第10 h,j,k,l:左,下,上,右,也可以带n。...在模式下又输入:vs code.c 光标在哪个文件就在哪个文件编辑。

28610

Linux笔记】ViVim编辑器

vi编辑器是Linux和Unix上最基本的文本编辑器(所有版本的 Linux 都带有 vi 编辑器),工作在字符模式下。由于不需要图形界面,vi是效率很高的文本编辑器。...首先,vi/vim编辑器有三种模式:命令模式(Command mode),输入模式(Insert mode)和命令模式(Last line mode)。...命令模式:控制光标移动,可对文本进行复制、粘贴、删除和查找等工作。 输入模式:正常的文本录入。 命令模式:保存或退出文档,以及设置编辑环境。...此时输入:即可由命令模式切换至输入模式。再输入wq 并按下回车键则可保存当前的文本并退出至命令终端(在命令模式下输入ZZ也可以退回至命令终端中,这个方式用起来更方便): ?...其中命令模式与命令模式分别有不同的命令: (1)命令模式的常用命令(图片来源:《Linux就该这么学》): ? (2)命令模式的常用命令(图片来源:《Linux就该这么学》): ?

1.1K40

Linux】开始使用 vim 吧!!!

Linux 1 what is vim ?...2 vim基本概念 vim具有主要有三个模式(vim具有非常多的模式): 命令模式 模式 插入模式 1....要查看你的所有模式:打开vim,模式直接输入 (我的vim配置过了,界面略有不同) 3 vim的基本操作 ! 我们了解vim之后,下一步就要学习如何使用这个实用工具。...vim 中的光标操作: shift + 4 = $ 光标移动到当前行的结尾 shift + 6 = ^ 光标移动到当前行的开头 gg 移动光标到文本开头 shift + g 移动光标到文本最后一...结尾 移动到文本开头 / 结尾 上下左右移动光标 以单词为单位移动 3.3 vim的文件操作 文件操作是在模式下进行的保存,编译 ,强制等操作。

13610

TextFridge mac激活版(好用的文本编辑存储工具)

Mac文本编写工具哪个好用?...TextFridge for Mac允许您存储许多经常需要编写的文本,最多可存储150个文本,是一款非常好用的文本编写存储工具,TextFridge Mac版兼容macOS 10.14和10.15。...基本用法非常简单:将文本从任何地方拖到TextFridge,将文本从一TextFridge拖到任何地方。...许多其他功能:给加上标题,选择颜色,移动颜色,锁定颜色,将文本从macOS剪贴板拖到剪贴板等...使TextFridge始终可用:您可以选择使主窗口永久可见或仅在按住组合键时才可见。...TextFridge mac激活版软件特色将文本放入TextFridge,从TextFridge获取文本在主窗口中使用剪贴板图标打开线条或颜色的“编辑”窗口选择一标题设置线条的颜色,设置所有线条的默认颜色

84310

Linux】软件包管理器 yum 与编辑器 vim 的基本使用

2.4 文本编辑 2.5 模式的操作 四、简单 vim 配置 2、简单 vim 配置 3、一键 vim 配置 五、配置 sudo 权限 一、yum 背景知识 1、商业生态 我们在安装一个软件之前...mode) 只有在Insert mode下,才可以做文字输入,按「ESC」键可回到命令行模式,该模式是我们后面用的频繁的编辑模式; 模式 (last line mode) 文件保存或退出...将光标向 左 下 上 右 移动; 2.3 文本复制 yy – 复制当前行 (nyy:从当前行开始向下复制n); p – 粘贴一次 (np:粘贴n次); dd – 删除当前行 (ndd:从当前行开始向下删除...上述操作全部都是在命令模式下进行的,除了命令模式,我们常用的还有插入模式和模式,而插入模式基本没有什么快捷操作,所以下面我们最后来学习一些模式的基本操作; set nu – 设置行号 (set...指令 – 在不退出 vim 的情况下执行Linux中的各种指令; 注:上面的这些指令除了 ctrl + ww 之外,其余指令执行的前提都是当前处于模式下,即它们前面都需要先输入一个 : 号; 最后,

52000

linux系统下的nano命令使用方法

nano是一个字符终端的文本编辑器,有点像DOS下的editor程序。它比vi/vim要简单得多,比较适合Linux初学者使用。某些Linux发行版的默认编辑器就是nano。...nano命令可以打开指定文件进行编辑,默认情况下它会自动断行,即在一中输入过长的内容时自动拆分成几行,但用这种方式来处理某些文件可能会带来问题,比如Linux系统的配置文件,自动断行就会使本来只能写在一上的内容折断成多行了...选择文字:按住鼠标左键拖到。...复制、剪贴和粘贴 复制一整行:Alt+6 剪贴一整行:Ctrl+K 粘贴:Ctrl+U 如果需要复制/剪贴多行或者一中的一部分,先将光标移动到需要复制/剪贴的文本的开头,按Ctrl+6(或者Alt+A...这将会定位到第一个匹配的文本,接着可以用Alt+W来定位到下一个匹配的文本

1.5K00

Linux】常用工具(上)

Linux 常用工具 一、Linux 软件包管理器 yum 1. 软件包 在Linux下安装软件, 一个通常的办法是下载到程序的源代码, 并进行编译, 得到可执行程序....该模式是我们后面用的频繁的编辑模式。 模式(last line mode) 文件保存或退出,也可以进行文件替换,找字符串,列出行号等操作。在命令模式下,shift+: 即可进入该模式。...,从转化图可以看出,我们先要按下 Esc 进入命令模式,再按下 shift + ; 就可以进入模式了;进入模式后左下角会出现一个 : 如下图: 此时输入我们需要的指令即可。...(5)保存并退出(模式) 我们在命令模式下按下 Esc ,再按下 shift + ;,即可切换到底模式,我们在模式下可以执行以下操作: w:保存文本(w!...(8)多文件编辑 vim 也支持多文件编辑, 我们需要先使用 vim 打开一个文本,进入模式,在模式中输入vs + 需要打开的文本名字 ,例如下图: 如下图,就可以进行多文件编辑了: 需要注意的是

13510

nano使用

字符终端文本编辑器 补充说明 nano 是一个字符终端的文本编辑器,有点像DOS下的editor程序。它比vi/vim要简单得多,比较适合Linux初学者使用。...某些Linux发行版的默认编辑器就是nano。...nano命令可以打开指定文件进行编辑,默认情况下它会自动断行,即在一中输入过长的内容时自动拆分成几行,但用这种方式来处理某些文件可能会带来问题,比如Linux系统的配置文件,自动断行就会使本来只能写在一上的内容折断成多行了...选择文字:按住鼠标左键拖到。...复制、剪贴和粘贴 复制一整行:Alt+6 剪贴一整行:Ctrl+K 粘贴:Ctrl+U 如果需要复制/剪贴多行或者一中的一部分,先将光标移动到需要复制/剪贴的文本的开头,按Ctrl+6(或者Alt+A

2.6K11

linux系统下的nano命令使用方法

nano是一个字符终端的文本编辑器,有点像DOS下的editor程序。它比vi/vim要简单得多,比较适合Linux初学者使用。某些Linux发行版的默认编辑器就是nano。...nano命令可以打开指定文件进行编辑,默认情况下它会自动断行,即在一中输入过长的内容时自动拆分成几行,但用这种方式来处理某些文件可能会带来问题,比如Linux系统的配置文件,自动断行就会使本来只能写在一上的内容折断成多行了...选择文字:按住鼠标左键拖到。...复制、剪贴和粘贴 复制一整行:Alt+6 剪贴一整行:Ctrl+K 粘贴:Ctrl+U 如果需要复制/剪贴多行或者一中的一部分,先将光标移动到需要复制/剪贴的文本的开头,按Ctrl+6(或者Alt+A...这将会定位到第一个匹配的文本,接着可以用Alt+W来定位到下一个匹配的文本

1.4K30

kettle 教程(一):简介及入门「建议收藏」

可以在 Linux、windows、unix 中运行。有图形界面,也有命令脚本还可以二次开发。...安装 这边以 windows 下的配置为例,linux 下配置类似。...在Kettle中,数据的单位是,数据流就是数据从一个步骤到另一个步骤的移动。 打开 kettle,点击 文件->新建->转换。 在左边 DB 连接处点击新建。...在左侧找到表输入(核心对象->输入->表输入),拖到右方。 双击右侧表输入,进行配置,选择数据源,并输入 SQL。可以点击预览进行预览数据。...这样就完成了一个简单的转换,从一个表取数据,插入更新到另一个表。 作业 如果想要定时运行这个转换,那么就要用到作业。 新建一个作业。

2K20

Linux工具学习之【vim】

下面来介绍 vim 的五种常用模式 命令模式 命令模式是进入 vim 后的模式模式,也是 vim 中最根本的模式 ,在 vim 中,如果不知道自己现在处于什么模式下,可以无脑按 esc ,这样会切换至开始的命令模式...进入方式有很多,一般是通过 i 直接切换 模式 模式比较特殊,是否进入模式的标志为 vim 下方是否有 : 如果有,说明现在处于模式,模式中也有很多指令,常见的如 set nu 为...我们可以在模式下,搜索文本内的单词,假设我们想搜索 Hello 这个单词,只需要先进入模式,输入 /Hello 就可以在文本中查找单词了 //模式下 :/单词 //查找指定单词 !.../a.out 执行这个程序,执行结束后,返回 vim 的界面 注意: 模式中的 ! 还有强制的意思,当我们 wq 退不出文件时,可以通过 !wq 强制退出并保存文件 //模式下 :!...如果目标文本不存在就会报错 //模式下 :%s/文本A/文本B/g //搜索出文本A,然后将其替换为文本B vs file 分屏操作 我们在写一个程序时,常常会有几个文件,比如数据结构中的二叉树,会有两个

32310
领券