首页
学习
活动
专区
圈层
工具
发布

Linux文件随机抽取N行

有时候需要从大文件中随机抽取N行出来进行模拟,但是用python或者别的语言感觉不太方便,linux下直接分割感觉会更快捷。...一般可以考虑以下的方法: 1. shuf shuf -n100 filename # 从文件中随机选取100行 2. sort sort -R filename | head -n100 -R参数是将文件随机顺序...'\t' '{print $2}' # 假如输出的内容只有一列 awk 'BEGIN{srand()} {print rand()"\t"$0}' filename 这一句话,strand()是设定随机数种子...,必须写在BEGIN中才能正常运行;rand()是产生0到1之间的随机数。...第一列是产生的随机数。sort -nk 1是根据第一列排序,运行后输出: ? 因为种子不一样,所以结果与上图不同。 最后选取想要的行数,然后输出除了第一列的内容就可以了。

10.2K20

Python linecache模块用法:随机读取文件指定行

除了可以借助 fileinput 模块实现读取文件外,Python还提供了 linecache 模块。和前者不同,linecache 模块擅长读取指定文件中的指定行。...值得一提的是,linecache 模块常用来读取 Python 源文件中的代码,它使用的是 UTF-8 编码格式来读取文件内容。...这意味着,使用该模块读取的文件,其编码格式也必须为 UTF-8,否则要么读取出来的数据是乱码,要么直接读取失败(Python 解释器会报 SyntaxError 异常)。...举个例子: import linecache import string #读取string模块中第 3 行的数据 print(linecache.getline(string....__file__, 3)) # 读取普通文件的第2行print (linecache.getline('my_file.txt', 2))

1.6K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    PostgreSQL 事务读取行 不使用行锁 真的? 利弊双刃剑

    其实也不奇怪,其他部分常用的数据库在读取数据会产生行的读锁(行读的共享锁),为什么PostgreSQL不会产生读锁。...我个人看法,任何事务都有利弊,PG这样设计对于数据的提取是有利的,降低了在读取数据时产生锁的开销,对于读取数据非常有利,通过事务号和表中每行数据的特殊标注,完成了读取数据中,判断那些行是否可读取,那些行时再本事务不可读取的...在做下面的实验和说明读取行,并不需要锁的实验中,我们要说明我们要使用的一些命令、函数。...结果可以肯定的是,在读取数据的时候,并未有行的读锁,这里我们可以在单独给出条件,对数据进行单行的读取,此时我们再次运行查看行锁的语句,依然没有对应的行的lock。...5 行已经提交 6 插入行无效 7 插入行被锁定 等等 总结:PostgreSQL 基于原理,在读取数据行的时候,不需要使用常见的只读行锁来对读取的数据加锁,而是通过snapshot+ 判断的方式来去解决读取数据时的行的可见性等问题

    58910

    对于随机数的一些分析

    而且在随机算法的实现细节上,也有一些差别。 关于随机算法,还有一本书,这本书有400多页,涉及的面非常广。 而如果我们不写SQL行不行,肯定可以,因为对于DBA来说,SQL能做任何想做的事情。...我们暂且抛开实现的复杂度,来看看结合一些场景的不同实现,我临时自造了几个概念,但是意思应该是相通的。 平均随机数 这是一种看起来随机,但是数据分布又可控的方式。...每组做一个随机。 这样我对1~10生成一个随机序列,比如第一个随机数是2,我就从20~29里面选择一个数字,下一数字是5,则从50~59里面选出1个数字。...通过这种方式数据的分布方式决定是可控的,但是又保证了随机的特性。 一次性随机数 这类随机数就好比陕西的油泼面一样,简单快捷,一勺油即可搞定。如果我需要10个数字,那么我一次就生成10个随机数字。...1499 | 0 | 0 | | 1500 | 0 | 0 | +------+-------+--------+ 1500 rows in set 我们修改状态,随机得到一些数据的变化

    1.1K80
    领券