日常电脑操作小技能篇（生活无处不精彩）

学到老

发布于 2019-01-25 14:29:47

4620

发布于 2019-01-25 14:29:47

文章被收录于专栏：深度学习之tensorflow实战篇深度学习之tensorflow实战篇

1.大文件预览

１.当我们处理大数据过程中，数据量特别的大，比如有如下文件达到８００M，

使用记事本或者是Ｎotepad均打不开。

那么我们又要查看数据，又不想写程序查看，可以在cmd中执行如下

type C:\Users\lenovo\Desktop\NewShortestPathCountrywideComplete.txt

操作流程如下图（它会全部读取进去，切断为操作Ctrl+c ）：

2.常见操作，文件行去重，以txt为例

#!usr/bin/env python
#_*_ coding:utf-8 _*_


readDir = "C:\\Users\\lenovo\\Desktop\\com_file.txt"
writeDir = "C:\\Users\\lenovo\\Desktop\\com_file2.txt"

lines_seen = set()
outfile=open(writeDir,"w")
f = open(readDir,"r")
for line in f:
    if line not in lines_seen:
        outfile.write(line)
        lines_seen.add(line)
outfile.close()
print ("success")