使用 Ruby 或 Python 在文件中查找

原创

华科云商小徐

发布于 2024-03-12 10:32:33

630

发布于 2024-03-12 10:32:33

文章被收录于专栏：小徐学爬虫小徐学爬虫

对于经常使用爬虫的我来说，在大多数文本编辑器都会有“在文件中查找”功能，主要是方便快捷的查找自己说需要的内容，那我有咩有可能用Ruby 或 Python实现类似的查找功能？这些功能又能怎么实现？

问题背景

许多流行的文本编辑器都具有“在文件中查找”功能，该功能可以在一个对话框中打开，其中包含以下选项：

查找： 指定要查找的文本。
文件筛选器： 指定要搜索的文件类型。
开始位置： 指定要开始搜索的目录。
报告： 指定要显示的结果类型，例如文件名、文件计数或两者兼有。
方法： 指定要使用的搜索方法，例如正则表达式或纯文本搜索。

有人希望使用 Python 或 Ruby 类来实现类似的功能，以便可以在任何支持 Python 或 Ruby 的平台上从脚本运行此操作。

解决方案

Python

以下代码提供了在指定目录中搜索特定文本的 Python 脚本示例：

import os
import re

def find_in_files(search_text, file_filter, start_dir, report_filenames, regex_search):
    results = []
    if regex_search:
        p = re.compile(search_text)
    for dir, subdirs, subfiles in os.walk(start_dir):
        for name in fnmatch.filter(subfiles, file_filter):
            fn = os.path.join(dir, name)
            with open(fn, 'r') as f:
                if regex_search:
                    results += [(fn, lineno) for lineno, line in enumerate(f) if p.search(line)]
                else:
                    results += [(fn, lineno) for lineno, line in enumerate(f) if line.find(search_text) >= 0]
    if report_filenames:
        return [fn for fn, _ in results]
    else:
        return results

search_text = '__searchtext__'
file_filter = '*.txt; *.htm'
start_dir = 'c:/docs/2009'
report_filenames = False
regex_search = False

results = find_in_files(search_text, file_filter, start_dir, report_filenames, regex_search)

for result in results:
    print(result)

Ruby

以下代码提供了在指定目录中搜索特定文本的 Ruby 脚本示例：

require 'find'
require 'rexml/document'

def find_in_files(search_text, file_filter, start_dir, report_filenames, regex_search)
  results = []
  if regex_search
    regex = Regexp.new(search_text)
  end
  Find.find(start_dir) do |path|
    if File.file?(path) && file_filter.match(path)
      file = File.open(path, 'r')
      file.each_line do |line|
        if regex_search
          results << path if line =~ regex
        else
          results << path if line.include?(search_text)
        end
      end
      file.close
    end
  end
  if report_filenames
    return results.uniq
  else
    return results
  end
end

search_text = '__searchtext__'
file_filter = '*.txt; *.htm'
start_dir = 'c:/docs/2009'
report_filenames = false
regex_search = false

results = find_in_files(search_text, file_filter, start_dir, report_filenames, regex_search)

results.each do |result|
  puts result
end

上述脚本可以接受以下参数：