Python-数据解析-职位信息-中

import urllib.request

class Spider(object):
  def __init__(self):
    # 起始页位置
    self.begin_page = int(input("请输入起始页："))
    # 终止页位置
    self.end_page = int(input("请输入终止页："))
    # 基本 URL
    self.base_url = "http://hr.tencent.com/"
  
  def load_page(url):
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"}
    for page in range(self.begin_page, self.end_page + 1):
      url = self.base_url + "position.php?&start=" + str((page -1)*10 + "#a")
      request = urllib.request.Request(url, headers=headers)
      # 获取每页 HTML 源代码字符串
      response = urllib.request.urlopen(request)
      html = response.read().decode("utf-8")
      return html

lid=0">(.*?)</a>

<a target="_blank" href="(.*?)">

<td>(.*?)</td>

import re

def parse_page(self, html):
  """
  定义一个解析网页的方法
  html 服务器返回的网页 HTML
  """
  # 查找所有的职位名称
  names_list = re.findall(r'lid=0">(.*?)</a>', html)
  
  # 查找所有详情链接
  links_list = re.findall(r'<a target="_blank" href="(.*?)">', html)
  
  # 查找其它元素
  temp_list = re.findall(r'<td>(.*?)</td>)', html)
  
  # 去除表格标题
  others_list = temp_list[4:]
  
  # 从 others_list 中截取所有职位类别
  category_list = others_list[0::4]
  
  # 从others_list 中截取所有招聘人数
  counts_list = others_list[1::4]
  
  # 从 others_list 中截取所有工作地点
  location_list = others_list[2::4]
  
  # 从 others_list 中截取所有发布时间
  publish_time_list = others_list[3::4]
  
  # 定义空列表，以保存元素的信息
  items = []
  for i in range(0, len(names_list)):
    item = {}
    item['职位名称'] = names_list[i]
    item['详情链接'] = self.base_url + links_list[i]
    item['职位类别'] = category_list[i]
    item['招聘人数'] = counts_list[i]
    item['工作地点'] = location_list[i]
    item['发布时间'] = publish_time_list[i]
    items.append(item)