Python 实战爬虫分析案例(自用)

# coding:utf-8
# 引入json库
import json
# 引入正则库,字符串搜索
import re
# 引入提取网页的xpath库
from lxml import etree


def write(path, data):
    with open(path, 'w', encoding='utf-8') as f:
        _data = json.dumps(data, ensure_ascii=False)
        f.write(_data)
    return True

# 先定义一个列表,作为第一层列表使用.(后面还有排序,去重什么的)
list_end = []
# 这里进入一个循环,即为html的文件名 *.html ,左等右不等
for i in range(1, 48):
    # 定义html的文件路径
    path = 'data/%s.html' % i
    # 以utf-8的格式打开html文件
    f = open(path, 'r', encoding='utf-8')
    # 读取html文件
    st = f.read()
    # 将html文件加载到etree中并赋值,之后可使用xpath操作
    html = etree.HTML(st)
    # 定义一个临时列表
    all_list = []
    # 获取 题目id,非字符串,为一个element对象
    _id = html.xpath('/html/body/div[2]/div[2]/div/table/tbody/tr')
    # 获取 标题和答案(这里放在一起写了,因为分开写合并的时候逻辑很混乱,很麻烦)
    title = html.xpath('//*//font')
    # 定义两个变量为接下来的循环做铺垫
    a = 0
    # 为分隔符做准备
    c = '、'
    # 以id的长度进行循环 id 和 title的值都为个数 *4...,因为id有空集(下文会去除)
    # print(len(_id))
    # print(len(title))
    for index in range(len(_id)):
        # 每次循环a的值+1(下面会有),即为遍历title,
        new_title = title[a]
        # 判断title是标题还是选项(因为标题全部都含有顿号....本来想用数字判断..写的太长逻辑没接上....
        # 所以这就要求选项中不可含有顿号,否则会被识别成标题,这之后的所以选项都会乱掉的....
        # 嘻嘻后来我找到方法了.....折腾了很长时间)
        if '、' in new_title.text and bool(re.search(r'\d', new_title.text)):
            # print(c)
            # 判断是否含有题号,有则删除题号
            c = c.split(sep='、', maxsplit=-1)
            # 如果首项有为数字则为题号
            if c[0].isdigit():
                # 删除首项
                c.remove(c[0])
                # 再恢复原来的状态
                # print(c)
                c = '、'.join(c)
                # print(c)
            # 是标题的话就传入列表中,为什么这样写呢?
            # 是因为这是从第二个循环开始写的
            # 因为标题进入1次,选项要进入4次
            # 而我们只需要保存一次就行了
            # 所以我们就是第一次循环的时候,保存一个0的值,
            # 第二次循环到标题才会保存接下来赋予的标题和选项的值
            all_list.append(c)
            # print(all_list)
            # 这就是赋予标题的值
            # 这个text是因为 上面说过了,这个new_titile并不是一个字符串,而是一个对象类型
            c = new_title.text
        # 判断不是标题的时候执行逻辑
        else:
            # 判断是否是标题中是否单独存在数字或者顿号,如果有就提示
            if bool(re.search(r'\d', new_title.text)) or '、' in new_title.text:
                print('请确认这不是标题 || ', new_title.text)
            # 这里就是单竖杠将标题和选项隔开,然后选项之间是双竖杠隔开
            c += '|' + new_title.text
            # 因为标题会由很多的空格和换行符,这里要全部去掉('、'不要去,前面用到了)
            # print(c)
            c = c.replace('\n', '').replace('\r', '').replace('\t', '')
        # # print(new_title)
        # 将a的值+1,也就是遍历的过程
        a += 1
    # # print(all_list)
    # 将上面赋予列表的第一个没有意义的'第一个列表'去掉
    all_list.remove(all_list[0])
    # 因为这时候标题只剩了99个了,也就是最后一个标题没有获取到
    # 然后这里就是再加一个没有用的东西,用于和选项合并的时候不会报错
    # 后面加了判断,就是后面如果发现这个东西,就进入下一次循环
    # 这条数据就废弃了,但是因为数据有很多条,就是样本足够多的话,肯定可以再找到相同的数据的
    all_list.append('##$%#%$#%$#$@$$%^#%$@#%$!#^$%$#^%')
    # print(all_list)
    # 以上为标题和选项

    # 以下为id的获取
    # 再次给a赋值为0,再次进行循环(a是老工具人了hh)
    a = 0
    # 再定义一个临时列表(好像这是第三个了....)
    list_temp = []
    # 再循环一遍id的长度....
    for index in range(len(_id)):
        # 获取到id
        # 因为range是从1开始的,但我们取列表需要从0开始,所以用a(好像可以直接循环,但是那时候我没写.)
        # 这个获取到的东西是 {'id': 'topicid_XXXXXXX'} 或者为 {}
        id_num = dict(_id[a].attrib)
        # 将获取到的东西传入临时列表,准备做去除空集处理
        list_temp.append(id_num)
        # 遍历
        a += 1

    # 以下为去除空集 用emd的原因是我认为快到end了但是感觉还没到...
    list_emd = []
    # 即为对上面的临时列表进行循环
    for x in list_temp:
        # 去除标题的所有空id集合,使其总数为100
        # print(x)
        if bool(x):
            # print(x)
            # 去除空元素
            list_emd.append(x)
    # print(len(list_emd))

    # 再循环,这时循环的是去掉空集之后的标题,即为100
    for index in range(len(list_emd)):
        # print(index)
        # 将题目与选项合并后的东西传入emd中...即为列表套字典(格式需要)
        list_emd[index]['question_txt'] = all_list[index]
        # 添加占位符, 方便手动输入答案
        list_emd[index]['answer'] = '正确答案填在此'
        list_emd[index]['answer_check_1'] = '检验成员1的答案'
        list_emd[index]['answer_check_2'] = '检验成员2的答案'
        list_emd[index]['answer_check_3'] = '检验成员3的答案'
        list_emd[index]['answer_check_4'] = '检验成员4的答案'
        list_emd[index]['answer_check_5'] = '检验成员5的答案'

        # 没啥用,就是好看,做个提示而已(跟原来格式保持一致....)(但是没啥用)
        list_emd[index]['answer_txt'] = '使用说明：将正确答案填入answer的引号中就可，多选不用间隔，示例 *A* *ABCD*'
        list_emd[index]['id'] = '3'
        del list_emd[index]['id']
    # print(len(list_emd))
    # 将每次循环html文件得到的内容传入列表中,即为列表套列表套字典..
    list_end.append(list_emd)

# print(list_end)

# new_list = sorted(all_list, key=(lambda r: r['id']))
# 将列表套列表套字典转换为列表套字典
list_end = sum(list_end, [])


# 去重
def deletedup(li):
    # 定义一个集合
    seen = set()
    # 定义空集
    new_list_2 = []
    print(li)
    # 对于传入的参数进行循环处理
    for d in li:
        # 即为利用id来去重
        # d1 = d['id']
        d2 = d['question_txt']
        # 这里就是上文所说的去掉
        str1 = d['question_txt']
        # 其实也不是去掉,就是进入下一个循环,就是不传.
        if str1 == '##$%#%$#%$#$@$$%^#%$@#%$!#^$%$#^%':
            continue
        # print(d1)
        # print(seen)
        # 如果没有这个元素才传入,有就不传
        if d2 not in seen:
            # print(d1)
            # 传入元素
            new_list_2.append(d)
            # 传入集合中,是不是集合意义不大,因为不同页面的题号不同,所有肯定不一样
            seen.add(d2)
    # 返回去重之后的列表
    return new_list_2


# 入口函数
if __name__ == '__main__':
    # 对于得到的列表去重
    list_tools = deletedup(list_end)
    # 打印信息,完成任务,下一步去格式化就好啦!
    # print(new_list_2)
    # new_list = sorted(list_tools, key=lambda r: r['id'])
    print(list_tools)
    # 打印警告信息和统计信息
    print('总计:', len(list_tools), '条数据', '\n注意:请划到顶部确认那些东西是不是标题!!!!')
    out_result = write('result.json', list_tools)
    print('是否成功写入result.json文件:', out_result)