专栏首页爱写Bug爬取知乎真福利回答内容
原创

爬取知乎真福利回答内容

爱写bug(ID:iCodeBugs)

前言:

围观几个知乎话题:

女生身材好是什么体验?https://www.zhihu.com/question/328457531

拥有一双大长腿是怎样的体验?:https://www.zhihu.com/question/297715922

有个身材火辣的女朋友是怎样一种体验?:https://www.zhihu.com/question/313825759

点开一个问题看一下答主的回答:

zhihu_index

可是这每个话题下都有上千条回答,这得看到啥时候,不停的刷新也得很久。。。于是就写了这段代码把这些图片都下载了,考虑到一些数据可能用到,就顺道一起存到数据库了。包括图片地址、答主主页地址、答主昵称、答主、个性签名、答主粉丝、相关问题地址、赞同数等等等。看成果图:

zhihu_imgs
zhihu_fuli

公众号 爱写bug 后台回复 知乎 获取2325张图片。

点开一个话题,进入开发者工具,刷新页面,在xhr栏目下,会发现很多请求,左上角过滤一下,只有以 answers? 开头的才是回答内容,分析一下请求头:

zhihu_XHR

知乎的请求结构出奇的简单,很意外。关键信息已在图片标明。基础URL是:https://www.zhihu.com/api/v4/questions/313825759/answers?include= 后面全都是根据 Query String Parameters 构造出来的。

然后我们看一下答主的回答内容:

zhihu_fuli

这里回答内容有可能是引用其他话题 拥有一双大长腿是怎样的体验? 的图片,也就是说,我们只要再把这个引用的话题地址获取下来,再根据新获取的地址构造请求URL, 得到该话题的请求地址,这样就可以顺着一条回答把所有引用的相似问题其他答主的图片全部下载下来。。。

点击引用的其他话题,切换知乎话题 拥有一双大长腿是怎样的体验? ,我们再看一下回答内容:

zhihu_other_fuli

同样看一下该话题的 Query String Parameters 只有 limit 、offset两个属性会变,而limit 为限制当页显示的回答数量,offset 为偏移量,就是本页从第几条回答开始显示,其他属性全是相同的(知乎页面限制显示回答数最大20)。这意味着不管知乎哪个问题都可由该问题的地址以相同的方法构造请求URL:

param = {
        'include': '',#太长了,不展示了
        'limit': '20',  # 限制当页显示的回答数,知乎最大20
        'offset': offset,  # 偏移量
        'platform': 'desktop',
        'sort_by': 'default',
    }
base_URL = 'https://www.zhihu.com/api/v4/questions/297715922/answers?include='  # 基础 url 用来构造请求url
    url = base_URL + urllib.parse.urlencode(param)  # 构造请求地址

再点击 preview 看返回的 json 格式的信息:

有个totals,是该话题下总回答数,可以根据这个计算多少次可以遍历全部回答,考虑到后面回答内容质量就跟不上了,我们只获取前800条回答。

展开一条回答:

zhihu_xhr_ans

所有的信息包括答主信息和回答的信息都在了,content内容就是回答内容,复制下来,格式化发现这是css渲染的内容,也能理解,知乎回答必须要用富文本方式编辑,返回的内容必然是这种格式。看一下回答内容:

zhihu_content_xml

这个层次很明了,a 节点的 href 属性就是引用的相关问题的地址。figure 节点 下 noscript 节点下 img节点的 src 属性就是图片地址。用 pyquery 解析:

    for answer in json['data']:
        answer_info = {}
        # 获取作者信息
        author_info = answer['author']
        author = {}
        author['follower_count'] = author_info['follower_count']  # 作者被关注数量
        author['headline'] = author_info['headline']  # 个性签名
        author['name'] = author_info['name']  # 昵称
        author['index_url'] = author_info['url']  # 主页地址
        # 获取回答信息
        voteup_count = answer['voteup_count']  # 赞同数
        comment_count = answer['comment_count']  # 评论数
        # 解析回答内容
        content = pq(answer['content'])  # content 内容为 xml 格式的网页,用pyquery解析
        imgs_url = []
        imgs = content('figure noscript img').items()
        for img_url in imgs:
            imgs_url.append(img_url.attr('src'))  # 获取每个图片地址
        # 获取回答内容引用的其他相似问题
        question_info = content('a').items()
 ......太多不全部展示了,有兴趣可以看一下文末完整源代码

饮水思源保存文件以答主昵称命名,以示尊敬:

def save_to_img(imgs_url, author_name, base_path):
    path = base_path + author_name
    if not os.path.exists(path):  # 判断路径文件夹是否已存在
        os.mkdir(path)
        for url in imgs_url:
            try:
                response = requests.get(url)
                if response.status_code == 200:
                    img_path = '{0}/{1}.{2}'.format(path,
                                                    md5(response.content).hexdigest(), 'jpg')  # 以图片的md5字符串命名防止重复图片
                    if not os.path.exists(img_path):
                        with open(img_path, 'wb') as jpg:
                            jpg.write(response.content)
                    else:
                        print('图片已存在,跳过该图片')
            except requests.ConnectionError:
                print('图片链接失效,下载失败,跳过该图片')
        print('已保存答主:' + author_name + ' 回答内容的所有图片')

以图片内容的 md5 编码命名可以防止重复图片,如果图片被其他人下载之后加水印再上传,图片内容是不同的,所以可能有重复照片。

如果有需要可以把这些数据存到数据库,这里我以mongoDB为例:

#存储在mongoDB
client = MongoClient(host='localhost')
print(client)
db = client['zhihu']
collection = db['zhihu']
def save_to_mongodb(answer_info):
    if collection.insert(answer_info):
        print('已存储一条回答到MongoDB')
zhihu_mongoDB

图中存储了答主引用的其他话题标题及地址,可以把这个地址传回去循环获取,直到所有类似话题图片全部下载。

结语:

后面我大概看了一下里面的图片,里面还是有一点点重复的,而且还有一些什么表情图在里面,这都没什么,忍不了的是里面还有一点男士 秀自己的照片。。。跟预期不一样吖。

大家可根据情况加些判断函数,例如图片中间大概位置的像素点是否相同,来真正的把重复图片去掉。加些人体身材特征值对比,去掉男士的图片和表情图。这个太慢了,有时间的朋友自行发挥

源码地址:https://github.com/zhangzhe532/icodebugs/tree/master/DataAnalysis/zhihu_get_pic

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 周末了,围观知乎福利话题,放松一下。

    女生身材好是什么体验?:https://www.zhihu.com/question/328457531

    爱写bug
  • LeetCode707:设计链表 Design Linked List

    设计链表的实现。您可以选择使用单链表或双链表。单链表中的节点应该具有两个属性:val 和 next。val 是当前节点的值,next 是指向下一个节点的指针/引...

    爱写bug
  • LeetCode 150:逆波兰表达式求值 Evaluate Reverse Polish Notation

    有效的运算符包括 +, -, *, / 。每个运算对象可以是整数,也可以是另一个逆波兰表达式。

    爱写bug
  • 图片加速 WebP格式

    WebP是Google在2010年推出的图片技术,它可对图片进行有效压缩,不影响清晰度的同时,使图片体积更小 在质量相同的情况下,WebP格式图像的体积要比JP...

    dys
  • 计算机视觉之图像语义分割算法简单介绍

    这段时间一直在分享,图像语义分割相关的论文,但是,发现自己都在写论文的算法细节,没有介绍技术背景,今天来通过几个问题简单地介绍一下人工智能算法计算机视觉图像语义...

    AI深度学习求索
  • 王者荣耀、NBA突发支撑

    腾讯大讲堂
  • Shell 脚本中执行mysql语句

        对于自动化运维,诸如备份恢复之类的,DBA经常需要将SQL语句封装到shell脚本。本文描述了在Linux环境下mysql数据库中,shell脚本下调用...

    Leshami
  • 程序员如何找到好工作?这款小程序帮你忙

    知晓君
  • 王者荣耀、NBA突发支撑

    如何快速、低成本地保障业务突发,本文从目前问题出发,论述了问题对应的解决方案,并对其效果做出总结。

    腾讯架构师
  • 王者荣耀高并发背后的故事

    堪称中国最火爆的手机游戏“王者荣耀”,拥有亿级用户体量,千万级日活用户,如何快速、低成本地保障业务突发?本文从该问题出发,论述了问题对应的解决方案,并对其效果...

    魏晓蕾

扫码关注云+社区

领取腾讯云代金券