专栏首页若是烟花掘金15W沸点简单分析(一)

掘金15W沸点简单分析(一)

一、另一种方式的爬虫

爬虫通常是:①得到目标网页URL;②发起HTTP请求得到网页数据;③使用各种方式解析网页得到想要的数据;

通常,在第②步,是不会去执行页面中的JS代码的。有些网站,会使用Ajax异步加载一些数据,然后再渲染到页面上的;或者使用JS对页面Dom做一些修改。这样都会导致第②步请求的页面中缺少、甚至是没有目标数据。这就需在获取到网页数据后,执行页面中的JS代码了。

最早是使用phantomjs+selenium。后面Chrome出了headless模式,基本就一直使用Chrome了。处理逻辑大概:①请求获取网页,执行JS代码;②再将处理过的页面数据进行保存;③后续的处理(解析网页获取数据)。

1.1 Selenium使用示例

我们就以掘金征文为例,获取该文章下所有的评论。

注: 虽然可以直接通过接口获取,但我们假设无法直接获取数据,必须执行完JS才能得到目标数据。

使用Selenium + Chrome,首先需要下载与Chrome版本对应的ChromeDriver

示例代码如下:

self.driver.get(self.article_url)
# 等待评论列表出现
WebDriverWait(self.driver, 10).until(
    EC.presence_of_element_located((By.CLASS_NAME, 'comment-list'))
)
self.save_page()

通过Selenium来操控Chrome加载网页时,通常会遇到这种问题:网络延迟,导致目标数据没有及时下载下来,但此时已将网页保存完毕。最简单的方式是,每次发生加载网页时,调用下time.sleep(5)类似的方式,但这种方式虽然简单但却比较粗暴。更好的办法是使用Selenium提供的WebDriverWait来处理。

官方文档,一定不要错过:selenium-python

1.2 页面的后续处理

将渲染后的网页保存之后,接下来就要解析提取数据了。这次我们使用XPath来解析数据。

还是先分析下网页

数据所处位置为://div[@class="comment-list-box"]/div[contains(@class, "comment-list")]/div[@class="item"]

为了处理方便,咱们仅获取第一级的评论用户和内容。

示例代码如下:

root = etree.HTML(page_source)
comments = root.xpath('//div[@class="comment-list-box"]/div[contains(@class, "comment-list")]/div[@class="item"]')
for comment in comments:
    username = self.fix_content(comment.xpath('.//div[@class="meta-box"]//span[@class="name"]/text()'))
    content = self.fix_content(comment.xpath('.//div[@class="content"]//text()'))
    print(f'{username} --> {content}')

结果数据:

二、掘金沸点的获取

咱们直接看沸点的API接口。

接口分析:

沸点接口地址:https://apinew.juejin.im/recommend_api/v1/short_msg/hot 请求方式:POST 请求参数类型及格式:JSON格式数据,

{
	cursor: "0",  // 游标。 首次请求时为"0",请求响应中会含有该字段。后续请求直接使用即可
    id_type: 4,  // 沸点类别??(无关紧要)
    limit: 20,  // 分页大小 
    sort_type: 200  // 某种排序类型??(无关紧要)
}

然后我们就可以使用Python来模拟请求,获取沸点数据了。

我们使用requests来模拟请求,具体使用请看官方文档。

代码示例:

HOT_URL = 'https://apinew.juejin.im/recommend_api/v1/short_msg/hot'
json_form = {
    'cursor': '0',
    'id_type': 4,
    'limit': 20,
    'sort_type': 200,
}
resp = requests.post(HOT_URL, json=json_form)
print(resp.json())

# 数据可以正常返回
# {'err_no': 0, 'err_msg': 'success', 'data': [{'msg_id': '6864704084000112654', 'msg_Info': {'id': 980761, 'msg_id': '6864704084000112654', 'user_id': '2207475080373639', 'topic_id': '6824710203301167112', 'content': '别去找女朋友了,你的女朋友来了',

2.1 将所有数据保存下来

根据上面的示例,我们优化下代码:

def save_pins(idx=0, cursor='0'):
    json_data = {
        'id_type': 4,
        'sort_type': 200,
        'cursor': cursor,
        'limit': 200  # 该数值无限制,但过大服务器报错,或者出现用户信息缺失等情况
    }
    resp = sess.post(url, json=json_data)
    if resp.ok:
        resp_json = resp.json()
        with open(f'json_data/pins-{idx:04}.json', 'w+') as json_file:
            json_file.write(resp.content.decode('UTF-8'))
        # 是否还有更多
        if resp_json['err_no'] == 0 and resp_json['err_msg'] == 'success':
            logging.debug(f'no error, idx={idx}')
            if resp_json['has_more']:
                logging.debug(f'has more, next idx={idx+1}')
                time.sleep(5)
                save_pins(idx+1, cursor=resp_json['cursor'])
        else:
            # 出了异常
            logging.warning(resp_json['err_msg'])
            logging.debug(f'sleep 10s, retry idx={idx}')
            time.sleep(10)
            save_pins(idx, cursor)

部分数据如下:

源码已上传至GitHub, Gitee

三、后记

至此,整个热点数据获取已经结束。由于是直接请求接口返回的数据,除了部分数据重复外,几乎不用做任何数据处理。

3.1 后续处理

计划将数据简单处理、存储至MySQL数据库,然后使用superset制作图表。

3.2 针对掘金热点的建议

  • 对分页limit做限制,最大值限制为:20?
  • 针对未登录的情况,对可见数据量进行限制。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Laravel框架学习 -- php artisan down/up

    由于某种原因,公司整体框架由python的flask框架,转换为php的laravel。在断断续续几个月的时间里,边继续写着flask框架,边学着laravel...

    lpe234
  • python爬虫----(5. scrapy框架,综合应用及其他)

    由于之前使用Win,没使用过shell的。目前只是了解。以后再补充。找到几个不错的教程

    lpe234
  • 如何处理一个未知的BUG

    总有那么一些Bug让你切实的感觉到了自己知识的局限,让你对未知感到了恐惧亦或是愤怒

    lpe234
  • SpringMVC解决@ResponseBody返回Json的Date日期类型的转换问题

    在做这个项目时,我发现后台返回了json字符串形式的日期属性,前台无法获得转换后的日期格式。

    Erwin
  • HUST 1585 排队

    1585 - 排队 时间限制:1秒 内存限制:128兆 351 次提交 179 次通过 题目描述BG站在一个有n个人的队伍中,但他并不知道他处于队伍中的哪个...

    Angel_Kitty
  • SpringBoot测试Service或者Dao层

    要在Spring Boot中使用单元测试是很简单的,Spring Boot提供了spring-boot-starter-test的依赖,即JUnit的相关依赖。

    爱敲代码的猫
  • 是时候想想该怎么删代码了

    武林外传里秀才怼上姬无命,来了一段关于「我是谁」的精彩逼问。 我是谁?我生从何来,死往何处,我为何要出现在这个世界上?我的出现对这个世界来说意味着什么,是世界选...

    tyrchen
  • 撸一个预言机(Oracle)服务,真香!—中篇

    本文将通过上、中、下三篇文章带领大家一步步开发实现一个中心化的Oracle服务,并通过一个抽奖合约演示如何使用我们的Oracle服务。文章内容安排如下:

    Tiny熊
  • vim-plug:简洁高效的Vim插件管理工具

    今天无意中发现了这个vim-plug这个简洁又高效的Vim插件管理工具,试了下,安装插件简直没法再容易,大大减小了配置难度,对于我这种既想要Vim及插件强大的功...

    王云峰
  • python多进程获取返回值

    https://segmentfault.com/q/1010000010403117/a-1020000010411306

    py3study

扫码关注云+社区

领取腾讯云代金券