【两天完成简书搬家】——第一天,NodeJS爬取简书数据

简书遵循“简单书写”的原则,限制了我的一些想法,比如我想添加个背景音乐,又或者想添加个表情,或做个分类查询等,此外我有一个放杂物的网站空间,放着浪费了,所以就打算建设自己的空间。

当然不是因为那个“饱醉豚”事件,在它越演越烈之前,我就看到那篇争议的文章,顺便看了他几篇文章,我一笑置之,与一个哗众取宠、低智商低情商、毫无论据,甚至毫无文笔的生物有啥好计较的?只是没想到关注的几个人,鉴于简书及简书CEO的态度都纷纷清空简书,叹哉!不过也可以理解一下,一个签约作者写这样的文章居然还能得到简叔的支持:

· 饱醉豚:《我不骂程序员低素质,我只是去证明他们是低素质群体》
· 饱醉豚:《为什么有这么蠢的程序员?难道程序员真是低智商福利职业?》
· 饱醉豚:《为什么简书的程序员用户里有那么多mother fucker和恋尸癖?》
· 饱醉豚:《为什么中国的程序员巨婴这么多》
· 饱醉豚:《为什么程序员是出轨率最高的群体》
· 饱醉豚:《笨到学不懂中学物理怎么办?逻辑极差怎么办?当程序员去!》
· 简叔——简书CEO:《饱醉豚对简书的意义》

分析下简书,还挺好爬取的,写个简单的爬虫还是有挺多开发语言可选择。本来我用C#也写过一个简单的爬虫框架,只是用Mac后.Net的相关代码基本全放在家里的旧电脑里了,便打算用比较顺手的Go来写,但是又有点嫌写正则表达式麻烦,便搜索了下有没有现成的拿来用,结果还真搜到志同道合的人?:node.js爬虫-爬取简书特定作者的所有文章

只是它没有实现爬取【文集】和【专题】的功能。里面主要用到了node-crawler,也开放了爬取的源码,因为node-crawler我没用过,它还集成了Jquery来方便提取节点,我反倒想自己写一下,于是重新写了一份,包含爬取【文集】和【专题】,同时修改了存储方式为本地文件和远程服务两种方式。

安装node-crawler

直接按github上的文档使用npm install crawler安装,会不行的,提示以下警告:

image.png

意思是没有package.json,所以我们先创建此文件,首先先创建一个目录(mkdir命令为建立新目录make directory的意思,取缩写而成):

mkdir jianshu-crawler

然后进入目录并用命令行生成一个package.json文件,其中遇到交互询问图方便的话就一路按回车就行了:

cd jianshu-crawler && npm init

接着才是:

npm install crawler

最后新建一个index.js文件,写入github示例,再执行node index.js即可看到打印结果:

var Crawler = require("crawler");
var c = new Crawler({
    maxConnections : 10,
    // This will be called for each crawled page
    callback : function (error, res, done) {
        if(error){
            console.log(error);
        }else{
            var $ = res.$;
            // $ is Cheerio by default
            console.log($("title").text());
        }
        done();
    }
});
c.queue('http://www.163.com');
node index.js

爬虫原理及分析

所谓爬虫,就是把网页文档内容下载下来分析提取有用信息,技术难点在于如何绕过网站的反爬策略,方法有如伪装终端、代理IP等等,然后是如何有效提取信息。

关于页面基本信息的提取思路上面链接文章已经给出,我就不重复了,主要说下怎么爬取【文集】和【专题】,这两个内容不懂技巧的话,比页面基本信息爬取难度大一些,就是下面的内容:

image.png

为啥说有难度呢?单纯在Chrome上看是正常的:

image.png

然而当我们下载该页面文档内容时,实际是这样的:“专题和文集”文字下面的div标签之间为空,因为【文集】和【专题】是通过js异步加载的,在获取到页面文档时它们还没有加载出来。

文集和专题没有加载出来

那好吧,想方设法做个延时加载再爬取,结果又发现这个问题:部分文集并不会显示出来,只有点击【展开更多】时才会显示,这就涉及到网页交互操作的复杂处理。

image.png

那行,既然我知道你数据是通过js异步加载来的,那我们尝试读取js返回来的数据,找到这个网络请求:

网络请求地址

网络请求结果

然而当我们直接在浏览器打开请求地址:http://www.jianshu.com/users/4ca93d60a9fe/collections_and_notebooks?slug=4ca93d60a9fe,直接返回了一个406错误:

网页406错误

可以百度下406错误是:HTTP 406错误是HTTP协议状态码的一种,表示无法使用请求的内容特性来响应请求的网页。一般是指客户端浏览器不接受所请求页面的 MIME 类型。

那尝试设置下请求头:Content-Type:application/json; charset=utf-8,居然在node-crawler的官方文档找不到设置headers的内容,只好先用Go来写测试代码:

package main
import (
    "fmt" 
    "net/http" 
    "io/ioutil"
)

func httpRequest(url string) (content string, statusCode int) {
    req, _ := http.NewRequest("GET", url, nil)
    req.Header.Set("Accept", "application/json")
    client := http.DefaultClient
    resp, err := client.Do(req)
    if err != nil {
        fmt.Printf("Get请求%s返回错误:%s", url, err)
    }
    if resp.StatusCode == 200 {
        body := resp.Body   
        defer body.Close()
        bodyByte, _ := ioutil.ReadAll(body)
        content = string(bodyByte)
        fmt.Println(content)
    }
    statusCode = resp.StatusCode
    fmt.Println(resp.StatusCode)
    return
}

func main() {
    httpRequest("http://www.jianshu.com/users/4ca93d60a9fe/collections_and_notebooks?slug=4ca93d60a9fe");
}

运行打印出来的数据是正确的:

image.png

方案一:

在node-crawler里调用go命令行运行,把命令行输出内容保存:

var Crawler = require("crawler");
// var mysql   = require('./db-helper');
var fs = require('fs');
var exec = require('child_process').exec; 
/**
 * 执行命令行
 * @param {* } cmdStr 命令行
 * @param {* } callback 回调
 */
function execCmd(cmdStr, callback){
    //创建一个实例
    exec(cmdStr, function(err,stdout,stderr){
        callback(err,stdout,stderr);
    });
}
execCmd('go run crawler.go', function(err,stdout,stderr){
    //stdout为命令行打印输出的内容
    var _savePath = '../src/assets/data';
    if (!fs.existsSync(_savePath)) {
        fs.mkdirSync(_savePath);
    }
    // 写入数据, 文件不存在会自动创建
    fs.writeFile(_savePath + '/other.json', stdout, function (err) {
        if (err) throw err;
        console.log('写入文集及专题信息完成');
    });
});

这样已经是大功告成了!!!

方案二:

不过强迫症还是不想捆绑一个Go,于是直接看node-crawler源码,然后分析出可以这样设置headers并调用:

/**
 * 支持添加头部请求
 * @param {*} headers 请求头
 * @param {*} url 请求路径
 * @param {*} callback 回调
 */
function crawlerRuest(headers, url, callback){
    var c = new Crawler({
        jQuery: false,
        maxConnections : 10,
        headers: headers,
        // This will be called for each crawled page
        callback : function (error, res, done) {
            if(error){
                console.log(error);
            }else{
                //var $ = res.$;
               callback(res.body);
            }
            done();
        }
    });
    c.queue(url);
}

crawlerRuest({"Accept": "application/json"}, 
'http://www.jianshu.com/users/4ca93d60a9fe/collections_and_notebooks?slug=4ca93d60a9fe',
function(stdout){
    if (!fs.existsSync(_baseSavePath)) {
        fs.mkdirSync(_baseSavePath);
    }
    // 写入数据, 文件不存在会自动创建
    fs.writeFile(_baseSavePath + '/other.json', stdout, function (err) {
        if (err) throw err;
        console.log('写入文集及专题信息完成');
    });
});

至此数据爬取告一段落。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏信安之路

如何攻击 LTE 4G 网络

我们在数据链路层(也就是网络协议的第二层)上对移动通信标准 LTE(Long-Term Evolution 也就是我们常说的 4G)的安全分析发现额三种新型攻击...

20400
来自专栏后端技术探索

鸟哥对于php7提高性能的几点建议

今天临晨的时候, 在我们已经到了12月4日, 但是美国时间还是10月3日的时候, PHP7终于正式发布了.

16740
来自专栏程序你好

不同的.Net版本客户端软件调用Java Web Service区别

最近的系统中需要.Net开发的离线端软件通过Web Service技术和Java开发的在线系统进行数据交互。

14630
来自专栏Java后端技术栈

Nexus高级配置之使用OSChina作为Maven仓库代理

其中远程地址如下:http://maven.oschina.net/content/groups/public/

10740
来自专栏恰童鞋骚年

.NET Core微服务之基于Consul实现服务治理

  Consul是HashiCorp公司推出的开源工具,用于实现分布式系统的服务发现与配置。与其他分布式服务注册与发现的方案,比如 Airbnb的SmartSt...

1.3K40
来自专栏信安之路

RedTiger 通关学习总结

学习 SQL 注入有两套必刷题,一个是 sqli-labs,这个已经有了成套的 wp 讲解,在上面的网盘里。

18500
来自专栏大内老A

依赖注入[6]: .NET Core DI框架[编程体验]

毫不夸张地说,整个ASP.NET Core框架是建立在一个依赖注入框架之上的,它在应用启动时构建请求处理管道过程中,以及利用该管道处理每个请求过程中使用到的服务...

9310
来自专栏信安之路

用powershell下载文件的姿势你研究过吗?

PowerShell 的最大优势在于以 .NET 框架为基础。 .NET 框架在脚本领域几乎是无所不能,这是一个优点,也有可能成为一个方便黑客攻击的一个强大的便...

70400
来自专栏恰童鞋骚年

.NET Core微服务之基于Consul实现服务治理(续)

上一篇发布之后,很多人点赞和评论,不胜惶恐,这一篇把上一篇没有弄到的东西补一下,也算是给各位前来询问的朋友的一些回复吧。

20250
来自专栏Web 开发

分层解耦,理想很美好,现实很残酷

自从实习以来,不是第一次有这种想法了。 今天弄一个简单的发邮件功能,使用PHP自带的mail()函数实现,基本就照着php.net上面的例子来写,结果… 情...

11000

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励