【两天完成简书搬家】——第一天，NodeJS爬取简书数据
【两天完成简书搬家】——第一天，NodeJS爬取简书数据
简书遵循“简单书写”的原则，限制了我的一些想法，比如我想添加个背景音乐，又或者想添加个表情，或做个分类查询等，此外我有一个放杂物的网站空间，放着浪费了，所以就打算建设自己的空间。
当然不是因为那个“饱醉豚”事件，在它越演越烈之前，我就看到那篇争议的文章，顺便看了他几篇文章，我一笑置之，与一个哗众取宠、低智商低情商、毫无论据，甚至毫无文笔的生物有啥好计较的？只是没想到关注的几个人，鉴于简书及简书CEO的态度都纷纷清空简书，叹哉！不过也可以理解一下，一个签约作者写这样的文章居然还能得到简叔的支持：
· 饱醉豚：《我不骂程序员低素质，我只是去证明他们是低素质群体》
· 饱醉豚：《为什么有这么蠢的程序员？难道程序员真是低智商福利职业？》
· 饱醉豚：《为什么简书的程序员用户里有那么多mother fucker和恋尸癖？》
· 饱醉豚：《为什么中国的程序员巨婴这么多》
· 饱醉豚：《为什么程序员是出轨率最高的群体》
· 饱醉豚：《笨到学不懂中学物理怎么办？逻辑极差怎么办？当程序员去！》
· 简叔——简书CEO：《饱醉豚对简书的意义》分析下简书，还挺好爬取的，写个简单的爬虫还是有挺多开发语言可选择。本来我用C#也写过一个简单的爬虫框架，只是用Mac后.Net的相关代码基本全放在家里的旧电脑里了，便打算用比较顺手的Go来写，但是又有点嫌写正则表达式麻烦，便搜索了下有没有现成的拿来用，结果还真搜到志同道合的人?：node.js爬虫-爬取简书特定作者的所有文章
只是它没有实现爬取【文集】和【专题】的功能。里面主要用到了node-crawler，也开放了爬取的源码，因为node-crawler我没用过，它还集成了Jquery来方便提取节点，我反倒想自己写一下，于是重新写了一份，包含爬取【文集】和【专题】，同时修改了存储方式为本地文件和远程服务两种方式。
安装node-crawler
直接按github上的文档使用npm install crawler安装，会不行的，提示以下警告：
image.png
意思是没有package.json，所以我们先创建此文件，首先先创建一个目录(mkdir命令为建立新目录make directory的意思，取缩写而成)：
mkdir jianshu-crawler然后进入目录并用命令行生成一个package.json文件，其中遇到交互询问图方便的话就一路按回车就行了：
cd jianshu-crawler && npm init接着才是：
npm install crawler最后新建一个index.js文件，写入github示例，再执行node index.js即可看到打印结果：
var Crawler = require("crawler");
var c = new Crawler({
maxConnections : 10,
// This will be called for each crawled page
callback : function (error, res, done) {
if(error){
console.log(error);
}else{
var $ = res.$;
// $ is Cheerio by default
console.log($("title").text());
}
done();
}
});
c.queue('http://www.163.com');node index.js爬虫原理及分析
所谓爬虫，就是把网页文档内容下载下来分析提取有用信息，技术难点在于如何绕过网站的反爬策略，方法有如伪装终端、代理IP等等，然后是如何有效提取信息。
关于页面基本信息的提取思路上面链接文章已经给出，我就不重复了，主要说下怎么爬取【文集】和【专题】，这两个内容不懂技巧的话，比页面基本信息爬取难度大一些，就是下面的内容：
image.png
为啥说有难度呢？单纯在Chrome上看是正常的：
image.png
然而当我们下载该页面文档内容时，实际是这样的：“专题和文集”文字下面的div标签之间为空，因为【文集】和【专题】是通过js异步加载的，在获取到页面文档时它们还没有加载出来。
文集和专题没有加载出来
那好吧，想方设法做个延时加载再爬取，结果又发现这个问题：部分文集并不会显示出来，只有点击【展开更多】时才会显示，这就涉及到网页交互操作的复杂处理。
image.png
那行，既然我知道你数据是通过js异步加载来的，那我们尝试读取js返回来的数据，找到这个网络请求：
网络请求地址
网络请求结果
然而当我们直接在浏览器打开请求地址：http://www.jianshu.com/users/4ca93d60a9fe/collections_and_notebooks?slug=4ca93d60a9fe，直接返回了一个406错误：
网页406错误
可以百度下406错误是：HTTP 406错误是HTTP协议状态码的一种,表示无法使用请求的内容特性来响应请求的网页。一般是指客户端浏览器不接受所请求页面的 MIME 类型。
那尝试设置下请求头：Content-Type:application/json; charset=utf-8，居然在node-crawler的官方文档找不到设置headers的内容，只好先用Go来写测试代码：
package main
import (
"fmt"
"net/http"
"io/ioutil"
)
func httpRequest(url string) (content string, statusCode int) {
req, _ := http.NewRequest("GET", url, nil)
req.Header.Set("Accept", "application/json")
client := http.DefaultClient
resp, err := client.Do(req)
if err != nil {
fmt.Printf("Get请求%s返回错误:%s", url, err)
}
if resp.StatusCode == 200 {
body := resp.Body
defer body.Close()
bodyByte, _ := ioutil.ReadAll(body)
content = string(bodyByte)
fmt.Println(content)
}
statusCode = resp.StatusCode
fmt.Println(resp.StatusCode)
return
}
func main() {
httpRequest("http://www.jianshu.com/users/4ca93d60a9fe/collections_and_notebooks?slug=4ca93d60a9fe");
}运行打印出来的数据是正确的：
image.png
方案一：
在node-crawler里调用go命令行运行，把命令行输出内容保存：
var Crawler = require("crawler");
// var mysql = require('./db-helper');
var fs = require('fs');
var exec = require('child_process').exec;
/**
* 执行命令行
* @param {* } cmdStr 命令行
* @param {* } callback 回调
*/
function execCmd(cmdStr, callback){
//创建一个实例
exec(cmdStr, function(err,stdout,stderr){
callback(err,stdout,stderr);
});
}
execCmd('go run crawler.go', function(err,stdout,stderr){
//stdout为命令行打印输出的内容
var _savePath = '../src/assets/data';
if (!fs.existsSync(_savePath)) {
fs.mkdirSync(_savePath);
}
// 写入数据, 文件不存在会自动创建
fs.writeFile(_savePath + '/other.json', stdout, function (err) {
if (err) throw err;
console.log('写入文集及专题信息完成');
});
});这样已经是大功告成了！！！
方案二：
不过强迫症还是不想捆绑一个Go，于是直接看node-crawler源码，然后分析出可以这样设置headers并调用：
/**
* 支持添加头部请求
* @param {*} headers 请求头
* @param {*} url 请求路径
* @param {*} callback 回调
*/
function crawlerRuest(headers, url, callback){
var c = new Crawler({
jQuery: false,
maxConnections : 10,
headers: headers,
// This will be called for each crawled page
callback : function (error, res, done) {
if(error){
console.log(error);
}else{
//var $ = res.$;
callback(res.body);
}
done();
}
});
c.queue(url);
}
crawlerRuest({"Accept": "application/json"},
'http://www.jianshu.com/users/4ca93d60a9fe/collections_and_notebooks?slug=4ca93d60a9fe',
function(stdout){
if (!fs.existsSync(_baseSavePath)) {
fs.mkdirSync(_baseSavePath);
}
// 写入数据, 文件不存在会自动创建
fs.writeFile(_baseSavePath + '/other.json', stdout, function (err) {
if (err) throw err;
console.log('写入文集及专题信息完成');
});
});至此数据爬取告一段落。