前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Cheerio爬虫-解决网易GBK字符的乱码问题

Cheerio爬虫-解决网易GBK字符的乱码问题

作者头像
治电小白菜
发布2020-08-25 14:27:01
1.8K0
发布2020-08-25 14:27:01
举报
文章被收录于专栏:技术综合技术综合

1.爬了网易科技的最新快讯,发现出来的全是乱码。

1.png

2.看了源代码,发现网页字符格式是GBK

2.png


3.于是百度,发现要用到库npm install iconv-lite


4.发现了一个大神写的node库npm install gbk

3.png

看了index.js发现先要有个iconv-lite库

4.png 跑了一遍他git上的example,发现报错。。。。

看到issue中也有人提出相关问题

5.png

很幸运,作者四天前刚刚解决了他的问题。

6.png 直接复制他修改后的page.js替换自己node_modules/gbk/libs/page.js的代码 就可以运行啦!!!


5.然后当然是直接引入到我的代码里。。。

7.png


6.运行结果

8.png

9.png


7.最后贴出全部代码

代码语言:javascript
复制
var http = require('http');
var cheerio = require('cheerio');
var url = 'http://tech.163.com';
var fs =require('fs');
var iconv = require('iconv-lite');
var gbk = require('gbk');
var i=1;
var section_add=null;


http.get(url, function(res){
    //转换gbk字符格式的网页
    gbk.fetch(url).to('string', function(err, string){
        if (err) 
            return console.log(err);
        var chapter=crawlerChapter(string);
        printInfo(chapter);
    });
    // var html = '';
    // res.on('data', function(data){
    //     html+= data;
    //     console.log(html);
    // });
    
}).on('error', function(){
    console.log('爬取页面错误');
});


function crawlerChapter(html) {
    var $ = cheerio.load(html);
    var chapters = $('.newest-lists');//css选择器
    var data = [];
    chapters.map(function (node) {
        var chapters = $(this);
        var chapterTitle = chapters.find('.list_item').text().trim();//选择器
        var sections = chapters.find('.nl-title');//选择器
        var chapterData = {
            chapterTitle: chapterTitle,
            section: []
        };
        sections.map(function (node) {
            var section = $(this).text().trim();
            chapterData.section.push(section);
        });
        data.push(chapterData);
    });
    return data;
}


function printInfo(data) {
    data = data.filter(function filterByID(obj) {
        return obj.chapterTitle ? true : false;
    });
    data.map(function (item) {
        var chapterTitle = item.chapterTitle;
        //console.log('【' + chapterTitle + '】\n');未处理的文字

        item.section.map(function (section) {
            console.log('   【' + section + '】\n');//换行后的文字
            
            section_add+=section+'\n';
           
            
            // ------------------将文字存入文件-----------
            fs.writeFile('./wangyi.txt',section_add,function(err){
                if(err) throw err;
                console.log("file save!"+i);
                i= i+1;
            });
            // ------------------将文字存入文件-----------
        

        });
    });
}
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1.爬了网易科技的最新快讯,发现出来的全是乱码。
  • 2.看了源代码,发现网页字符格式是GBK
  • 3.于是百度,发现要用到库npm install iconv-lite
  • 4.发现了一个大神写的node库npm install gbk
    • 看到issue中也有人提出相关问题
      • 很幸运,作者四天前刚刚解决了他的问题。
      • 5.然后当然是直接引入到我的代码里。。。
      • 6.运行结果
      • 7.最后贴出全部代码
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档