Node.js爬虫抓取数据 -- HTML 实体编码处理办法
cheerio DOM化并解析的时候
1.假如使用了 .text()方法，则一般不会有html实体编码的问题出现
2.如果使用了 .html()方法，则很多情况下(多数是非英文的时候）都会出现，这时，可能就需要转义一番了
类似这些 因为需要作数据存储，所有需要转换
Халк крушит. Новый способ исполнен
大多数都是&#(x)?\w+的格式
所以就用正则转换一番
var body = ....//这里就是请求后获得的返回数据，或者那些 .html()后获取的
//一般可以先转换为标准unicode格式（有需要就添加：当返回的数据呈现太多\\\u 之类的时）
body=unescape(body.replace(/\\u/g,"%u"));
//再对实体符进行转义
//有x则表示是16进制，$1就是匹配是否有x ，$2就是匹配出的第二个括号捕获到的内容，将$2以对应进制表示转换
body = body.replace(/&#(x)?(\w+);/g,function($,$1,$2){
return String.fromCharCode(parseInt($2,$1?16:10));
});ok ～
当然了，网上也有很多个转换的版本，适用的就行了
后记：
当使用爬虫抓取网页数据时，cheerio模块是经常使用到底，它像jq那样方便快捷
（但有些功能并未支持或者换了某种形式，比如 jq的 jQuery('.myClass').prop('outerHTML') ，cheerio则等价于 jQuery.html('.myClass') http://www.mgenware.com/blog/?p=2514 ）
本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2015-07-01 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
相关产品与服务
对象存储
对象存储（Cloud Object Storage，COS）是由腾讯云推出的无目录层次结构、无数据格式限制，可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限，无需分区管理，适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。