关于抓取维基百科,百度百科,Google News的记录

最近由于项目中需要抓取维基百科,百度百科,Google News的数据，做了些研究。维基百科开放性做的好，用强大的API支持查询，不过中文的API貌似是基于繁体的，而且中文的维基信息太少了，有些关键词没有对应的词条。于是目标转向百度百科。百度百科的词条确实很丰富，一般的关键词基本都有对应的词条。不过百度百科的词条对应的html页面的连接是这样的 baike.baidu.com/view/0000.html 。0000对应的是某个词条了。要想根据URL来获取就首先需要把关键词转换成对应的数字。通过httpwatch查看后发现http://baike.baidu.com/searchword/?word= keyWord &pic=1&sug=1&enc=gbk 这个url返回的信息中包含了关键词对应的0000.html此格式的数据。关键词要gb2312编码。把信息提取出来，拼接一下url，这样就能顺利获取百度百科的html页面了。然后把html页面做处理，输出到自己的页面上。因为html页面结构复杂，在服务器做处理效率低。所以我觉得还不如把所有html代码输出到自己的页面中，在用JQuery来处理页面，只要用IE或者chrome的开发人员工具，看一下结构，然后用JQuery来提取啊，隐藏啊，这样方便多了。Google New的思路同百度百科，用webrequest来模拟搜索请求，取得html代码，输出到自己的页面，JQuery来处理下就OK了。