生信菜鸟团博客2周年精选文章集(5)seq-answer和bio-star论坛爬虫

生信常用论坛seq-answer里面所有帖子爬取

生信常用论坛bio-star里面所有帖子爬取

这个是爬虫专题第一集,主要讲如何分析bio-star这个网站并爬去所有的帖子列表,及标签列表等等,前提是读者必须掌握perl,然后学习perl的LWP模块,可以考虑打印那本书读读,挺有用的!

http://seqanswers.com/ 这个是首页

http://seqanswers.com/forums/forumdisplay.php?f=18 这个共570个页面需要爬取

http://seqanswers.com/forums/forumdisplay.php?f=18&order=desc&page=1

http://seqanswers.com/forums/forumdisplay.php?f=18&order=desc&page=570

<tbody id=”threadbits_forum_18″>这个里面包围这很多<tr>对,

前五个<tr>对可以跳过,里面的内容不需要

这样就可以捕获到所有的目录啦!

首先我们看看如何爬去该论坛主页的板块构成,然后才进去各个板块里面继续爬去帖子。

接下来看进入各个板块里面爬帖子的代码,可以直接复制张贴使用的!

[perl]

use LWP::Simple;

use HTML::TreeBuilder;

use Encode;

use LWP::UserAgent;

use HTTP::Cookies;

my $tmp_ua = LWP::UserAgent->new; #UserAgent用来发送网页访问请求

$tmp_ua->timeout(15); ##连接超时时间设为15秒

$tmp_ua->protocols_allowed( [ ‘http’, ‘https’ ] ); ##只允许http和https协议

$tmp_ua->agent(

"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727;.NET CLR 3.0.04506.30; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)"

) ;

$base=’https://www.biostars.org';

open FH_IN,"index.txt";

while (<FH_IN>) {

chomp;

@F=split;

open FH_OUT,">index-$F[1].txt";

$total_pages=int($F[2]/40)+1;

foreach (1..$total_pages){

my $url = URI->new("$F[0]/?");

my($sort,$page) = ("update",$_);#

$url->query_form(

‘page’ => $page,

‘sort’ => $sort,

);

&get_each_index($url,’FH_OUT’);

print $url."\n";

}

}

sub get_each_index{

my ($url,$handle)=@_;

$response = $tmp_ua->get($url);

$html=$response->content;

my $tree = HTML::TreeBuilder->new; # empty tree

$tree->parse($html) or print "error : parse html ";

my @list_title=$tree->find_by_attribute(‘class’,"post-title");

foreach (@list_title) {

my $title = $_->as_text();

my $ref = $_->find_by_tag_name(‘a’)->attr(‘href’);

print $handle "$base$href,$title\n";

}

}

[/perl]

这样就可以爬去帖子列表了

https://www.biostars.org/t/rna-seq rna 1573

https://www.biostars.org/t/R R 1309

https://www.biostars.org/t/snp snp 1268

等等“““““““““““““““““““““““““““““`

帖子文件如下,在我的群里面共享了所有的代码及帖子内容,欢迎加群201161227,生信菜鸟团!

生信常用论坛seq-answer里面所有帖子爬取

这个是爬虫专题第二集,主要讲如何分析seq-answer这个网站并爬去所有的帖子列表,及标签列表等等,前提是读者必须掌握perl,然后学习perl的LWP模块,可以考虑打印那本书读读,挺有用的!

其实爬虫是个人兴趣啦,跟这个网站没多少关系,本来一个个下载,傻瓜式的重复也能达到目的。我只是觉得这样很有技术范,哈哈,如何大家不想做傻瓜式的操作可以自己学习学习,如果不懂也可以问问我!

http://seqanswers.com/这个是主页

http://seqanswers.com/forums/forumdisplay.php?f=18 这个共570个页面需要爬取

其中f=18 代表我们要爬去的bioinformatics板块里面的内容

http://seqanswers.com/forums/forumdisplay.php?f=18&order=desc&page=1

http://seqanswers.com/forums/forumdisplay.php?f=18&order=desc&page=570

<tbody id=”threadbits_forum_18″>这个里面包围这很多<tr>对,

前五个<tr>对可以跳过,里面的内容不需要

这样就可以捕获到所有的目录啦!

我这个直接把所有代码贴出了啦

[perl]

use LWP::Simple;

use HTML::TreeBuilder;

use Encode;

use LWP::UserAgent;

use HTTP::Cookies;

my $tmp_ua = LWP::UserAgent->new; #UserAgent用来发送网页访问请求

$tmp_ua->timeout(15); ##连接超时时间设为15秒

$tmp_ua->protocols_allowed( [ ‘http’, ‘https’ ] ); ##只允许http和https协议

$tmp_ua->agent(

"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727;.NET CLR 3.0.04506.30; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)"

) ;

open FH_OUT ,">bioinformatics.csv";

$total_pages=571;

foreach (1..$total_pages){

my $url = URI->new("http://seqanswers.com/forums/forumdisplay.php?");

my($f,$page) = (18,$_);#

$url->query_form(

‘f’ => $f,

‘order’=> ‘desc’,

‘page’ => $page,

);

&get_each_index($url,’FH_OUT’);

print $url."\n";

}

sub get_each_index{

my ($url,$handle)=@_;

$response = $tmp_ua->get($url);

$html=$response->content;

my $tree = HTML::TreeBuilder->new; # empty tree

$tree->parse($html) or print "error : parse html ";

$tmp=$tree->find_by_attribute("id","threadbits_forum_18");

next unless $tmp;

my @list_tr=$tmp->find_by_tag_name(‘tr’);

shift @list_tr;shift @list_tr;shift @list_tr;shift @list_tr;shift @list_tr;

foreach (@list_tr) {

my @list_td=$_->find_by_tag_name(‘td’);

#print $_->as_text;

next unless @list_td>4;

my $brief=$list_td[2]->attr(‘title’);

my $title=$list_td[2]->find_by_tag_name(‘a’)->as_text();

my $href=$list_td[2]->find_by_tag_name(‘a’)->attr(‘href’);

my $author=$list_td[3]->as_text();

#print $handle "$base$href\t$title\t$author\t$brief\n";

print $handle "$base$href\t$title\t$author\n";

}

}

[/perl]

帖子列表如下:

共17109个帖子。

原文发布于微信公众号 - 生信技能树(biotrainee)

原文发表时间:2017-01-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯移动品质中心TMQ的专栏

如何从海量用户中轻松定位H5视频播放器问题?

一、方案背景介绍 随着互联网技术的发展,用户使用QQ浏览器进行上网观看视频越来越多,最近统计目前使用QQ浏览器观看视频已经过亿。不同的用户由于不同的场景下播放...

1988
来自专栏pangguoming

AngularJS中的按需加载ocLazyLoad

初学者,有不足的地方希望各位指出 一、前言     ocLoayLoad是AngularJS的模块按需加载器。一般在小型项目里,首次加载页面就下载好所有的资源...

3408
来自专栏JadePeng的技术博客

【开源小软件 】Bing每日壁纸 让桌面壁纸保持更新

该小软件可以自动获取Bing的精美图片设置为壁纸,并且支持随机切换历史壁纸,查看壁纸故事。

802
来自专栏DeveWork

妙趣横生的HTML5 Page Visibility API

最近浏览36kr 的网页的时候偶然发现一个有趣的情况:当浏览器Tab 处于非当前页的时候,36kr 的标题栏会自动换成可爱的大白字符形象。Jeff 在第一次看到...

1607
来自专栏角落的白板报

角落的开发工具集之Vs(Visual Studio)2017插件推荐

Visual Studio 2017 扩展 Visual Studio 2017 15.4.4 : 目前是最新的版本号,所有的工具&插件都支持这个版本号。所以...

2859
来自专栏漫话前端

浏览器已原生支持 ES 模块,这对前端开发来说意味着什么?

还记得当初入门前端开发的时候写过的 Hello World 么?一开始我们先创建了一个 HTML 文件,在 <body> 标签里写上网页内容;后来需要学习页面交...

2587
来自专栏星流全栈

微信小程序原理

2103
来自专栏逸鹏说道

使用Apworks开发基于CQRS架构的应用程序

在Apworks框架发布Alpha版本的时候,我已经针对其开发案例:Tiny Library CQRS写了Walkthrough文档,地址是:http://ap...

2615
来自专栏互联网杂技

Chrome 61 Beta版已支持JavaScript模块,Web支付API,Web Share API和WebUSB

Chrome 61 Beta版:JavaScript模块,桌面支付请求API,Web Share API,以及WebUSB 除非另有说明,否则下述更改适用于An...

2636
来自专栏web编程技术分享

【手把手】JavaWeb 入门级项目实战 -- 文章发布系统 (第一节)

4058

扫描关注云+社区