专栏首页生信技能树生信菜鸟团博客2周年精选文章集(5)seq-answer和bio-star论坛爬虫

生信菜鸟团博客2周年精选文章集(5)seq-answer和bio-star论坛爬虫

生信常用论坛seq-answer里面所有帖子爬取

生信常用论坛bio-star里面所有帖子爬取

这个是爬虫专题第一集,主要讲如何分析bio-star这个网站并爬去所有的帖子列表,及标签列表等等,前提是读者必须掌握perl,然后学习perl的LWP模块,可以考虑打印那本书读读,挺有用的!

http://seqanswers.com/ 这个是首页

http://seqanswers.com/forums/forumdisplay.php?f=18 这个共570个页面需要爬取

http://seqanswers.com/forums/forumdisplay.php?f=18&order=desc&page=1

http://seqanswers.com/forums/forumdisplay.php?f=18&order=desc&page=570

<tbody id=”threadbits_forum_18″>这个里面包围这很多<tr>对,

前五个<tr>对可以跳过,里面的内容不需要

这样就可以捕获到所有的目录啦!

首先我们看看如何爬去该论坛主页的板块构成,然后才进去各个板块里面继续爬去帖子。

接下来看进入各个板块里面爬帖子的代码,可以直接复制张贴使用的!

[perl]

use LWP::Simple;

use HTML::TreeBuilder;

use Encode;

use LWP::UserAgent;

use HTTP::Cookies;

my $tmp_ua = LWP::UserAgent->new; #UserAgent用来发送网页访问请求

$tmp_ua->timeout(15); ##连接超时时间设为15秒

$tmp_ua->protocols_allowed( [ ‘http’, ‘https’ ] ); ##只允许http和https协议

$tmp_ua->agent(

"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727;.NET CLR 3.0.04506.30; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)"

) ;

$base=’https://www.biostars.org';

open FH_IN,"index.txt";

while (<FH_IN>) {

chomp;

@F=split;

open FH_OUT,">index-$F[1].txt";

$total_pages=int($F[2]/40)+1;

foreach (1..$total_pages){

my $url = URI->new("$F[0]/?");

my($sort,$page) = ("update",$_);#

$url->query_form(

‘page’ => $page,

‘sort’ => $sort,

);

&get_each_index($url,’FH_OUT’);

print $url."\n";

}

}

sub get_each_index{

my ($url,$handle)=@_;

$response = $tmp_ua->get($url);

$html=$response->content;

my $tree = HTML::TreeBuilder->new; # empty tree

$tree->parse($html) or print "error : parse html ";

my @list_title=$tree->find_by_attribute(‘class’,"post-title");

foreach (@list_title) {

my $title = $_->as_text();

my $ref = $_->find_by_tag_name(‘a’)->attr(‘href’);

print $handle "$base$href,$title\n";

}

}

[/perl]

这样就可以爬去帖子列表了

https://www.biostars.org/t/rna-seq rna 1573

https://www.biostars.org/t/R R 1309

https://www.biostars.org/t/snp snp 1268

等等“““““““““““““““““““““““““““““`

帖子文件如下,在我的群里面共享了所有的代码及帖子内容,欢迎加群201161227,生信菜鸟团!

生信常用论坛seq-answer里面所有帖子爬取

这个是爬虫专题第二集,主要讲如何分析seq-answer这个网站并爬去所有的帖子列表,及标签列表等等,前提是读者必须掌握perl,然后学习perl的LWP模块,可以考虑打印那本书读读,挺有用的!

其实爬虫是个人兴趣啦,跟这个网站没多少关系,本来一个个下载,傻瓜式的重复也能达到目的。我只是觉得这样很有技术范,哈哈,如何大家不想做傻瓜式的操作可以自己学习学习,如果不懂也可以问问我!

http://seqanswers.com/这个是主页

http://seqanswers.com/forums/forumdisplay.php?f=18 这个共570个页面需要爬取

其中f=18 代表我们要爬去的bioinformatics板块里面的内容

http://seqanswers.com/forums/forumdisplay.php?f=18&order=desc&page=1

http://seqanswers.com/forums/forumdisplay.php?f=18&order=desc&page=570

<tbody id=”threadbits_forum_18″>这个里面包围这很多<tr>对,

前五个<tr>对可以跳过,里面的内容不需要

这样就可以捕获到所有的目录啦!

我这个直接把所有代码贴出了啦

[perl]

use LWP::Simple;

use HTML::TreeBuilder;

use Encode;

use LWP::UserAgent;

use HTTP::Cookies;

my $tmp_ua = LWP::UserAgent->new; #UserAgent用来发送网页访问请求

$tmp_ua->timeout(15); ##连接超时时间设为15秒

$tmp_ua->protocols_allowed( [ ‘http’, ‘https’ ] ); ##只允许http和https协议

$tmp_ua->agent(

"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727;.NET CLR 3.0.04506.30; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)"

) ;

open FH_OUT ,">bioinformatics.csv";

$total_pages=571;

foreach (1..$total_pages){

my $url = URI->new("http://seqanswers.com/forums/forumdisplay.php?");

my($f,$page) = (18,$_);#

$url->query_form(

‘f’ => $f,

‘order’=> ‘desc’,

‘page’ => $page,

);

&get_each_index($url,’FH_OUT’);

print $url."\n";

}

sub get_each_index{

my ($url,$handle)=@_;

$response = $tmp_ua->get($url);

$html=$response->content;

my $tree = HTML::TreeBuilder->new; # empty tree

$tree->parse($html) or print "error : parse html ";

$tmp=$tree->find_by_attribute("id","threadbits_forum_18");

next unless $tmp;

my @list_tr=$tmp->find_by_tag_name(‘tr’);

shift @list_tr;shift @list_tr;shift @list_tr;shift @list_tr;shift @list_tr;

foreach (@list_tr) {

my @list_td=$_->find_by_tag_name(‘td’);

#print $_->as_text;

next unless @list_td>4;

my $brief=$list_td[2]->attr(‘title’);

my $title=$list_td[2]->find_by_tag_name(‘a’)->as_text();

my $href=$list_td[2]->find_by_tag_name(‘a’)->attr(‘href’);

my $author=$list_td[3]->as_text();

#print $handle "$base$href\t$title\t$author\t$brief\n";

print $handle "$base$href\t$title\t$author\n";

}

}

[/perl]

帖子列表如下:

共17109个帖子。

本文分享自微信公众号 - 生信技能树(biotrainee),作者:1227278128

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-01-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【资源分享】生物信息学编程实战

    生信技能树
  • 数据整理这一块工作商业公司可能做得更好-人类lncRNA大全

    正好我看到一款商业芯片 Arraystar Human LncRNA Array V4.0 ,上面介绍:

    生信技能树
  • 没有docker我真的不想动这样的生信软件

    最开始开发者都是C语言流派, 所以标准的源代码安装三部曲即可,即使 configure+make+ make install 来安装

    生信技能树
  • [接口测试 - 基础篇] 11 掌握下python解析YAML格式也是需要的

    什么是YAML YAML参考了其他多种语言,包括:XML、C语言、Python、Perl以及电子邮件格式RFC2822。 Clark Evans在2001年5月...

    苦叶子
  • 5G商业化的另一面,技术标准待完善,应用前景充满不确定性

    从工信部颁发5G商用牌照、手机厂商接连推出5G手机到三大运营商公布5G资费,我国的5G商用速度“快得飞起”。

    镁客网
  • 使用Swagger2Markup实现API文档的静态部署(一):AsciiDoc

    在阅读本文之前,您先需要了解Swagger的使用,如果您还不知道它是用来干嘛的,请先阅读《Spring Boot中使用Swagger2构建强大的RESTful ...

    程序猿DD
  • python | 关于多重继承那些事

    继承是面向对象编程的一个重要的方式 ,通过继承 ,子类就可以扩展父类的功能 。和 c++ 一样 ,在 python 中一个类能继承自不止一个父类 ,这叫做 py...

    小小詹同学
  • 聊一聊代码、命令执行

    php官方在php7中更改了assert函数。在php7.0.29之后的版本不支持动态调用。

    重生信息安全
  • Python 生成器 generator

    举例: def gen(): for i in range(10): x = yield i print(x) g=ge() print(g.send(None...

    py3study
  • Windows10 zip安装 MySQL8.0.12

    主要是出在my.ini上面,要自己创建。在%MYSQL_HOME%下面新建一个文件my.ini,作为MySQL启动的配置文件。

    ydymz

扫码关注云+社区

领取腾讯云代金券