SAS-爬取帖子下的邮箱，给他们发一封邮件...

Setup

发布于 2019-10-21 17:32:10

7080

发布于 2019-10-21 17:32:10

前一段时间，看到了某些帖子下，有好多邮箱，然后我就想啊，如果我能给这些邮箱发一封邮件邀请关注我公众号，我的关注是不是会蹭蹭的往上涨...那么问题来了，如何可以批量get到网页上的邮箱呢？于是关于“SAS爬虫”这篇文章诞生了...（我知道的仅仅是一点皮毛，但也不妨我用SAS获取了一堆邮箱....）其实不太知道这算不算爬虫，姑且叫爬...

原理

SAS中获取网页上信息的原理其实很简单，就是将网页上的html代码给导入进数据集中，然后利用一定规律来获取自己想要的提取的信息...（目前个人浅显的理解），那么如何来将网页的代码直接导入的数据集中呢，见如下代码...

filename temp url "http://bbs.pinggu.org/thread-6046909-1-1.html";
data a;
infile temp;
input fname $char2000.;
run;

这样就能将网页的代码给鼓捣到数据集中了....还是看一下数据是啥样的....

就上面的那个样子，然后就需要在这样杂乱无章的字符串中准确的提取邮箱，首先想到的是邮箱的标志是啥（XXXXX@XXXX.com）是这样的形式...那么该如何提取这样的字符串呢，最合适的方式就是正则表达式，小编用的不溜，就先不细说了...

写一个循环

知道最基本的原理后，那么就得应用到真实场景来来，最开始的是提取一个页面，显而易见，我们要提取的帖子下有大量的回复，这个时候就会有多个页面...那么页面也页面之间是否有规律呢，就要找到这个规律，利用循环来实现批量的操作...当然像这种规律都是一眼就能发现的....

先来看看某论坛页面的规律：（倒数第三个数字代表帖子的ID，倒数第二个数字代表页面）

http://bbs.pinggu.org/thread-6046909-1-1.html

这个的规律在：页面每加一页，倒数第二个1就加1;

在来看看某贴吧的规律：（倒数第二个数字代表帖子的ID，倒数第一个数字代表页面）

http://tieba.baidu.com/p/4910914860?pn=1

规律就是：每增加一页，倒数第一个数字就加1;

知道了规律那么一切就都好操作了，小编技术还比较low，无法自动获取一个帖子到底有多少页，所以每个帖子的ID，或者页码都是小编人工去设置的..当然页码可以设置稍大一点也是无所谓的...那么就来看看小编这个循环是怎么写的...

%macro gturl(id=,n=);
data ds_url;
length urlpath $200.;
do i=1 to &n.;
urlpath=strip('"http://bbs.pinggu.org/thread-&id.-')||strip(i)||strip('-1.html"');
call execute(strip("filename temp")||strip(i)||" url "||strip(urlpath)||';');
call execute(strip("data ds_")||strip(i)||strip(";infile temp")||strip(i)||";input fname $char2000.;run;");
output;
end;
run;
data final;
  set %do i=1 %to &n.;%sysfunc(compress(ds_&i.)) %end;;
run;
%mend;
%gturl(id=6046909,n=54);

如上，在编写过程的前期的一段小程序，将指定帖子下面的54个页面的全部捣腾到数据集里面去，最后合并成一个叫final的数据集...直到此处，我们第一步就完成了，那么就要开始第二步，利用正则将邮箱提取出来，前面已经知道邮箱的规律（XXX@XXX.com）在这里，XXX 可以是[0-9]中的任意数字，[a-zA-Z]中的任意字符，而且还可以是包含[-_.]特殊字符的字符串，长度也不固定，这样，我们就可以基本确定了邮箱的规律，那么就需要用语言告诉程序，我们的规律是什么...接下来就看看程序是写的...(我正则用的不好，如有错误还请指正...)

data final;
set final;
len=length(fname);
_lst=find(fname,'.com');
if _lst=0 then delete;
_em1=substr(fname,1,_lst)||strip("com");
POSITION1 = PRXMATCH('/([A-Za-z0-9]|[-_.])+@([A-Za-z0-9]|[-_.])+(.com)/',_em1);  
final=substr(_em1,POSITION1);
keep  final;
run;

代码较长的那一行，就是正则在此处的应用，找出符号这样规则的其实字符，然后利用substr开始截取...

拼凑

Macro其实就是将多个零件进行组装实现某个功能，那么知道了前面的原理和各个知识点，就可以将其组装到一起，在后面的使用过程中不断优化从而形成一个比较好的宏...那么就来看看此处的组装...

%macro gt_em_ds(lib=,dsn=,id=,st=1,en=,desc=);
options nofmterr compress=yes missing='';
data ds_url;
length urlpath $200.;
do i=&st. to &en.;
urlpath=strip('"http://bbs.pinggu.org/thread-&id.-')||strip(i)||strip('-1.html"');
call execute(strip("filename temp")||strip(i)||" url "||strip(urlpath)||';');
call execute(strip("data ds_")||strip(i)||strip(";infile temp")||strip(i)||";input fname $char2000.;run;");
output;
end;
run;
data final;
  set %do i=&st. %to &en.;%sysfunc(compress(ds_&i.)) %end;;
  if find(fname,'@')>0;
  len=length(fname);
  _lst=find(fname,'.com');
  if _lst=0 then delete;
  _em1=substr(fname,1,_lst)||strip("com");
  POSITION1 = PRXMATCH('/([A-Za-z0-9]|[-_.])+@([A-Za-z0-9]|[-_.])+(.com)/',_em1);  
  final=substr(_em1,POSITION1);
  keep  final;
run;
proc sort data=final out=final_a(keep=final) nodupkey;
    by final;
run;
data &lib..&dsn.(label="&desc.");
  set final_a;
  where ^missing(final);
run;
proc datasets lib=work  memtype=data nolist;
save final;
quit;
%mend;

参数的介绍：

/*********************************************************

LIB :输出的数据集存放的逻辑库名称
DSN ：输出数据集名称
ID  ：帖子ID
ST  ：开始的页面（便于后期再一次获取时重复了前面的获取的页面）
EN  ：结束的页面 
DESC ：数据集Label 可以加一个描述

***********************************************************/

http://bbs.pinggu.org/thread-6046909-1-1.html

http://bbs.pinggu.org/thread-6046909-54-1.html

%gt_em_ds(lib=work,dsn=rtable_1,id=6046909,st=1,en=54,desc=%str(资料));

那么来看看这个宏执行后提取的效果：