在VBA开发网抓程序中,会用到xmlhttp/winHttp.winHttprequest.5.1等组件,当时笔者也是这样进入了网抓领域的,这些都是非常过时的东西,在.Net的开发中,有大量的更好用的轮子使用,在Excel催化剂开发过程中,也会用到,在此向大家简单分享,希望对VBA转VSTO开发群体有所帮助。
在.Net4.0的框架上,只能用这个类库,在更高的框架.Net 4.5中,可以用HttpClient,比HttpRequest更高级的更易使用。
HttpRequest应该可以满足大部分的网抓的提交需求,网上大量的教程,但笔者几乎不用,后面会说到原因。
这个因为Excel催化剂项目是基于.Net 4.0的(顾及一部分用户仍然使用win7系统,win7没有sp1补丁安装不了.Net 4.5,当然更老的XP系统最高只能.Net 4.0了),没有福气使用它,也没有深入学习研究。
如果对网页访问要求不高,不需要做过多的cookie处理、refer页面、header头伪装等操作,单纯地只是访问下网页,返回结果即可,可以考虑用此类库,简单易用,是HttpRequest的更抽象的封装,几个方法即可返回想要的结果。
因为WebClient没有超时选项设置,默认的超时时间太长,好像是60秒,如果需要设置超时时间,可以简单继承一下此类,自己封装一个类库出来,如下面代码。
public class WebClientEx : WebClient
{
/// <summary>
/// 过期时间,单位毫秒
/// </summary>
public int Timeout { get; set; }
public WebClientEx(int timeout)
{
Timeout = timeout;
}
/// <summary>
/// 重写GetWebRequest,添加WebRequest对象超时时间
/// </summary>
/// <param name="address"></param>
/// <returns></returns>
protected override WebRequest GetWebRequest(Uri address)
{
HttpWebRequest request = (HttpWebRequest)base.GetWebRequest(address);
request.Timeout = Timeout;
request.ReadWriteTimeout = Timeout;
return request;
}
}
对Excel催化剂这种业余选手来说,天生喜欢找别人做好的轮子,微软造得不够易用,就有其他开发者在其基础上做封装,做更简单的轮子出来,所以这也是VBA转VSTO的一大优势,可以用上专业程序员世界的大量轮子,而VBA几乎没有什么轮子可用,只有零散的一些小代码片段。
这个类库是笔者一开始学习C#和在C#上学习网抓的第一个类库,可能现在已经迭代了好多版本了,网址是这个,自己有兴趣可以再了解。http://www.sufeinet.com/
它网站上有详细的使用教程,同样基于原生的HttpRequest,但使用起来比原生的简单好多。因为笔者偷懒使用它,所以就没有使用过HttpRequest。
同样地,现在使用它,我都是用的是我以前学习nuget封装时上传到nuget的一个版本,有兴趣的也可以直接从nuget上获取,和苏飞的一模一样的,哈哈。
直接从Nuget上就可以获取到封装好的苏飞版httphelper
同样一个强大的第三方类库,笔者接触到的是这个类库,用于调用WebAPI接口非常方便,在SM.MS图床调用上也简单介绍到,其在github上开源,星级很多,文档超详细的一个类库,很值得学习。
Github上的RestSharp
此类库对于解释html页面特别好用,类似于python的Beautifulsoup4那样,可以将网页的html格式,转换为xml格式,使用xml查询语言xpath去结构化地访问网页内容,对于非WebAPI返回的json、xml数据结构的网页特别好用。
所以不要总以为python搞网抓多方便,在.Net世界里,对于一些普通小网抓,比python还好用得多。
像xml文件,在.Net里,可以用linq to xml来访问,也是非常简单易用的。相对来说,python这样的所谓流行语言,不一定能够比得上。
最后,老规则,附上真实完整的Excel催化剂代码,此代码为文件下载功能,简单使用WebClient类库去实现,对其封装了一下,增加超时功能,同时使用了异步的方式调用,不卡界面。
private async void btnOK_Click(object sender, EventArgs e)
{
var markColor = Utilities.RangeUtility.GetMarkColorToDstRange(srcDataValues);
int totalNum = srcDataValues.Count();
int iLoop = 0;
int rowOffset = int.Parse(this.cmbRowOffset.Text);
int colOffset = int.Parse(this.cmbColOffset.Text);
foreach (var item in srcDataValues)
{
iLoop++;
string srcFilePath = item.Value2.ToString();
string dstFilePath;
Excel.Range dstItemRange = item.Offset[rowOffset, colOffset];
if (dstItemRange.Value2 != null)
{
dstFilePath = dstItemRange.Value2.ToString();
//没有后缀名时,标红颜色返回让用户自行检查
if (string.IsNullOrEmpty(Path.GetExtension(dstFilePath)))
{
item.Interior.Color = ColorTranslator.ToOle(markColor);
dstItemRange.Interior.Color = ColorTranslator.ToOle(markColor);
}
else
{
WebClientEx webClient = new WebClientEx(3000);
Uri uri = new Uri(srcFilePath);
await webClient.DownloadFileTaskAsync(uri, dstFilePath);
//线程间操作无效: 从不是创建控件的线程访问它。 处理方法
Action<int, int, string> action = (i, n, s) =>
{
this.lblDownLoadInfo.Text = $"正在下载的是第【{i}】/【{n}】个文件\r\n文件名为:{s}";
};
Invoke(action,iLoop, totalNum, dstFilePath);
if (this.IsCreateHyperLink)
{
dstItemRange.Hyperlinks.Add(Anchor: dstItemRange, Address: dstFilePath, TextToDisplay: dstFilePath);
}
}
}
else//当目标单元格没有值时,标红颜色返回让用户自行检查
{
item.Interior.Color = ColorTranslator.ToOle(markColor);
dstItemRange.Interior.Color = ColorTranslator.ToOle(markColor);
}
}
MessageBox.Show("下载完成!");
Action actionColseForm = () => { this.Close(); };
Invoke(actionColseForm);
}
大部分的业余开发者,或者还不是开发者,都很想学个两招网抓,特别是python的虚火刮遍大江南北时,仿佛不会一点网抓都跟不上时代了,然后被煽情到数据时代人人都要会网抓,来参加某某python培训班吧,学完就可以自己做个网抓程序爬想要的数据了。
而笔者却恰好相反,虽然简单的网抓已经会了,但一直没有信心真正自己能够学着够自己所用,能够写出爬到自己想要的数据的程序。
网络爬虫和反爬虫,是一股正邪交锋的战场,在笔者2011年左右玩VBA爬虫,和如今炙手可热全民爬虫的环境已不同,普通爬虫程序已经没有什么可作为了,也就是说,参加了那些培训班速成出来的,也只能呵呵了。
笔者过往也玩过爬虫工具,如火车头、火车浏览器、八爪鱼、码栈等等,也“浪费”不少时间在其中学习(在前公司里购买过一些产品,有到期不能用,当然也有现在永久离职不能用了)。
而这片免费鸡肋功能,一路指向收费买单的中国市场里,有一款工具,作者持之以恒地付出开发、维护、文档编写、视频制作等工作,最终真正地免费给大家用,真是物以类聚,Excel催化剂这样的情怀,必须顶作者,支持作者一下。
工具名称:hawk,自行百度、github获取工具安装包和教程资料。
以上啰嗦了这么多,希望此文真心能够带给广大想学习网抓的朋友们一些指引,特别是想在VSTO上实现网抓的,或者直接清醒过来,不再被收智商税,选择一款现成的工具作起点,站在巨人的肩膀上使用网抓。