前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >c#爬取Silverlight网页[通俗易懂]

c#爬取Silverlight网页[通俗易懂]

作者头像
全栈程序员站长
发布2022-11-02 16:25:30
7260
发布2022-11-02 16:25:30
举报

前言:

爬取普通的文本网页非常容易,但爬取Silverlight的网页代码时,有时候可能会加密。这样就会很麻烦了。下面就爬取网站http://zx.bjmemc.com.cn/ (北京空气质量网)进行说明。

任务:

网站http://zx.bjmemc.com.cn/显示的内容如下图所示。我们的任务就是将空气质量数据抓取下来。

c#爬取Silverlight网页[通俗易懂]
c#爬取Silverlight网页[通俗易懂]

工具:

1、fiddler,http://www.telerik.com/fiddler,一款优秀的网页请求分析工具

2、reflector,http://download.csdn.net/detail/qing_lgq/6764265,.net源码激活成功教程工具

步骤

1、安装fiddler和reflector,并激活成功教程reflector。注意,下载、安装和激活成功教程reflector的时候请关闭杀毒软件,内有注册机,可能会被杀毒软件直接删除。

2、打开fiddler,使之处于监听状态。

3、用浏览器打开网页:http://zx.bjmemc.com.cn/。(此网站做得非常好,为了防止爬取,一旦用户打开浏览器自带的developer tool,就不会加载任何东西,为他们点个赞,这就是为什么我们必须用fiddler等分析工具的原因)

4、待网页加载完毕,fiddler便已经抓取到了所有的网页请求,如下图所示。在此简要说明一下fiddler的页面布局。左侧是所有的网页请求,右上是发送请求信息,右下是对应的接收信息。最下边状态栏的左边有两个按钮,左侧的是监听开关(下图是关闭状态,未显示该按钮),右侧的ie图标是监听对象,可以选择监听网页请求、非网页请求还是所有进程的请求。注意请求信息和接收信息窗口都有很多tag,根据自己的需求切换。

c#爬取Silverlight网页[通俗易懂]
c#爬取Silverlight网页[通俗易懂]

5、在fiddler左侧找到网页的直接请求,即上图的左侧的第二项,返回信息窗口的tag切换到textview。在窗口的搜索框输入xap,快速找到<param name=”source” value=”ClientBin/BEPB.xap”/>,其中的value属性值就是后台Silverlight的代码。

6、将ClientBin/BEPB.xap与当前网页网址拼接为http://zx.bjmemc.com.cn/ClientBin/BEPB.xap,用浏览器打开,浏览器自动下载BEPB.xap文件。

7、修改BEPB.xap文件名后缀为BEPB.zip,用压缩文件解压缩,得到的文件夹内容如下图所示。这些就是Silverlight后台文件以及引用文件。其中BEPB.dll是该Silverlight项目的核心文件。

c#爬取Silverlight网页[通俗易懂]
c#爬取Silverlight网页[通俗易懂]

8、用reflector打开BEPB.dll,如下图所示。左侧是方法名/命名空间名,右侧是对应的代码。接下来便是一个痛苦的过程了,得一个一个分析,找到密钥。但是还是有章可循。

c#爬取Silverlight网页[通俗易懂]
c#爬取Silverlight网页[通俗易懂]

9、fiddler继续上场。如下图所示。经过分析,获得空气质量数据的是第7个请求,选中它,右下部分的返回信息窗口的tag选择HexView,表示以十六进制显示。右上部分发送信息窗口选择Raw,可是发送时post的数据调用了DataService下的GetWebData方法,在reflector的搜索框中输入此两个关键字,如此顺藤摸瓜,便能很快找到加密的密码。

c#爬取Silverlight网页[通俗易懂]
c#爬取Silverlight网页[通俗易懂]

10、上图右下返回信息窗口的hexview中,两端有部分信息并不是加密信息,分析需要将返回信息的两端无用字节删除。

以下附上Silverlight加解密的代码。具体抓取代码便不公布了,具体情况具体分析,这里只是提供一个大体思路。

代码语言:javascript
复制
/// <summary>
/// hmacSha1算法加密(生成长度40)
/// </summary>
/// <param name="signatureString">加密明文</param>
/// <param name="secretKey">加密密钥</param>
/// <param name="raw_output">是否输出原始编码</param>
/// <returns></returns>
public static object hmacSha1(string signatureString, string secretKey, bool raw_output = false)
{
var enc = Encoding.UTF8;
HMACSHA1 hmac = new HMACSHA1(enc.GetBytes(secretKey));
hmac.Initialize();
byte[] buffer = enc.GetBytes(signatureString);
if (raw_output)
{
return hmac.ComputeHash(buffer);
}
else
{
return BitConverter.ToString(hmac.ComputeHash(buffer)).Replace("-", "").ToLower();
}
}
/// <summary>
/// 使用AES加密字符串
/// </summary>
/// <param name="encryptString">待加密字符串</param>
/// <param name="encryptKey">加密密匙</param>
/// <param name="salt">盐</param>
/// <returns>加密结果,加密失败则返回源串</returns>
public static string EncryptAES(string encryptString, string encryptKey, string salt)
{
AesManaged aes = null;
MemoryStream ms = null;
CryptoStream cs = null;
string str = null;
try
{
Rfc2898DeriveBytes rfc2898 = new Rfc2898DeriveBytes(encryptKey, Encoding.UTF8.GetBytes(salt));
aes = new AesManaged();
aes.Key = rfc2898.GetBytes(aes.KeySize / 8);
aes.IV = rfc2898.GetBytes(aes.BlockSize / 8);
ms = new MemoryStream();
cs = new CryptoStream(ms, aes.CreateEncryptor(), CryptoStreamMode.Write);
byte[] data = Encoding.UTF8.GetBytes(encryptString);
cs.Write(data, 0, data.Length);
cs.FlushFinalBlock();
str = Convert.ToBase64String(ms.ToArray());
}
catch
{
str = encryptString;
}
finally
{
if (cs != null)
cs.Close();
if (ms != null)
ms.Close();
if (aes != null)
aes.Clear();
}
return str;
}
/// <summary>
/// 使用AES解密字符串
/// </summary>
/// <param name="decryptString">待解密字符串</param>
/// <param name="decryptKey">解密密匙</param>
/// <param name="salt">盐</param>
/// <returns>解密结果,解谜失败则返回源串</returns>
public static string DecryptAES(string decryptString, string decryptKey, string salt)
{
AesManaged aes = null;
MemoryStream ms = null;
CryptoStream cs = null;
string str = null;
try
{
Rfc2898DeriveBytes rfc2898 = new Rfc2898DeriveBytes(decryptKey, Encoding.UTF8.GetBytes(salt));
aes = new AesManaged();
aes.Key = rfc2898.GetBytes(aes.KeySize / 8);
aes.IV = rfc2898.GetBytes(aes.BlockSize / 8);
ms = new MemoryStream();
cs = new CryptoStream(ms, aes.CreateDecryptor(), CryptoStreamMode.Write);
byte[] data = Convert.FromBase64String(decryptString);
cs.Write(data, 0, data.Length);
cs.FlushFinalBlock();
str = Encoding.UTF8.GetString(ms.ToArray(), 0, ms.ToArray().Length);
}
catch
{
str = decryptString;
}
finally
{
if (cs != null)
cs.Close();
if (ms != null)
ms.Close();
if (aes != null)
aes.Clear();
}
return str;
}

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/180413.html原文链接:https://javaforall.cn

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022年10月19日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档