【工作】Proxy Server的优化 - 检测目标网站URL变化
【工作】Proxy Server的优化 - 检测目标网站URL变化
在工作中，我在组里负责一个Proxy（代理）的Module，这个Module是针对微软的Office 365的邮件门户OWA实现，工作起来后，用户访问Office 365 OWA，无需再输入Office 365的网址，只需输入我们Proxy的地址，然后我们会将请求转送到Office 365 OWA，达到用户访问的目的，并使用户的体验如同实际访问Office 365 OWA一样。
其实我们Proxy的原理是，使用Node.js构建一个http Server，拿到client端（实际是Browser）的请求后，再将请求转给Office 365，将Office 365的返回内容Response再送给Client端，这样实现Proxy的功能。
当然实际实现过程中还有很多细节的事情，包括cookie的处理，URL的转换等，这里不细讲。
但在工作中开发并维护此Module时，我发现一个问题，那就是虽然我们是将请求转发，但还是有很多请求我们需要特殊处理，而且有很多复杂的请求需要研究去支持，因此做为Proxy我必须知道Office 365，即目标网站都有哪些请求的类型，其实就是哪些不同的URL，不同的URL其实Path不同。
因此我做了一个优化，因为Proxy本质是一个Http Server，因此我将客户端发来的所有请求URL打印在Log中，这样我可以在Log中收集到所有的URL，同时将该URL发送出去后收到的结果（Response Status Code）也打印在一起，这样就能知道这个URL是否处理有问题，如果返回值200，则说明OK。
于是打印在Log中后，得到如下的Log，
1 /___/outlook.office365.com/, 302
2 /owa/, 302
3 /__/login/login.srf, 200
4 /owa/prefetch.aspx, 200
5 /___/r1.res.office365.com/owa/prem/16.801.12.1741001/scripts/preboot.js, 200
6 /___/r1.res.office365.com/owa/prem/16.801.12.1741001/scripts/boot.worldwide.0.mouse.js, 200
7 /___/outlook.office365.com/GetUserRealm.srf, 200
8 /___/r1.res.office365.com/owa/prem/16.801.12.1741001/scripts/boot.worldwide.1.mouse.js, 200
9 /owa/ev.owa2, 200
10 /owa/ev.owa2, 200
11 /___/outlook.office365.com/, 302
12 /owa/ev.owa2, 200
13 /owa/, 302
14 /__/login/login.srf, 200
15 /owa/ev.owa2, 200
16 /owa/service.svc, 200
17 /owa/prefetch.aspx, 200
18 /___/r1.res.office365.com/owa/prem/16.807.12.1742334/scripts/preboot.js, 200
19 /owa/service.svc, 200
20 /___/r1.res.office365.com/owa/prem/16.807.12.1742334/scripts/boot.worldwide.0.mouse.js, 200
21 /owa/ev.owa2, 200
22 /owa/ev.owa2, 200
23 /owa/service.svc, 200
24 /owa/service.svc, 200
25 /___/outlook.office365.com/GetUserRealm.srf, 200
26 /___/r1.res.office365.com/owa/prem/16.807.12.1742334/scripts/boot.worldwide.1.mouse.js, 200
27 /__/login/ppsecure/post.srf, 200
28 /owa/, 302每一行数据，前面是URL，后面是该请求收到的Response Status Code。
同时我自己写了一个脚本来解析Log里的数据，因为数据是重复的，需要去重以及排序。
脚本如下：
1 var lineReader = require('line-reader');
2 var fs = require('fs');
3
4 var fileReadData = "URLs.log";
5 var fileWriteData = "result.txt";
6
7 var ignoreNormalStatusCode = false;
8 if (process.argv && process.argv[2]) {
9 ignoreNormalStatusCode = process.argv[2]; // development to be passed as param
10 }
11
12 console.log("ignoreNormalStatusCode: " + ignoreNormalStatusCode);
13
14 // create data object
15 var createDataObjectFromLine = function (str) {
16 var data = str.split(",");
17
18 var obj = {
19 url: data[0].trim(),
20 statusCode: data[1].trim(),
21 number: 1
22 };
23
24 return obj;
25 };
26
27 // get the index in the array
28 var indexOfObjInArray = function (array, obj) {
29 var pos = -1;
30
31 for (var i=0; i<array.length; i++) {
32 var e = array[i];
33
34 if (e.url === obj.url && e.statusCode === obj.statusCode) {
35 pos = i;
36 break;
37 }
38 }
39
40 return pos;
41 };
42
43 // compare number to sort
44 var compare_number = function (a, b) {
45 return b.number - a.number;
46 };
47
48 // write the array's data to file
49 var writeResultToFile = function (result, number) {
50 var string = "";
51 string += "Here is this URL scan result blow, \n";
52 string += "Orignial URL number: " + number + "\n";
53 string += "Unrepeat URL number: " + result.length + "\n";
54 string += "------------------------------------------\n\n";
55 string += "req url, this url's response status code (200 is ok), number statics\n";
56 fs.appendFileSync(fileWriteData, string);
57
58 for (var i=0; i<result.length; i++) {
59 fs.appendFileSync(fileWriteData, result[i].url + ", " + result[i].statusCode + ", " + result[i].number + "\n");
60 }
61 };
62
63 // create an array to save the urls
64 var result = [];
65
66 // count the orignial url number
67 var number = 0;
68
69 // main function
70 lineReader.eachLine(fileReadData, function (line, last) {
71 number++;
72
73 // parse the data from every line
74 var obj = createDataObjectFromLine(line);
75 //console.log(obj);
76
77 var pos = indexOfObjInArray(result, obj);
78 if (pos != -1) {
79 // this object already exists in result array
80 result[pos].number++;
81 }
82 else {
83 if (ignoreNormalStatusCode && obj.statusCode === '200') {
84 // ...
85 }
86 else {
87 // add this obj to result
88 result.push(obj);
89 }
90 }
91
92 if (last) {
93 // sort the array by number
94 result.sort(compare_number);
95
96 // write the result to file
97 writeResultToFile(result, number);
98
99 // stop reading lines from the file
100 return false;
101 }
102 });这里使用了一个Node.js Module Line-reader，来从文件中一行行的读取数据。
这样运行之后就可以得到解析后的结果，
1 Here is this URL scan result blow,
2 Orignial URL number: 142
3 Unrepeat URL number: 6
4 ------------------------------------------
5
6 req url, this url's response status code (200 is ok), number statics
7 /owa/, 302, 10
8 /___/outlook.office365.com/, 302, 5
9 /owa/auth/15.1.225/themes/resources/segoeui-regular.ttf, 404, 3
10 /owa/auth/15.1.225/themes/resources/segoeui-semilight.ttf, 404, 1
11 /___/outlook.office365.com/favicon.ico, 302, 1
12 /owa/auth/15.1.219/themes/resources/segoeui-semilight.ttf, 404, 1当然以上结果是没有显示Status Code为200的URL，原因是这是Proxy处理正常的URL，暂时没必要统计与分析。
得到结果后，显而易见，有很多404的URL，我们的Proxy并没有正确的处理，需要进一步的分析，在代码中支持。由此完成此次对产品Module的优化。
个人小感慨，工作中很多小事情，如果自己认为正确，就应坚持去做。小的优化，只要有意义，都会有大用处:-)
Kevin Song
2015-7-22