某动态js加密cookie网站爬虫记录

原创

用户7358413

修改于 2020-09-10 10:10:14

3.9K0

修改于 2020-09-10 10:10:14

1.问题由来：由于公司新项目需求，需要从不同平台爬取大量与项目相关的数据，大多数平台没有反爬机制，只有一个站点布置了反爬。虽然可以爬取的平台很多，可以选择爬取其他平台的数据来代替，但是考虑到该平台的可用数据量很大，值得花时间做这个爬虫，同时也是受到好奇心的驱使，于是研究了该平台的反爬机制。以下将该站点称为h网站。

2.问题描述：h网站的的访问需要带上一个动态cookie才能访问成功。

访问失败和访问成功的图示

640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1

访问失败，返回HTML源码

访问成功，返回HTML源码

访问失败原因：每一次访问Request Header需要带上一个动态的cookie，如果请求里没有该cookie，则访问失败，cookie如图所示

其中最为关键的cookie是name为FSSBBIl1UgzbN7N80T 的cookie，该cookie是动态变化的，而其他的cookie：

例如：

FSSBBIl1UgzbN7N80S, JSESSIONID, site_id_cookie等这些都是不变的，而让FSSBBIl1UgzbN7N80T这个cookie产生动态变化的代码有两段，分别是：

第二段代码不妨称为bootstrap.js，bootstrap.js是动态变化，而且加密混淆过的。

爬虫的难度

相比其他网站，该网站爬虫的难度在于每次访问需要带上所需的动态cookie，但是脱离了浏览器环境，产生cookie的js代码无法执行,而且js代码也是动态变化的，所以无法只在js环境里面执行一次代码，就一劳永逸。

3.解决方案

go有一个goja的执行js的库，相当于python的pyv8模块。我刚开始想的是调用goja，每次访问无论失败成功返回中都会附带动态js代码，所以可以用goja执行代码，获得cookie，带上cookie再访问。

但是随之而来的问题是，动态js代码中引用了window，document这样的浏览器环境中才有的全局变量。goja已经无法满足动态js的执行，到这里有一个解决办法就是使用chromedp库。

最近广泛使用的headless browser解决方案PhantomJS已经宣布不再继续维护，转而推荐使用headless chrome.那么headless chrome究竟是什么呢，Headless Chrome 是 Chrome 浏览器的无界面形态，可以在不打开浏览器的前提下，使用所有 Chrome 支持的特性运行你的程序。简而言之，除了没有图形界面，headless chrome具有所有现代浏览器的特性，可以像在其他现代浏览器里一样渲染目标网页，并能进行网页截图，获取cookie，获取html等操作。

想要在golang程序里使用headless chrome，需要借助一些开源库，实现和headless chrome交互的库有很多，这里选择chromedp，接口和Selenium类似，易上手。chromedp提供一种更快，更简单的方式来驱动浏览器 (Chrome, Edge, Safari, Android等)在 Go中使用Chrome Debugging Protocol 并且没有外部依赖 (如Selenium, PhantomJS等)。调用chromedp的Evaluate来执行相关js代码，在运行中还是报错。但是其实使用chromedp访问站点，跟在浏览器里访问是一样的，只是没有可视化的图形页面而已。利用chromedp访问后已经无需再执行动态js，访问的时候代码已经执行过了，此时cookie已经产生。所以只需要利用chromedp获取headless chrome里存储的cookie即可。

package mainimport ( "context" "fmt" "log" "github.com/chromedp/chromedp")func main() { var cookieBase string = "site_id_cookie=1; clientlanguage=zh_CN; " ctx, cancel := chromedp.NewContext(context.Background()) defer cancel() // run task list var res string err := chromedp.Run(ctx, chromedp.Navigate(`http://www.hbsredcross.org.cn/`), chromedp.WaitVisible(`body`), chromedp.Evaluate(`document.cookie`, &res), ) if err != nil { log.Fatal(err) } fmt.Println(cookieBase + res)}

无论如何，问题的关键是明确的，在于获取动态cookie。所以我想既然从代码里生成cookie难度较大，那不如直接从浏览器那边获取cookie。

我使用的是chrome浏览器，本地存放cookie的文件是`C:\Users\…\AppData\Local\Google\Chrome\UserData\Default\Cookies（windows）”。

但是因为cookie是动态变化的，所以还需要用一个定时刷新页面的脚本。定时刷新很简单，网上有可使用的js脚本，chrome也有定时刷新的扩展(例如：Super Auto Refresh Plus)。现在只需解决cookie文件读的问题。cookies文件是一个sqlite的数据库文件，cookies的table是:

CREATE TABLE cookies( creation_utc INTEGER NOT NULL, host_key TEXT NOT NULL, name TEXT NOT NULL, value TEXT NOT NULL, path TEXT NOT NULL, expires_utc INTEGER NOT NULL, is_secure INTEGER NOT NULL, is_httponly INTEGER NOT NULL, last_access_utc INTEGER NOT NULL, has_expires INTEGER NOT NULL DEFAULT 1, is_persistent INTEGER NOT NULL DEFAULT 1, priority INTEGER NOT NULL DEFAULT 1, encrypted_value BLOB DEFAULT '', samesite INTEGER NOT NULL DEFAULT -1, source_scheme INTEGER NOT NULL DEFAULT 0, UNIQUE (host_key, name, path) )

go相关的库有

go-sqlite/sqlite3

使用sqlite3读取cookies这个db文件，根据cookie的host，name过滤获得需要的FSSBBIl1UgzbN7N80T即可。其中cookies中的字段，如果cookie value是加密的blob内容,那么value的值是放在encrypted_value字段，如果value没有加密，那么值放在value字段。爬取h平台所需cookie的value值是加密的，所以读取出来的encrypted_value还需要解密。chrome加密cookie在不同平台上的加密方法不同， Windows下加密采用DPAPI。

zellyn/kooky

有封装好的直接获得所需cookie的方法。

其他相关的库可以自行查找…

脚本：

1.Chrome在对Cookie的值保存之前会进行加密处理，并保存在数据库的encrypt_value字段中。在Windows系统中，Cookie加密采用的是系统提供的函数CryptProtectData，在解密的时候也需要调用系统提供的函数CryptUnprotectData。解密的Windows用户必须与加密的用户一致才能成功解密。不过系统提供的是C函数，go通过syscall库来实现对C函数的调用。

CryptUnprotectData需要7个参数：

pDataIn

一个指向DATA_BLOB结构体的指针，该DATA_BLOB内需存放被解密的数据。DATA_BLOB结构体内含两个成员：cbData，数据的所占用的字节数；pbData，指向数据所在内存的指针。

ppszDataDescr

描述该加密数据的信息，如果在进行加密操作的时候添加了描述，那么在解密的时候也能得到该描述信息。获得该描述后需要调用系统提供的LocalFree释放ppszDataDescr指向的内存。如果不需要，设为NULL即可。

pOptionalEntropy

一个指向含有密钥DATA_BLOB的指针，不过在进行Cookie加密时通常不会用到。

pvReserved

保留参数，设为NULL即可。

pPromptStruct

解密是一个有安全风险的操作，可能需要弹出风险提升，如果不需要弹出提示设置为NULL即可。

dwFlags

安全相关的标志，设置为0即可。

pDataOut

一个指向解密后的数据的DATA_BLOB，获得解密数据后需要调用系统提供的LocalFree函数释放pbData指向的内存。

package mainimport ( "fmt" "os/user" "syscall" "unsafe" "github.com/go-sqlite/sqlite3")func main() { usr, _ := user.Current() var cookiesFile string = usr.HomeDir + `\AppData\Local\Google\Chrome\User Data\Default\Cookies` cookies, err := ReadChromeCookies(cookiesFile, "www.hbsredcross.org.cn", "FSSBBIl1UgzbN7N80T") if err != nil { fmt.Println(err) return } if len(cookies) == 0 { fmt.Println("visit www.hbsredcross.org.cn first") return } fmt.Println(cookies[0])}var ( dllcrypt32 = syscall.NewLazyDLL("Crypt32.dll") dllkernel32 = syscall.NewLazyDLL("Kernel32.dll") procDecryptData = dllcrypt32.NewProc("CryptUnprotectData") localFree = dllkernel32.NewProc("LocalFree"))type data_blob struct { cbData uint32 pbData *byte}type Cookie struct { Domain string Name string Value string}func newBlob(d []byte) *data_blob { if len(d) == 0 { return &data_blob{} } return &data_blob{ pbData: &d[0], cbData: uint32(len(d)), }}func (b *data_blob) toByteArray() []byte { d := make([]byte, b.cbData) p := uintptr(unsafe.Pointer(b.pbData)) for i := 0; i < int(b.cbData); i++ { p2 := (*byte)(unsafe.Pointer(p)) d[i] = *p2 p += unsafe.Sizeof(byte(0)) } return d}func decrypt(data []byte) ([]byte, error) { var outblob data_blob r, _, err := procDecryptData.Call(uintptr(unsafe.Pointer(newBlob(data))), 0, 0, 0, 0, 0, uintptr(unsafe.Pointer(&outblob))) if r == 0 { return nil, err } defer localFree.Call(uintptr(unsafe.Pointer(outblob.pbData))) return outblob.toByteArray(), nil}func decryptValue(encrypted []byte) (string, error) { s, err := decrypt(encrypted) if err != nil { return ``, err } return string(s), nil}func ReadChromeCookies(filename string, domainFilter string, nameFilter string) ([]*Cookie, error) { var cookies []*Cookie db, err := sqlite3.Open(filename) if err != nil { return nil, err } defer db.Close() err = db.VisitTableRecords("cookies", func(rowId *int64, rec sqlite3.Record) error { cookie := &Cookie{} if len(rec.Values) < 14 { return fmt.Errorf("table 至少有14个字段", len(rec.Values)) } domain, ok := rec.Values[1].(string) if !ok { return fmt.Errorf("domain不是string类型") } name, ok := rec.Values[2].(string) if !ok { return fmt.Errorf("name不是string类型") } value, ok := rec.Values[3].(string) if !ok { return fmt.Errorf("value不是string类型") } encrypted_value, ok := rec.Values[12].([]byte) if !ok { return fmt.Errorf("encrypted_value不是[]byte类型") } if domainFilter != "" && domain != domainFilter { return nil } if nameFilter != "" && name != nameFilter { return nil } cookie.Domain = domain cookie.Name = name if len(encrypted_value) > 0 { decrypted, err := decryptValue(encrypted_value) if err != nil { return fmt.Errorf("decrypting cookie %v: %v", cookie, err) } cookie.Value = decrypted } else { cookie.Value = value } cookies = append(cookies, cookie) return nil }) if err != nil { return nil, err } return cookies, nil}

2.Simple script to extract (encrypted) cookies out of Chrome OS X cookie store. Usage: ./cookiemonster domain.com

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

编程算法