ghost.py在代用JavaScript时的超时问题
ghost.py在代用JavaScript时的超时问题
在写爬虫的时候，关于JavaScript的解析问题，我在网上找到的一个解决方案是使用ghost.py这个模块，他是一个基于webkit封装的一个客户端，可以用来解析动态页面。它的使用非常简单，它从2.x版本开始，变化就有点大了，在这我主要是针对他的1.0版本。 首先在GitHub上克隆它，然后在对应的文件中执行python setup.py install命令，这样就可以安装了，注意在这不要直接使用pip，使用pip会默认安装2.x版本。 安装完成后，可以编写如下代码来加载一个网页:
from ghost import Ghost
gh = Ghost(display = True, wait_timeout = 60)
page, res = gh.open(url)
for item in res:
print item.url这段代码可以打印在加载页面时，webkit向远程服务器请求了那些资源。对于AJAX请求来说，使用这个特性非常方便的就可以获取到对应的url 它在里面提供了一些特定的方法用来处理页面的事件，比如鼠标单击某个标签时调用click，通过阅读它的源代码可以知道针对这些事件的处理，它调用的是JavaScript代码，比如说click事件，click事件的源码如下
@client_utils_required
@can_load_page
def click(self, selector):
"""Click the targeted element.
:param selector: A CSS3 selector to targeted element.
"""
if not self.exists(selector):
raise Exception("Can't find element to click")
return self.evaluate('GhostUtils.click("%s");' % selector)它上面的两个装饰器的代码分别如下：
def can_load_page(func):
"""Decorator that specifies if user can expect page loading from
this action. If expect_loading is set to True, ghost will wait
for page_loaded event.
"""
@wraps(func)
def wrapper(self, *args, **kwargs):
expect_loading = False
if 'expect_loading' in kwargs:
expect_loading = kwargs['expect_loading']
del kwargs['expect_loading']
if expect_loading:
self.loaded = False
func(self, *args, **kwargs)
return self.wait_for_page_loaded()
return func(self, *args, **kwargs)
return wrapper
def client_utils_required(func):
"""Decorator that checks avabality of Ghost client side utils,
injects require javascript file instead.
"""
@wraps(func)
def wrapper(self, *args, **kwargs):
if not self.global_exists('GhostUtils'):
self.evaluate_js_file(
os.path.join(os.path.dirname(__file__), 'utils.js'))
return func(self, *args, **kwargs)
return wrapper函数can_load_page是用来判断用户是否需要进行等待，等待的条件是页面加载完毕，在阅读它的源代码时可以知道，它自身给webkit注册了几个槽函数，一个用来处理页面开始加载的信息，一个用来处理页面加载结束的信息，在加载时将一个bool变量设置为true，加载结束时设置为false，另外在返回前调用等待函数，等待函数主要判断这个bool变量是否为false,为false则返回，否则就继续循环。这样当页面加载完毕后，就可以返回，同样的，这个can_load_page函数就是在执行JavaScript期间进行等待。直到页面加载完成后返回（当然，是否需要等待就看我们是否传入expect_load这个参数了,它默认是False，即不等待） client_utils_required函数主要负责读取utils.js这个文件中的JavaScript代码并执行它，这个文件中代码都是函数，在这所谓的执行只是为了将其加载到内存，准备随时调用。 根据以上所说，大概能组织一下执行click函数时经历的步骤了：首先会调用client_utils_required函数，将对应的JavaScript函数代码加载起来，然后判断是否需要等待，如果需要等待将设置对应等待变量的值，然后真正调用对应的JavaScript函数来进行元素的点击，然后调用等待函数，如果需要等待，则会等待到新页面加载，否则直接返回，这样就完成了一个点击事件。根据这些我们扩展它的功能，从click函数的定义来看，它需要传入一个css选择器，但是我遇到的场景是我希望通过JavaScript得到的页面的dom元素，根据它的下标来进行点击，比如说
document.getElementsByTagName("a")[3];我通过上面的代码获取到了这个元素，我现在要点击这个元素，自然不能直接调用click函数，ghost中也没有对应的函数可以使用，这个时候就需要我们进行扩展。当时我给出的代码入下:
@client_utils_required
@can_load_page
def js_click(self, jscontent): #jscontent使用js来定位元素的代码
return self.evaluate('GhostUtils.jsclick("%s");' % jscontent);然后来扩展utils.js文件，在里面新加一个对应的函数jsclick
jsclick: function(jscontent) {
var elem = eval(jscontent);
if (!elem) {
return false;
}
var evt = document.createEvent("MouseEvents");
evt.initMouseEvent("click", true, true, window, 1, 1, 1, 1, 1,
false, false, false, false, 0, elem);
if (elem.dispatchEvent(evt)) {
return true;
}
return false;
}但是我在这发现，它可以调用成功的点击，但是超时率比较高，几乎达到了70%以上，这个问题一直使我困惑，后来我仔细阅读源代码后发现，问题出在expect_loading = True,也就是让其等待页面加载完毕。有很多页面都是使用AJAX技术的，它只是改变页面的状态而不会重新加载，这样自然那个等待函数不会返回，当时间一到自然也就超时了，但是如果不加这个参数，让他立即返回，那么我们就得不到请求的url，而在webkit中也没有办法判断一个JavaScript代码是否执行完毕，所以在这我采取了一个折中的方案，每次等待1s，所以将上面的jsclick函数改为:
@client_utils_required
def js_click(self, jscontent): #jscontent使用js来定位元素的代码
return self.main_frame.evaluateJavaScript('GhostUtils.jsclick("%s");' % jscontent); #执行js函数
for i in range(0, 100):
time.sleep(0.01)
Ghost._app.processEvents() #在等待的时候让QT的信号槽机制仍然运转这样可能会有一定的性能损失，但是目前我只能想到这个方案。