首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >如何将html传递给Selenium?

如何将html传递给Selenium?
EN

Stack Overflow用户
提问于 2013-07-13 10:35:21
回答 1查看 456关注 0票数 1

我有一个网络爬虫,我想把它检索到的html+javascript传递给selenium,这是可能的吗?为了澄清,我不想使用webdriver.get检索selenium的页面,因为我的爬虫更快。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2013-07-16 07:32:00

我最终在xvfb服务器上用PyQt4抓取了网页,因为我使用的是亚马逊ec2,它没有附带x11。下面的代码加载包含JavaScript的网页,并在返回html之前等待7秒,这样所有的JavaScript都将完成加载。

代码语言:javascript
运行
复制
import sys
from PyQt4.QtGui import *
from PyQt4.QtCore import *
from PyQt4.QtWebKit import *
from xvfbwrapper import Xvfb

class Render(QWebPage):
    def __init__(self, url):
        self.app = QApplication(sys.argv)
        QWebPage.__init__(self)
        self.timerScreen = QTimer()
        self.timerScreen.setInterval(7000)
        self.timerScreen.setSingleShot(True)
        self.timerScreen.timeout.connect(self.getHtml)
        self.loadFinished.connect(self.timerScreen.start)
        self.mainFrame().load(QUrl(url))
        self.app.exec_()
    def getHtml(self):
        self.frame = self.mainFrame()
        self.app.quit()
args = {"nolisten":"tcp"}
vdisplay = Xvfb(**args)
vdisplay.start()
url = 'url here'
r = Render(url)
html = r.frame.toHtml()
print html
f = open("./test.html","wb")
f.write(html.__str__().encode("utf-8"))
f.close()
#stri = str(html).encode("utf-8")
vdisplay.stop()
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/17626434

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档