前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >python3_RoboBrowser_test

python3_RoboBrowser_test

作者头像
机器学习和大数据挖掘
发布2019-07-02 09:39:02
4090
发布2019-07-02 09:39:02
举报
文章被收录于专栏:数据挖掘

python3_RoboBrowser_test

selenium库作为交互是非常方便的,但是却大大加长了加载的时间,例如需要渲染网址,加载js,造成在爬虫过程中时间变长。

因此找到一个虚拟的浏览器,同样具备selenium的部分功能,例如登陆,提交表单等,测试代码如下:

代码语言:javascript
复制
# !/usr/bin/python3.4
# -*- coding: utf-8 -*-

from robobrowser import RoboBrowser
import requests

# https://github.com/jmcarp/robobrowser

s = requests.Session()
# 这里可以携带cookie
header = {'User-Agent':
              'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:46.0) Gecko/20100101 Firefox/46.0',
          'Referer':
              'http://www.baidu.com',
          'Host': 'www.baidu.com',
          'Accept': 'text/plain, */*; q=0.01',
          'Accept-Encoding': 'gzip, deflate',
          'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
          'Connection': 'keep-alive'}

s.headers = header
browser = RoboBrowser(history=True, session=s)
browser.open('http://www.baidu.com')
# form = browser.get_form(action=re.compile(r'loginshop'))
# <form id="form" class="fm" action="/s" name="f">
form = browser.get_form(action="/s", )
# 搜索
# 这里填的是name
# form[name].value=
form['wd'].value = 'TTyb'
browser.submit_form(form)
print(browser.parsed)
browser.back()
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2016-11-05 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • python3_RoboBrowser_test
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档