腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
将在
Scrapy
中
建立的会话cookie传递给Splash,以便在抓取js页面时使用
python
、
scrapy
、
pycharm
、
scrapy-splash
首先,我想说我是
Scrapy
的新手! 我有一个网站,需要
登录
后
才能用
Scrapy
刮任何数据。我将要抓取的数据是在
登录
后由JavaScript生成的。 我已经能够成功地使用
Scrapy
登录
。我的问题是,现在我已经
登录
并拥有必要的cookies来继续请求网站,当我在报告页面上调用SplashRequest时,如何将这些cookies传输到Splash,我想用
Scrapy
抓取这些cookie?我的思维过程是错误的,我应该使用
Scra
浏览 26
提问于2021-01-23
得票数 0
回答已采纳
1
回答
如
何在
scrapy
中
登录
后
重定向
python
、
scrapy
我正在写一个
scrapy
程序
登录
从网站抓取相同的数据。据我所知,它似乎是正确
登录
的,但当它
登录
时,它会
重定向
到一个网页,我不希望它被刮伤。如何让我的程序在
登录
后转到该页面?import
scrapy
name = "LoginSpiderstart_urls = ["https:/
浏览 16
提问于2019-06-20
得票数 0
回答已采纳
1
回答
Scrapy
无法
登录
python
、
web-scraping
、
scrapy
、
web-crawler
、
scrapy-spider
我不能
登录
这个网站。网站不包含任何标记或隐藏变量。请正确的例子或告诉我如何解决这个错误。在post调用之后,它返回相同的
登录
页面html。我已经尝试了错误的用户名和密码仍然是相同的反应。import
scrapy
name = 'example' def scrap_page(self
浏览 14
提问于2018-02-27
得票数 0
1
回答
在laravel
中
,我有两种
登录
重定向
条件:同一页面或仪表板| Laravel
authentication
、
laravel-5
、
redirect
如
何在
登录
后
重定向
,
登录
重定向
有两种情况:如果用户转到直接
登录
页面,则应在仪表板上返回;或
重定向
相同的页面(
如
购物车或其他) public function redirectTo
浏览 2
提问于2020-01-17
得票数 0
1
回答
如何抓取一个需要使用刮伤
登录
的网站?
python
、
scrapy
我想刮从一个网站的数据,这需要
登录
才能到达某个页面,只有这样,数据才能被抓取。注:我随身带着
登录
凭证。
浏览 0
提问于2018-12-21
得票数 5
回答已采纳
1
回答
react类组件
中
的
重定向
页面
javascript
、
reactjs
在完成表单提交(
如
创建帖子、
登录
等)
后
,如
何在
react的类组件
中
重定向
页面?对于基于类的组件,有没有等同于useHistory钩子的?
浏览 9
提问于2020-05-31
得票数 0
1
回答
当
登录
到具有隐藏令牌身份验证的论坛时,
Scrapy
>爬行循环
python
、
scrapy
我正在学习如何使用
Scrapy
检索论坛页面并将其储存到我的服务器上。论坛使用基于隐藏令牌的身份验证。import
scrapy
from
scrapy
.http import FormRequest
浏览 2
提问于2020-06-23
得票数 0
回答已采纳
4
回答
在
Scrapy
中
单击按钮
python
、
web-crawler
、
web-scraping
、
scrapy
我正在使用
Scrapy
抓取网页。我需要的一些信息只有在您单击某个按钮时才会弹出(当然,单击
后
也会出现在HTML代码
中
)。 我发现
Scrapy
可以处理表单(
如
登录
),
如
所示。
浏览 0
提问于2011-07-14
得票数 62
回答已采纳
1
回答
使用
Scrapy
通过身份验证的会话
登录
python
、
scrapy
、
saml
我正在用Python编写一个使用
Scrapy
的web抓取项目。作为参考,我计划的网站是。有人能帮我弄清楚为什么吗?非常感谢。
浏览 21
提问于2022-05-01
得票数 1
2
回答
注销
重定向
到MVC5
中
的
登录
页面
asp.net-mvc-5
标题-成功注销
后
重定向
登录
如
何在
mvc5
中
自动注销页面
后
自动
重定向
到
登录
页面
浏览 15
提问于2020-01-31
得票数 0
1
回答
CherryPy
重定向
至根目录
python
、
redirect
、
cherrypy
它要求对所有页面进行身份验证,因此我的默认处理程序返回
登录
页面对象。由于CherryPy处理调度的方式,有人请求:将
重定向
到:但是,我希望所有未经身份验证的请求都从根级别调用,独立于添加到HTML请求
中
的潜在附加参数,例如:目前我正在通过返回一个基于HTML的<em
浏览 0
提问于2012-08-20
得票数 7
回答已采纳
1
回答
Spring集成-- HTML页面
java
、
security
、
spring-mvc
、
shiro
我如何保护这些页面,这意味着如果用户没有
登录
到应用程序,并且尝试打开html页面,他应该被
重定向
到
登录
页面。shiroFilter</filter-name> </filter-mapping> -工作正常,
重定向
到
登录
页面
浏览 3
提问于2016-05-02
得票数 0
1
回答
抓取递归网站
登录
后
的爬行
python
、
web
、
web-crawler
、
scrapy
、
scraper
我在
登录
后
编码了一只蜘蛛来爬行网站from
scrapy
.selector import HtmlXPathSelectorfrom
scrapy
.selector import Selectorfrom
scrapy
.contrib.spiders impor
浏览 3
提问于2015-08-10
得票数 0
回答已采纳
1
回答
刮擦-等待页面加载的飞溅
python
、
lua
、
scrapy
、
scrapy-splash
我对刮擦和飞溅很陌生,我需要从单个页面和常规的web应用程序
中
抓取数据。不过,有一点要注意的是,我主要是从内部工具和应用程序
中
抓取数据,所以有些工具和应用程序需要身份验证,而且所有这些都需要至少几秒钟的加载时间才能完全加载页面。基本上,SplashRequest和
scrapy
.Request似乎都会运行并产生结果。spider.pyimport
scrapy
f
浏览 0
提问于2019-08-30
得票数 0
回答已采纳
1
回答
获取有关Inavlidated会话的信息
java
、
jakarta-ee
、
servlets
、
web-applications
、
tomcat7
通过在浏览器的新会话
中
打开页面创建的新会话。 有没有办法在一个新的HTTPServeletRequest
中
识别这两个人?
浏览 6
提问于2014-07-08
得票数 1
1
回答
如
何在
登录
后
将用户
重定向
到当前页面(代码点火器)
php
、
codeigniter
、
authentication
、
codeigniter-3
登录
后
如何将用户
重定向
到当前页面?用户在这个URL domain.com/article/news-18565上阅读新闻,只要他单击
登录
按钮,那么在进入domain.com/login之前和
登录
后用户应该如何获得currenturl()
浏览 2
提问于2016-12-30
得票数 1
回答已采纳
1
回答
如何使用
scrapy
/python从URL直接读取xml
python
、
xml
、
web-scraping
、
scrapy
、
scrapy-spider
在
Scrapy
中
,您必须定义start_url,但是我如何从其他urls
中
爬行呢? name = 'example' start_urls = ['login page']urls = [
浏览 2
提问于2015-06-05
得票数 1
回答已采纳
1
回答
Symfony2自定义AuthenticationSuccessHandler和用户
重定向
redirect
、
authentication
、
symfony
在
中
,已经说明了如
何在
Symfony2应用程序
登录
后
执行代码。声明,在接口onAuthenticationSuccess()函数AuthenticationSuccessHandlerInterface
中
,必须指定
登录
后用户将被
重定向
到的uri。默认情况下,当用户试图访问安全区域(即页面X)时,Symfony2将用户
重定向
到
登录
页面。
登录
成功
后
,用户将被
重定向
到安全的页面X。因此,
浏览 2
提问于2012-08-10
得票数 0
回答已采纳
1
回答
如何将我的ActionResult返回到正确的视图?
asp.net-mvc
、
asp.net-mvc-3
、
asp.net-mvc-controller
无论如何,我决定使用自己的SQL表创建自己的身份验证系统,该表在应用程序
中
的一个表单上运行良好。现在,我正在尝试将其滚动到共享布局
中
,在主控制器
中
调用"Login“操作。
浏览 2
提问于2014-02-07
得票数 0
回答已采纳
5
回答
如
何在
登录
后
重定向
到php
中
的同一页(与youtube相同)?
php
如
何在
登录
后
重定向
到php
中
的同一页。与YouTube的功能一样,如果我们想要喜欢视频或评论视频,它会要求我们
登录
。签署
后
,它将
重定向
到相同的页面或相同的视频,我们之前。我们如
何在
php
中
做到这一点?
浏览 2
提问于2013-07-26
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python技术:Scrapy架构介绍
python爬虫系列(三)scrapy基本概念
scrapy官方文档提供的常见使用问题
命令行工具
Python爬虫框架推荐及其特点
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券