1回答
我目前正在编写一个web抓取器，它为我的Python Flask服务器提供数据。我的目标是向服务器发送POST请求并检索JSON。不久前，服务器添加了cookies验证，这意味着我必须使用cookies发送POST请求。不匹配(你可以用相同的代码尝试它)；如果我随后在Mac上访问该网站，通过正常的方式手动获取发送请求的cookie字符串，并将其替换为Python代码，它现在可以在Mac上运行。但是，这需要我实际打开浏览器，转到url，单击一个按钮发送P
浏览 13提问于2020-09-14得票数 0
回答已采纳
我正在尝试抓取的站点使用js来创建cookie。我想的是，我可以用python创建一个cookie，然后使用这个cookie来抓取站点。然而，我不知道有什么方法可以做到这一点。有谁有什么想法吗？
浏览 2提问于2009-07-13得票数 2
回答已采纳
我在对google提供的Oauth的web服务进行身份验证时遇到了问题。基本上，我想用我的google帐户登录到一个网页，在上面做一些抓取。由于web服务不是我的，所以我没有应用程序secret_key，只有clientID、redirect_URL和scope，我可以通过查看登录时使用的请求方法的参数来恢复它们。一旦通过身份验证，该网页只需要一个名为SID (我猜是会话ID )的cookie，就可以作为一个经过身份验证的用户进行应答。没有不记名令牌，只有SID cookie</
浏览 18提问于2021-11-26得票数 0
1回答
我正在使用web worker从一个chrome扩展的网站上抓取响应头cookie。当请求在主线程上执行时，请求的响应与预期一致，并且存在来自请求的cookie。但是，当在web worker脚本上执行完全相同的请求时，响应头大部分都会丢失。下面是两个回复
浏览 4提问于2021-07-01得票数 0
2回答
因此，假设我在一个网站上抓取多个页面(比方说1000)。我想知道哪种语言最适合用来抓取这些页面- javascript还是python。此外，我听说过javascript抓取器更快(由于多个get请求)，但我不确定如何实现这一点-有人能告诉我吗？
谢谢!
浏览 1提问于2012-03-04得票数 0
回答已采纳
1回答
我是Python的初学者。我试着从我的控制台上抓取一些产品信息。当我来到访问者详细信息页面时，我发现每次单击搜索按钮时cookie都会发生变化。我发现每个请求的cookie都会发生变化。我不能像从其他页面抓取数据那样抓取数据，这些页面的cookie在一定时间内是固定的。
在比较cookie数据后，我发现这里只有3个键值对发生了变化。我认为这3个值导致我无法抓取数据。
浏览 1提问于2020-09-01得票数 0
在从浏览器下载时，我发现JSTOR在两个名为JSESSIONID和SessionData的cookie中节省了我的接受量，但是python--请求没有抓取这两个cookie(它获取另外两个cookie，UserAgent().random}) return session
请注意，我之前几次使用python<e
浏览 2提问于2015-06-16得票数 0
回答已采纳
1回答
我有一个自动登录和抓取网站的爬虫，但由于登录被更改，它不再工作。如果它可以工作，我如何获得“原始”cookie字符串，我可以坚持到我的HTTP请求？
我是这个领域的新手，所以请原谅我那些愚蠢的问题。我可以使用PYthon或Java
浏览 4提问于2012-11-29得票数 0
回答已采纳
2回答
我正试着从一个政府的“集合名单”数据库中抓取一个excel文件。但是，我必须访问此excel文件的URL：
要求我将来自政府网站的会话cookie附加到请求。我如何抓取初始请求到登录页面的会话cookie (当他们给你会话cookie时)，然后用它点击上面的URL来抓取我们的excel文件？我在使用Python的Google App Engine上。=HouseholdInf_engRH&hhid=1924203170260
浏览 7提问于2012-03-18得票数 5
回答已采纳
在向他们的时间表JSON文件发出POST请求之前，我需要检索/刷新cookie，否则我会得到一个会话ID错误。`sessionID: none` and 'errorCode': '620', 'errorDescription': 'Invalid Session Number' 这是我的请求： url =
浏览 21提问于2020-03-18得票数 0
1回答
我正在尝试使用urllib2和BeautifulSoup来抓取网站的urllib2。不幸的是，当我试图通过Python访问页面时，我一直被禁止使用403。我认为这是一个用户代理问题，但改变它没有帮助。然后我想这可能与cookie有关，但是很明显，通过关闭cookie的链接加载页面很好。通过urllib阻塞请求的可能是什么？
浏览 4提问于2011-08-06得票数 2
我应该加载检查我们的web应用程序。当第一次请求到来时，应用程序会验证浏览器并为cookie设置一个browserid。我无法设置此值，因为我收到会话超时消息。有没有办法解决这个问题？cookie是在action类中设置的，所以我想抓取不是一个解决方案。有人能帮上忙吗？
浏览 6提问于2011-07-11得票数 2
回答已采纳
我有一个python脚本，它抓取页面并接收cookie。我想将另一个cookie附加到正在发送到服务器的现有cookie。因此，在下一次请求时，我将获得原始页面中的cookie以及我手动设置的cookie。
不管怎么说，做这件事吗？我尝试在mechanize中添加头文件，但是被忽略了。
浏览 1提问于2010-08-30得票数 6
回答已采纳
2回答
嗨，我正在试着从这个URL中删除一些数据：正如您可能已经注意到的，如果cookie和会话数据尚未设置快速检查会发现网站正在设置会话ID (PHPSESSID)，并复制到客户端的cookie中。 Getting page https://pypi.pyt
浏览 1提问于2013-09-19得票数 1
2回答
因此，我试图访问一些数据，以进行网络抓取。然而，当我到达从这个中提取一个图形的时候，我被卡住了，在这里我想编辑下面代码中观察到的数据时间段。关于一些额外的信息，我尝试访问chrome中的网络选项卡，通过post请求来更改它，但是每次我都被拒绝访问。class=""> </li></div>
我可以通过Network看到有一个包含以下数据
浏览 1提问于2020-07-14得票数 0
回答已采纳
1回答
我想下载一个文件，其中没有使用机械的网址。我尝试了.read()，但它给我的是html文件，这是显而易见的。这是我需要发送to> file>访问列表并单击create http://www.ncbi.nlm.nih.gov/sra?term=SRP000714的url文件。
浏览 2提问于2014-09-11得票数 2
2回答
问题是一些网站使用cookies，你必须点击接受cookies才能看到价格。如何在web抓取时接受cookies？
浏览 1提问于2020-12-07得票数 0
2回答
我正在尝试使用Python请求库来抓取一些数据(重现我在浏览器中执行的POST操作)。期望它会通过复制request header和post form来返回我在使用浏览器时看到的内容。但是，我不太确定使用Python请求发送cookie的正确方式是什么。这是它在Chrome中的屏幕截图。
看起来我既可以在请求头中使用cookie作为键，也可以在post命令中使用cookie参数。如果我想在请求头中使用cook
浏览 0提问于2014-10-22得票数 0
回答已采纳
我正在尝试抓取这个网页：
我尝试过用Python语言( 、等)提供的几个推荐。从堆栈溢出的问题，但它不可能获得状态代码200。
浏览 0提问于2019-12-07得票数 1
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
