我有以下function.It，它接受一个链接作为参数，并在最后给出我需要的数据(base_list)我使用多线程的附加代码如下 records = p.map(extract_BS,urls)
p.terminateReason: 'RecursionError(&#x
浏览 0提问于2018-02-18得票数 0
1回答
我目前正在使用Python进行web抓取。我使用了Selenium和Beautifulsoup库来抓取。我最近知道Selenium适用于php/Laravel。我的问题是，我可以使用Laravel + Selenium web驱动程序抓取web吗？如果是，你能给我提供一些链接或存储库，以便我学习吗？我被迫在我的
浏览 19提问于2019-11-19得票数 0
1回答
当我单击所需的选项卡，在显示其内容后，首先会出现两个问题。1-网页地址不改变，对所有标签都是相同的。2-当我看到带有浏览器(firefox和chrome)的“查看页面源”的页面源时，所有选项卡的页面源看起来也是相同的，而当我对其中一个选项卡使用“检查Elemnt”时，我看到我的目标内容以html形式显示的代码问题是，我无法通过python访问所需选项卡的内容，这是
浏览 2提问于2020-02-06得票数 4
回答已采纳
我想要做的.我试过的."Urllib请求“、"Wget”和“request”库都为我提供了一个1KB文件，在文本编辑器中该文件会读到“无效请求”。这可能是有意义的，因为我输入的网站网址在默认情况下是空白的，而且我认为它不会像我使用“请求”库的"allow_redirects=True“那样将URL重定向
浏览 0提问于2020-05-06得票数 1
回答已采纳
我正在尝试获取网页的文本数据，就像它在我的浏览器上的样子一样。我的问题是，我还使用了一个网页的扩展，它的给定数据(由于它而显示的文本)也要被收集。我知道urllib，但它只收集正常的网页数据，而不是扩展生成的数据。那么，如何收集这些数据有什么帮助吗？另外，我想问的是，这是否可能？
浏览 12提问于2020-08-15得票数 0
我想在amazon lambda中运行BeautifulSoup和selenium webdriver，我的运行环境是python3.6。可以运行吗？如果是这样的话是怎么做的。我的意图是使用漂亮的Soup4和selenium从网页中删除数据(因为它必须删除由javascript动态生成的数据)。
浏览 4提问于2018-04-21得票数 14
回答已采纳
我想知道有没有什么方法可以制作一个python脚本来从网站上获取一个所说的值，在我的例子中是一个离线数字，它在一个每5分钟刷新一次的网站上。我想要设置它，如果该值增加，它将发送给我一封电子邮件。我之所以想这么做，是因为我在一家拥有超过15,000名矿工的比特币开采设施工作，我们必须不断地监控他们。但是，在做诸如清洁之类的日常工作时，携带笔记本电脑是非常令人恼火和恼人的。我对python知之甚少，所以如果有人能给我指出正确的</
浏览 3提问于2020-10-01得票数 0
3回答
Python硒多处理
、、、、
我用python和selenium结合编写了一个脚本，从它的登陆页面中抓取不同帖子的链接，并通过跟踪指向其内部页面的url最终获得每个帖子的标题。虽然我在这里分析的内容是静态的，但我使用selenium来查看它在多处理中的工作方式。
然而，我的意图是使用多处理进行抓取。到目前为止，我知道selenium不支持多
浏览 2提问于2018-11-26得票数 31
回答已采纳
我想从这里抓取数据：在该页面中有一个标题为“市场流动”的部分，下面有3列：“最活跃的人”，"%获得者“，"%失败者”，每一个都可以点击。该部分列出了10只股票。同样在第10只股票的末尾，有一个可点击的矩形“再加载10个”。
我想要做的是点击"%获得者“，同时点击”加载10多个“，查看排名前20的获得者列表，并在Python中抓取数据。
浏览 1提问于2015-09-11得票数 1
我想打开一个页面，抓取屏幕，并使用PIL获取其平均颜色。我想打开大约100个页面，所以我认为使用Python的屏幕截图脚本会很有用。我和我决定使用：A simple screen grabbing utility
@date 2009-03-17
from PIL
浏览 0提问于2011-09-26得票数 1
回答已采纳
我试图刮数据从板球网站，并已经写了一个方法，接受一个球员的名字，并显示他们的相应数据。
如果您看到此方法，则取一个播放机名称并显示其所有数据。我的要求是显示所有球员的完整记分卡，而不是只显示一个球员的数据。
浏览 0提问于2020-03-04得票数 0
很可能会让我的IP被禁止。有人建议我使用WebKit (如Ghost.py )来抓取数据，但在浏览器中模拟打开的选项卡使连接保持打开状态。我对WebKit知之甚少，是否有人能为我确认Ghost.py能够重用相同的连接，或者是否有其他更好的建议。
浏览 1提问于2015-08-12得票数 1
回答已采纳
我想输入如图所示的信息。 ? start_date': '2018-06-01', 'end_date':'2019-01-23'}
response = requests.post(url, data = payload) 但是，我不能得到正确的结果正确的方法应该是什么？ 如何使用pyqt5完成此操作
浏览 14提问于2019-01-23得票数 4
3回答
我正在尝试从下面的morningstar网站上获取数据：
import requests, os, bs4, string
浏览 3提问于2016-02-27得票数 3
当我使用Selenium时，我可以看到浏览器GUI，是否可以使用scrapy或严格基于scrapy命令行？
浏览 4提问于2015-11-03得票数 1
回答已采纳
1回答
我正在做一个网络抓取器，你知道所有的东西都是安全的，所以我正在做这个selenium驱动程序，它不能工作 from selenium import webdriver
import pandas as
浏览 12提问于2020-10-08得票数 0
回答已采纳
1回答
我想用python发布一些数据到一个网站上。payload = { 'user-point-form-1': random_data #the data I want to post而我想要发布的html我应该如何更改请求，以便将数据发布到"XXXXXX“所在的位置？
浏览 2提问于2017-09-04得票数 0
我正在浏览Selenium WebDriver的文档，例如，它可以驱动Chrome。我在想，“驾驶”PhantomJS不是更有效率吗？
有没有一种方法可以在PhantomJS中使用Selenium？我的预期用途是web抓取:我抓取的网站加载了AJAX和许多可爱的JavaScript，我认为这个设置可以很好地替代我目前正在使用的Scrapy Python</
浏览 4提问于2012-06-27得票数 35
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
