1回答
我一直在使用Python和Selenium从特定的州健康网页中抓取数据，并将表格输出到本地CSV。 我已经在其他几个州使用类似的代码获得了很多成功。我已经检查过是否有可以切换到的iframe，但是，我只是看不到页面上iframe中我想要的数据。 使用Chrome的“检查”功能，我可以很容易地找到表格信息。但是，从原始URL开始，我需要的数据不在该页面上，并且我找不
浏览 3提问于2020-08-18得票数 0
我正在尝试获取网页的文本数据，就像它在我的浏览器上的样子一样。我的问题是，我还使用了一个网页的扩展，它的给定数据(由于它而显示的文本)也要被收集。我知道urllib，但它只收集正常的网页数据，而不是扩展生成的数据。那么，如何收集这些数据有什么帮助吗？另外，我想问的是，这是否可能？
浏览 12提问于2020-08-15得票数 0
我想从这里抓取数据：在该页面中有一个标题为“市场流动”的部分，下面有3列：“最活跃的人”，"%获得者“，"%失败者”，每一个都可以点击。该部分列出了10只股票。同样在第10只股票的末尾，有一个可点击的矩形“再加载10个”。
我想要做的是点击"%获得者“，同时点击”加载10多个“，查看排名前20的获得者列表，并在Python中抓取数据。
浏览 1提问于2015-09-11得票数 1
1回答
我目前正在使用Python进行web抓取。我使用了Selenium和Beautifulsoup库来抓取。我最近知道Selenium适用于php/Laravel。我的问题是，我可以使用Laravel + Selenium web驱动程序抓取web吗？如果是，你能给我提供一些链接或存储库，以便我学习吗？我被迫在我的
浏览 19提问于2019-11-19得票数 0
我使用C#和Python的Selenium Webdriver从网站获取数据元素，但web抓取的速度非常慢。抓取35000个数据表花了我大约1.5天的时间。使用Selenium Webdriver，我可以执行Javascript来获取Java元素。有没有一些库可以不需要像Webdriver这样的东西来在网页上执行Javascript来检索元素，并
浏览 5提问于2015-04-16得票数 13
我想知道有没有什么方法可以制作一个python脚本来从网站上获取一个所说的值，在我的例子中是一个离线数字，它在一个每5分钟刷新一次的网站上。我想要设置它，如果该值增加，它将发送给我一封电子邮件。我之所以想这么做，是因为我在一家拥有超过15,000名矿工的比特币开采设施工作，我们必须不断地监控他们。但是，在做诸如清洁之类的日常工作时，携带笔记本电脑是非常令人恼火和恼人的。我对python知之甚少，所以如果有人能给我指出正确的</
浏览 3提问于2020-10-01得票数 0
1回答
当我单击所需的选项卡，在显示其内容后，首先会出现两个问题。1-网页地址不改变，对所有标签都是相同的。2-当我看到带有浏览器(firefox和chrome)的“查看页面源”的页面源时，所有选项卡的页面源看起来也是相同的，而当我对其中一个选项卡使用“检查Elemnt”时，我看到我的目标内容以html形式显示的代码问题是，我无法通过python访问所需选项卡的内容，这是web</
浏览 2提问于2020-02-06得票数 4
回答已采纳
我想要做的.我试过的."Urllib请求“、"Wget”和“request”库都为我提供了一个1KB文件，在文本编辑器中该文件会读到“无效请求”。这可能是有意义的，因为我输入的网站网址在默认情况下是空白的，而且我认为它不会像我使用“请求”库的"allow_redirects=True“那样将URL重定向到任何地方。我相信
浏览 0提问于2020-05-06得票数 1
回答已采纳
很可能会让我的IP被禁止。有人建议我使用WebKit (如Ghost.py )来抓取数据，但在浏览器中模拟打开的选项卡使连接保持打开状态。我对WebKit知之甚少，是否有人能为我确认Ghost.py能够重用相同的连接，或者是否有其他更好的建议。
浏览 1提问于2015-08-12得票数 1
回答已采纳
1回答
真的需要这个社区的帮助！html=browser.execute_script('return document.body.innerHTML')
sel_soup=BeautifulSoup(html, 'html.parser'
浏览 15提问于2018-02-14得票数 2
2回答
我正在尝试刮掉的内容。我相信表是在JavaScript中呈现的，所以我使用的是selenium包和Python3。为了完成这样的任务，我看到找到了xpath表，以抓取它的内容，但我只是不知道如何识别正确的xpath。
如何提取表格内容？如果使用xpath，如何通过检查web页面的源来识别对应于表</em
浏览 0提问于2019-06-23得票数 1
回答已采纳
我想输入如图所示的信息。 ? start_date': '2018-06-01', 'end_date':'2019-01-23'}
response = requests.post(url, data = payload) 但是，我不能得到正确的结果正确的方法应该是什么？ 如何使用pyqt5完成此操作
浏览 14提问于2019-01-23得票数 4
1回答
我正在尝试抓取在页面的div中找到的表。到目前为止，我基本上是这样尝试的：# Then move exe file on C:\Python27\Scripts= driver.find_element_by_xpath('//div[@class="line-chart"]/table/tbody')
print tabl
浏览 14提问于2016-09-19得票数 3
回答已采纳
1回答
我正试着把这些信息放到一个excel文件中，但似乎不知道如何使用import csv。我看了其他帖子作为参考，但我似乎不能将其应用于我正在做的事情。我对selenium是个新手。谢谢。from selenium.webdriver.support.ui import Selectimportcsv
driver.get("https:&#x
浏览 0提问于2020-07-26得票数 0
大家好，这是我第一次发帖子，希望你是好的！from bs4 import BeautifulSoup
driver = webdriver.Chrome(author_element = soup.find("table", cl
浏览 2提问于2022-05-03得票数 -1
1回答
我已经成功地使用selenium来抓取一个html表，它需要在抓取之前点击按钮。不过，我很难把这个解析成熊猫的数据。与URL一样，dataframe应该有5列和大约30行。from selenium import webdriver
from bs4 import Beautif
浏览 1提问于2020-04-03得票数 2
回答已采纳
我想在amazon lambda中运行BeautifulSoup和selenium webdriver，我的运行环境是python3.6。可以运行吗？如果是这样的话是怎么做的。我的意图是使用漂亮的Soup4和selenium从网页中删除数据(因为它必须删除由javascript动态生成的数据)。
浏览 4提问于2018-04-21得票数 14
回答已采纳
我正在浏览Selenium WebDriver的文档，例如，它可以驱动Chrome。我在想，“驾驶”PhantomJS不是更有效率吗？
有没有一种方法可以在PhantomJS中使用Selenium？我的预期用途是web抓取:我抓取的网站加载了AJAX和许多可爱的JavaScript，我认为这个设置可以很好地替代我目前正在使用的Scrapy Python</
浏览 4提问于2012-06-27得票数 35
回答已采纳
2回答
我正试图用Python从网站上抓取一个表，但由于某种原因，我所有已知的方法都失败了。在有一张45页的桌子。我已经尝试用使用: requests (呈现它)、BeautifulSoup和selenium来刮掉它。这是我的代码之一，我不会在这里复制所有我尝试过的代码，方法类似于不同的Python库：from
浏览 7提问于2021-11-06得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
