我正在尝试获取网页的文本数据，就像它在我的浏览器上的样子一样。我的问题是，我还使用了一个网页的扩展，它的给定数据(由于它而显示的文本)也要被收集。我知道urllib，但它只收集正常的网页数据，而不是扩展生成的数据。那么，如何收集这些数据有什么帮助吗？另外，我想问的是，这是否可能？
浏览 12提问于2020-08-15得票数 0
1回答
它运行时出现以下错误-在线上还有其他类似的工作，但我尝试使用这些资源都没有用： import osimport tempfilefrom seleniumimport webdriverfrom selenium.webdriver.common.action_chainsimport ActionChains
from selenium.webdri
浏览 9提问于2019-09-10得票数 1
回答已采纳
1回答
我目前正在使用Python进行web抓取。我使用了Selenium和Beautifulsoup库来抓取。我最近知道Selenium适用于php/Laravel。我的问题是，我可以使用Laravel + Selenium web驱动程序抓取web吗？如果是，你能给我提供一些链接或存储库，以便我学习吗？我被迫在我的抓取工作中使用php/Laravel，因为他们说ph
浏览 19提问于2019-11-19得票数 0
1回答
当我单击所需的选项卡，在显示其内容后，首先会出现两个问题。1-网页地址不改变，对所有标签都是相同的。2-当我看到带有浏览器(firefox和chrome)的“查看页面源”的页面源时，所有选项卡的页面源看起来也是相同的，而当我对其中一个选项卡使用“检查Elemnt”时，我看到我的目标内容以html形式显示的代码问题是，我无法通过python访问所需选项卡的内容，这是
浏览 2提问于2020-02-06得票数 4
回答已采纳
所以我从我的作品网站上收集了所有的数据，以获得我所有的班次和关于那些班次的数据，比如python和漂亮的汤。抓取移位是很好的，因为它们只是元素。但是要获得信息，比如谁在轮班，你必须单击一个元素，它会显示一个隐藏的元素，但也会根据你点击的日期更改信息。这可以使用javascript函数showFloorPlan('N','N','N','202006
浏览 17提问于2020-06-23得票数 0
我正在尝试使用selenium和chromedriver从网站“”中抓取数据。当我运行代码时，chromedriver成功地输入了url，但无法加载页面，显示了一个空白页面。我尝试将目标网站切换到google.com，但抓取成功。我的结论是目标网站服务器检测到selenium并拒绝发送回数据。那么如何在Python语言中使用selenium和chromedriver从网站抓取数据呢？我是一个Python</e
浏览 0提问于2020-05-29得票数 0
我正在试着写一个程序，可以为战争机器4获取你的信息。我知道如何解析网页之类的，但我从来没有花时间通过python登录一个网站。现在，这带来了一个问题，因为我需要登录到我的Microsoft Live个人资料来获取我的统计数据。我试过我认为可行的方法，但每次都走进死胡同。这就是我目前所拥有的(这是有效的)import urllib2
username = 'USERNAME@hotmail.com'
浏览 10提问于2017-03-13得票数 1
我想刮从网站上的数据，如上面的截图(数据在红框)使用谷歌工作表。我尝试使用IMPORTHTML和IMPORTXML，但两者都无法工作(输出为空)。这是我的谷歌单子：
我不确定是否可以使用IMPORTHTML或IMPORTXML从这个网站(IMPORTHTML)中刮取数据。或者可以使用Google脚本来实现这一点？
浏览 7提问于2021-08-20得票数 1
回答已采纳
我想知道有没有什么方法可以制作一个python脚本来从网站上获取一个所说的值，在我的例子中是一个离线数字，它在一个每5分钟刷新一次的网站上。我想要设置它，如果该值增加，它将发送给我一封电子邮件。我之所以想这么做，是因为我在一家拥有超过15,000名矿工的比特币开采设施工作，我们必须不断地监控他们。但是，在做诸如清洁之类的日常工作时，携带笔记本电脑是非常令人恼火和恼人的。我对python知之甚少，所以如果有人能给我指出正确的</
浏览 3提问于2020-10-01得票数 0
2回答
我知道使用Python的Beautiful Soup抓取HTML的基础知识。但是，页面会进行AJAX调用，以获取球员上场时间的数据。(我使用firebug识别了网络调用)。我的问题是:有没有可能使用python来“抓取”这些信息？我需要什么工具，除了HTML我还应该知道什么？(我目前正在阅读有关JavaScript和AJAX的文章)。我为这个不明确的问题道歉，但我
浏览 0提问于2013-11-02得票数 0
很可能会让我的IP被禁止。有人建议我使用WebKit (如Ghost.py )来抓取数据，但在浏览器中模拟打开的选项卡使连接保持打开状态。我对WebKit知之甚少，是否有人能为我确认Ghost.py能够重用相同的连接，或者是否有其他更好的建议。
浏览 1提问于2015-08-12得票数 1
回答已采纳
2回答
我正在尝试从有经验的人那里获取更多的信息，一般来说，我正在使用Python库进行web抓取。与此同时，我注意到一些人正在使用simple Bash，并使用wget, curl, sed, grep, awk等命令进行web抓取。与使用Python库进行web抓取相比，这些命令在脚本编写方面似乎要干净得多。
你对此有什么看法？您认为使用python库比使用Bash有什么优势吗？或者甚至使用Python和Bash来完成web抓取<
浏览 1提问于2017-03-03得票数 0
我想抓取一些网站。我正在使用selenium/PhantomJS抓取JS(react、angular、jquery等)。和python爬行其他所有的东西。我的主要问题是，我无法区分页面是否使用JS加载。
任何想法都将受到欢迎！
浏览 2提问于2018-03-16得票数 0
如何设置我的mac，以便在没有冲突的情况下使用java和python运行Appium/Selenium？如果我开始设置python，会不会引起冲突？是否还有其他人使用Appium/Selenium
浏览 0提问于2019-03-22得票数 1
我是一个Python程序员，专门从事web抓取，我不得不问这个问题，因为我发现没有任何相关的东西。
我想知道Python有哪些流行的、文档齐全的框架可以用来抓取纯Javascript站点？目前我知道Mechanize和Beautiful Soup，但它们不与Javascript交互，所以我在寻找不同的东西。我更喜欢像机械化那样优雅和简单的东西。我做了一些研究，到目前为止，我听说过<
浏览 5提问于2011-06-12得票数 2
我想要做的.我试过的."Urllib请求“、"Wget”和“request”库都为我提供了一个1KB文件，在文本编辑器中该文件会读到“无效请求”。这可能是有意义的，因为我输入的网站网址在默认情况下是空白的，而且我认为它不会像我使用“请求”库的"allow_redirects=True“那样将URL重定向到任何地方。这个下载链接似乎总是有效
浏览 0提问于2020-05-06得票数 1
回答已采纳
我正在使用Python和Selenium浏览一个网站。<select name="state" class="pulldown" id="state" onchange="[javablob]"&g
浏览 3提问于2016-12-15得票数 0
回答已采纳
4回答
我试图刮一个网站，有链接到亚马逊与Python使用这些框架-硒，美丽的汤。，不幸的是不是那么专业。主要的问题是Beautiful soup没有XPath选择器(AFAIK)。我应该使用scrapy来完成这项任务，还是scrapy对于这个简单的刮刀来说太过压倒性？这是针对第一个产品的，稍后我将对此进行迭代 from bs4 import BeautifulSoupimport time
d
浏览 50提问于2018-06-08得票数 0
回答已采纳
1回答
真的需要这个社区的帮助！html=browser.execute_script('return document.body.innerHTML')然而，我后来发现，如果我在使
浏览 15提问于2018-02-14得票数 2
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
