我正在尝试使用python3和selenium chromedriver从一个网站上抓取产品评论。 这些评论中嵌入了公司的回复(删除这些)。所以我想要一个类似如下的python3函数： if 'response from company x' not in mydriver.find_element_by_class_name('bv_content_titlefor child classes of ('bv_content_c
浏览 11提问于2019-04-30得票数 0
回答已采纳
我正在尝试使用selenium和chromedriver从网站“”中抓取数据。当我运行代码时，chromedriver成功地输入了url，但无法加载页面，显示了一个空白页面。我尝试将目标网站切换到google.com，但抓取成功。我的结论是目标网站服务器检测到selenium并拒绝发送回数据。那么如何在Python语言中使用selenium和chromedrive
浏览 0提问于2020-05-29得票数 0
我对python上的web抓取是个新手。我有问题，当我运行我的代码，返回是白色空白，但它不是错误。url:Scraper(news).scrape() 我在空闲和pycharm
浏览 22提问于2020-08-21得票数 0
python 3.6.7while tg: n = n + 1 # Selenium
浏览 1提问于2020-03-20得票数 1
我正在使用Python从一个网站上抓取内容。首先，我在Python上使用了BeautifulSoup和Mechanize，但我看到网站上有一个通过JavaScript创建内容的按钮，所以我决定使用Selenium。既然我可以通过像driver.find_element_by_xpath这样的方法使用Selenium查找元素并获取它们的内容，那么当我可以使用
浏览 1提问于2013-07-03得票数 53
回答已采纳
点击此链接使用urllib2登录：<div id="gridContainer" class='grid_12'></div>
<form action
浏览 24提问于2017-02-26得票数 0
1回答
我尝试过使用scrappy和urllib3，但是除了从网页本身获取静态数据之外，我没能捕捉到其他东西。 f.write(response.body)
如果您知道任何可以使用的解决方案或其他库
浏览 1提问于2020-05-25得票数 1
我知道如何解析网页之类的，但我从来没有花时间通过python登录一个网站。
现在，这带来了一个问题，因为我需要登录到我的Microsoft Live个人资料来获取我的统计数据。所有我需要的是有人告诉我如何传递我的用户名和密码到登录页面，然后加载它重定向到的页面。每次我尝试时，我都会得到html数据，告诉我Javascript没有启用。
浏览 10提问于2017-03-13得票数 1
1回答
如果可能的话，我想设置基于个人资料的追随者数量的条件。老实说，过去几天我一直在寻找一些方向，但没有找到任何东西。我一直在使用Insta-scrape，但它并没有成功。任何帮助都将不胜感激。
浏览 42提问于2021-10-25得票数 0
1回答
我从事一个学术项目，该项目需要使用由Requests和BeautifulSoup库提供支持的Python脚本来抓取互联网上的各种新闻文章。最近，我的任务是从“华尔街日报”上抓取文章，并给了我一个订阅登录来使用。然而，在过去的任务中，我从来不需要在浏览实际文章之前登录网站。此外，previous question asked here似乎表明它正在使用Python2.0(其他我没有经验的东西)，但似乎通过shell脚本提供了一个解决方案
浏览 17提问于2019-10-18得票数 0
回答已采纳
我正在浏览Selenium WebDriver的文档，例如，它可以驱动Chrome。我在想，“驾驶”PhantomJS不是更有效率吗？
有没有一种方法可以在PhantomJS中使用Selenium？我的预期用途是web抓取:我抓取的网站加载了AJAX和许多可爱的JavaScript，我认为这个设置可以很好地替代我目前正在使用的Scrapy Python框架。
浏览 4提问于2012-06-27得票数 35
回答已采纳
我的问题是，我还使用了一个网页的扩展，它的给定数据(由于它而显示的文本)也要被收集。我知道urllib，但它只收集正常的网页数据，而不是扩展生成的数据。那么，如何收集这些数据有什么帮助吗？
浏览 12提问于2020-08-15得票数 0
有人建议我使用WebKit (如Ghost.py )来抓取数据，但在浏览器中模拟打开的选项卡使连接保持打开状态。
浏览 1提问于2015-08-12得票数 1
回答已采纳
我试图通过python来抓取一个网站，但是我无法通过请求检索到正确的API，因为我无法获取产品信息：提前感谢:)
浏览 0提问于2021-11-15得票数 0
我想抓取一些网站。我正在使用selenium/PhantomJS抓取JS(react、angular、jquery等)。和python爬行其他所有的东西。我的主要问题是，我无法区分页面是否使用JS加载。
任何想法都将受到欢迎！
浏览 2提问于2018-03-16得票数 0
如何使用URL访问下一页，内容如下：我知道如何使用刮取库(BS4、Selenium)，但我不知道如何抓取这样的站点。我一直在玩谷歌Chrome开发工具，但没有成功。像Python这样的抓取站点通常的工作流程是什么？
浏览 0提问于2019-07-05得票数 0
回答已采纳
我正在尝试抓取一个网站，但是它没有加载selenium。当我在我的“真正的”chrome浏览器中浏览这个网站时，一切都很正常。有没有什么方法可以用我的真正浏览器和python来自动化东西，而不是使用selenium？ 谢谢
浏览 21提问于2021-03-24得票数 0
回答已采纳
我知道网络抓取，我从不同的网站上获取了数据，我使用的是python语言和selenium webdriver chrome。但我调用一个网站，它是打开的首页，然后我点击或转到任何其他页面，然后网站限制我和网站知道我正在使用自动铬。
浏览 7提问于2019-03-13得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
