在html代码中找不到表单-使用Python和Selenium进行Web抓取

文章/答案/技术大牛

发布

3回答

javascript、python、forms、selenium、web-scraping

主要目的是填写这5个表单(一个表单在选择另一个表单后出现)，并通过“咨询”按钮下载数据。我只有一个我的代码的原型。如果不知道我可以做些什么来找到这些表单，我就不能前进。AppData\L

浏览 31提问于2017-08-31得票数 1

回答已采纳

1回答

基于动态内容和隐藏数据表的Selenium Web抓取

python、selenium、dynamic、web-scraping、beautifulsoup

我正在使用Selenium和Beautiful Soup在Python中对动态内容进行web抓取。问题是，即使使用以下代码，也无法将定价数据表解析为Python：sel_soup=BeautifulSoup(ht

浏览 15提问于2018-02-14得票数 2

1回答

抓取问题：“检查元素”与“查看页面源”不同

html、python-3.x、selenium、web-scraping、beautifulsoup

当我单击所需的选项卡，在显示其内容后，首先会出现两个问题。1-网页地址不改变，对所有标签都是相同的。2-当我看到带有浏览器(firefox和chrome)的“查看页面源”的页面源时，所有选项卡的页面源看起来也是相同的，而当我对其中一个选项卡使用“检查Elemnt”时，我看到我的目标内容以html形式显示的代码问题是，我无法通过python访问所需选项卡的内容，这是web世界中可用的典型WEB抓取代码

浏览 2提问于2020-02-06得票数 4

回答已采纳

1回答

在Python中打印selenium* webelement的HTML文本*

python、selenium、beautifulsoup、web-scraping、urllib2

我正在使用Python中的Selenium webdriver进行web抓取项目。谢谢

浏览 19提问于2011-11-30得票数 5

回答已采纳

1回答

用Laravel和Selenium进行Web抓取

php、laravel、selenium、web-scraping

我目前正在使用Python进行web抓取。我使用了Selenium和Beautifulsoup库来抓取。我最近知道Selenium适用于php/Laravel。我的问题是，我可以使用Laravel + Selenium web驱动程序抓取web吗？如果是，你能给我提供一些链接或存储库，以便我学习吗？我被迫在我的

浏览 19提问于2019-11-19得票数 0

1回答

我应该使用Javascript Bookmarklet或其他工具来执行基本的表单填写任务吗？

javascript

我一直在学习Python，了解如何使用CSS选择器进行基本的web抓取和表单输入。我的理解是，Python Selenium很适合在后台运行项目，但不太适合在web浏览器中执行特定的短期任务。我试图在现有浏览器中单独完成任务，而不是创建一个完整的新浏览器对象并在多个表单中迭代。用Javascript制作一个书签小程序是个好主

浏览 24提问于2021-01-09得票数 1

回答已采纳

1回答

Selenium下载完整的html页面

python、selenium

我正在学习使用Python Selenium和BeautifulSoup进行web抓取。目前，我正在尝试抓取谷歌搜索趋势上的热门搜索from bs4 import BeautifulSoup googleURL = "

浏览 1提问于2013-05-17得票数 15

1回答

使用BeautifulSoup和拆分器从推特帐户检索文本

python、web-scraping、beautifulsoup、splinter

lang=en' html = browser.html print(tweet.text) 但是，它抛出一个错误，声明"'NoneType' object has no attribute 'text'"和<

浏览 3提问于2019-12-07得票数 1

1回答

Selenium WebDriver -如何使用代理？

python、selenium-chromedriver、http-proxy

我使用Python语言中的Selenium WebDriver来进行web抓取，并且我经常更改代理和用户代理。driver.execute_script("return navigator.userAgent;") 但我找不到让代理被使用

浏览 7提问于2018-12-02得票数 0

1回答

抓取搜索/身份验证生成的页面

python、r、selenium、web-scraping、rvest

浮华，谢谢你的智慧！

浏览 6提问于2020-11-24得票数 2

2回答

如何在python中实现网络抓取

python、selenium、web-scraping、beautifulsoup、mechanize

我对python刚开始在python上抓取。我必须从这个中抓取数据我

浏览 9提问于2017-10-09得票数 0

回答已采纳

1回答

Python和Selenium: Webscraping

python、selenium-chromedriver

我对使用selenium和python进行web抓取是个新手。我试图从其中抓取数据的网页在特定的nav类中有href元素。我需要在EXAMPLE3中单击，但我找不到类名或id。

浏览 13提问于2021-09-24得票数 0

回答已采纳

1回答

Python -单击链接时抓取数据不会更改URL

python、python-2.7、web-scraping

我想从这里抓取数据：在该页面中有一个标题为“市场流动”的部分，下面有3列：“最活跃的人”，"%获得者“，"%失败者”，每一个都可以点击。该部分列出了10只股票。同样在第10只股票的末尾，有一个可点击的矩形“再加载10个”。我想要做的是点击"%获得者“，同时点击”加载10多个“，查看排名前20的获得者列表，并在Python中抓取数据。

浏览 1提问于2015-09-11得票数 1

1回答

如何使用python从网站上检索值

python、html

我想知道有没有什么方法可以制作一个python脚本来从网站上获取一个所说的值，在我的例子中是一个离线数字，它在一个每5分钟刷新一次的网站上。我想要设置它，如果该值增加，它将发送给我一封电子邮件。我之所以想这么做，是因为我在一家拥有超过15,000名矿工的比特币开采设施工作，我们必须不断地监控他们。但是，在做诸如清洁之类的日常工作时，携带笔记本电脑是非常令人恼火和恼人的。我正在尝试从html源代码的这一部分中获取离线编号.........I正在尝试<em

浏览 3提问于2020-10-01得票数 0

3回答

从Morningstar网站抓取财务数据

python、json、beautifulsoup

我正在尝试从下面的morningstar网站上获取数据： import requests, os, bs4, string

浏览 3提问于2016-02-27得票数 3

2回答

在使用Python进行web抓取时，如何使用相同的连接？

python、webkit、screen-scraping

有人建议我使用WebKit (如Ghost.py )来抓取数据，但在浏览器中模拟打开的选项卡使连接保持打开状态。

浏览 1提问于2015-08-12得票数 1

回答已采纳

1回答

使用Python对页面和浏览器扩展数据进行with抓取

python、html

我的问题是，我还使用了一个网页的扩展，它的给定数据(由于它而显示的文本)也要被收集。我知道urllib，但它只收集正常的网页数据，而不是扩展生成的数据。那么，如何收集这些数据有什么帮助吗？

浏览 12提问于2020-08-15得票数 0

3回答

用python刮网站

python、web-scraping、beautifulsoup、scrapy、libraries

我试图在网上刮一个网站，以获取价格和标题从它。我已经看过多个教程和博客，最常见的库是漂亮汤和scrapy。如果有一种方法可以在不使用任何第三方库(如beautifulsoup和scrapy )的情况下抓取一个网站，那么就可以使用beautifulsoup。

浏览 1提问于2020-06-09得票数 1

回答已采纳

1回答

屏幕抓取-仍不工作

vb.net、visual-studio-2008

我想刮的html页面，有一些脚本运行，通常执行的脚本，以显示点击后的链接。一些人提到了firebug，另一些人则谈到了我需要的代码的逆向工程。a').removeClass('activeLink'); }我正在使用vb.net，一些网站很容易使用firebug，在那里，通过查看脚本，我能够提取所需的数据。该链接是和类别是我试图

浏览 3提问于2010-03-13得票数 1

1回答

使用Selenium和Python进行Web抓取

python、selenium

这是我的第一个程序代码，它实际上是有效的。我的目标是从网站上抓取信息，并将其存储在数据库中。这是一个有体育赛事和赔率的历史数据的网站。然而，我不认为它真的看起来像真正的代码。我感兴趣的是我能做些什么来改进和优化它。我最关注的是什么，我做错了什么？from selenium import webdriverfroms

浏览 0提问于2020-09-12得票数 5

回答已采纳

点击加载更多