要抓取的网站具有不同的类名

文章/答案/技术大牛

发布

3回答

python、web-scraping、beautifulsoup

我正在试图弄清楚一个产品的名称和价格。我正面临着一个问题，网站有一个不同的类。div><div class="K-k"><div>S$230</div><div>Product Description</div><div>Used</div></div></a> 我意识到他们将自己的类更改

浏览 16提问于2019-03-17得票数 5

回答已采纳

1回答

在python中从webElement中查找xpath

python、selenium、web-scraping

我正在尝试用python抓取一些页面，使用Selenium，但我遇到了一个问题。由于页面结构的不同，我要查找的元素具有不同的xpath，但它们都位于页面的同一部分，具有相同的类名。所以我想知道，一旦我得到了webElement，是否有可能知道它的类名，以及我感兴趣的页面部分，找到页面这部分的X

浏览 15提问于2021-03-14得票数 1

1回答

是否有可能自动从网站上抓取文章- Python & Beautiful

python、web-scraping、beautifulsoup、scrape、scraper

我试图制作一个脚本从不同的网站抓取一两篇文章(仅限于文章URL)，我制作了一个Python脚本，使用BeautifulSoup获取网站的HTML，通过它的类名查找网站的Navbar菜单，并在每个网站部分循环，问题是每个网站对于Navbar菜单和它的部分都有不同的类名或Xpat

浏览 1提问于2018-04-25得票数 0

回答已采纳

1回答

使用Scrapy获取具有相同类名的多个元素的列表

python、scrapy

有一个我想要抓取的网站，它有许多具有相同类名的div。例如，假设这个类名是article-container，站点中有12个div包含这个类名。解决这个问题的最佳方法是什么？

浏览 3提问于2019-12-12得票数 1

2回答

具有许多重复元素类名的抓取网站

scrapy、web-crawler

我刚接触Scrapy，正在尝试爬网，但HTML元素由许多DIV组成，其中有重复的类名，例如。> </a> </section> </section> 我问题是这个结构对许多其他元素重复，当我使用response.css时，我会得到多个我不想要的元素 (基本上我想抓取口袋妖怪的信息“类型”，“物种”和“能力”的每个精灵从https:/

浏览 27提问于2020-08-30得票数 1

回答已采纳

1回答

Goutte:使用类名点击链接

php、laravel、web-crawler、goutte

我试图从一个电子商务网站上抓取，链接上的文本对于所有项目都是不同的。但是它们有一个共同的类名。可以在Goutte中使用类名单击它们吗？或者它只对上面的文本起作用。

浏览 2提问于2016-01-18得票数 0

1回答

具有相同类的多个元素

python、python-3.x、web-scraping、beautifulsoup

在我正在抓取的网站上，有2个具有相同类('ul', class_='list')的元素。当我运行时： syn = soup.find('ul', class_='list') print(syn.text) 我只获得了类('ul', class_='list')的第一个元素的文本如何才能获得具有相同类名</

浏览 23提问于2020-10-01得票数 0

回答已采纳

1回答

if else语句中的Android字符串值

java

我正在写一个简单的应用程序，可以从网站上抓取一些数据。我可以获取数据并将其放入字符串值中，但是对于网站的构造器，该值具有不同的类名，具体取决于该值是负值还是正值。我的问题是:如果从网站获取的其中一个值为空，如何在字符串中赋值？我尝试使用if-else语句，但无法在ParseAdapter中传递正确的值。我的代码：

浏览 29提问于2020-05-04得票数 0

回答已采纳

1回答

使用Python和Request包抓取网页

python、html、web-scraping、python-requests

我希望从一个网站上刮出一个特定的数字。在使用chrome进行检查时，我看到了我想要拉的以下div：这个类名在我看来很奇怪下面是我用来尝试拉出“2472.38”号的简单代码：import requests r = requests.get('MYWEBSITE&

浏览 6提问于2022-01-26得票数 0

1回答

当有几个具有相同类名的值时，如何使用find_element_by_class_name？

python、web-scraping

我对网络抓取很陌生，遇到了两个问题。首先，当我尝试使用find_element_by_class_name时，我会得到一个错误，即find_element_by_*命令被废弃了。我遇到的另一个问题是，我试图在网络上抓取的网站有多个值分配给同一个类。如何确保从网站中检索正确的信息？driver.title) pr

浏览 5提问于2021-12-15得票数 0

1回答

从酒店网站上抓取的BeautifulSoup没有退货

python、selenium、web-scraping、beautifulsoup

我在试着从不同的酒店网站上搜集酒店数据。我可以成功地从Bookings.com这样的网站上获取信息，但我很难获得特定酒店网站(不是大规模预订网站)的任何输出。下面的代码适用于批量预订站点，但是当我更改URL和我试图抓取的div类名时，我没有得到任何输出。我是不是为我想要的信息选择了错误的div类，或者我不能抓取

浏览 23提问于2021-04-28得票数 1

回答已采纳

1回答

我应该如何命名类？这个名字是太长了还是不必要的长？

java、class、naming-conventions

在这个顶级包中，我有一个包含main方法的类和一个名为".summonerdata“的包。既然它所在的包是"summonerdata“，那么类名"SummonerDataScreenScraper”是不必要的长吗？

浏览 0提问于2013-04-16得票数 4

1回答

如何从URL未定义文件名的网页下载所有列出的文件

curl、web-scraping、wget

我想从这个页面下载所有的数据集：链接到文件的URL中没有文件名，它们可能具有不同的文件类型。下面是一个指向文件的URL示例：抓取这个网站最好的方法是什么？

浏览 0提问于2011-10-28得票数 0

2回答

是按id还是按类找到WebElement？

java、html、selenium-webdriver、selenium-chromedriver

我使用selenium来抓取不同的网站，我知道要找到一个特定的WebElement，有不同的方法，比如使用Xpath、使用类或使用Id。假设某个网站具有html结构，如下所示<div id="score_strength" class="box_analytics" styl

浏览 5提问于2021-07-08得票数 0

1回答

如何使用selenium python自动分页？(无需手动选择next按钮)

python-3.x、selenium-webdriver、web-scraping、scrapy、python-requests

我正在抓取图像的网站列表，使用selenium webdriver+scrapy，但每个网站的下一步按钮都有不同的类/div名称，如何自动查找不同网站中的下一页进行抓取？

浏览 11提问于2020-06-20得票数 0

1回答

Watir等待更多帖子加载

ruby-on-rails、ruby、watir

我想抓取的网站有一个滚动事件的延迟加载。(无限滚动)我想等待更多的帖子加载，但所有的帖子都有相同的类名。因此，我不能等待加载具有特定类名的元素。我不想使用sleep()方法。

浏览 12提问于2019-08-19得票数 0

回答已采纳

4回答

如何删除具有相同类的所有元素

jquery、class、removeclass

所以我有一个系统，这个网站的用户可以创建div的，所有这些div的类名都不同，与所有这些div的类名一样，也会创建一个删除按钮，具有相同的类。如何删除按钮和具有相同类的div，单击该按钮。我想应该是这样的：而不是用这个标签。

浏览 1提问于2015-12-15得票数 4

回答已采纳

4回答

如何将div的内容克隆到另一个div

jquery、dynamic、html、copy、clone

我想使用jquery克隆将选定div的内容复制到另一个div。但是我不想把它附加到任何地方我的意思是，当我们用jquery克隆div时(如果我错了，请纠正我)，我们必须设置它的位置，它将动态地创建一个新的分区并显示出来。但我想获取选定div的内容并将其复制到另一个预先设置的div

浏览 0提问于2010-10-23得票数 32

回答已采纳

1回答

试着刮img src除美汤外

python、web-scraping、beautifulsoup

soup.select(".img-thumb")] images = [img["src"] for img in soup.select(".author-bio")] 我试着从不同的页面中抓取图像如果只适用于“尝试”和“除”，但有些页面具有不同类名的图像，因此我添加了另一个例外条件。它显示了错误，然后我添加了其他条件。但现在它只会擦拭其他条件数据。我要

浏览 6提问于2022-09-09得票数 1

回答已采纳

1回答

无扩展的刮擦图像

web-scraping

我试着抓取这个网站的图片：我没有问题下载手册，刮图像，甚至刮url，但是图像和url缺少图像扩展。我需要刮完整的url文件名和扩展名.，而不是实际的图像。

浏览 2提问于2016-01-20得票数 0

点击加载更多