如何在python中抓取某些html类？

文章/答案/技术大牛

发布

1回答

python、html、python-3.x、beautifulsoup

我正在尝试抓取一个随机的站点，并从一个页面中获取具有特定类的所有文本。'] page = requests.get(source) print(title) 从我

浏览 13提问于2021-05-11得票数 0

回答已采纳

2回答

使用Python Selenium引用iframe中的mytubeid

python、html、selenium、iframe、scrapy

mytubeid标记(如<iframe src="/portal/corporateEventsCalendarIframe.html" mytubeid="mytube1" width="820" height="1600" frameborder="0"/>)在iframe中做什么？请注意，iframe中没有id或其本身！如何在代码中引用它？

浏览 5提问于2017-03-07得票数 0

回答已采纳

1回答

如何在Symfony的Twig模板中查找非I18N字符串

php、symfony、internationalization、translation

如何以编程方式确定模板中的字符串不会被翻译？我指的是消息没有包含在{% trans %}或trans()中的情况。如下所示：实际上，我的应用程序中有大量的模板，我需要知道哪条消息和哪个模板中我可能遗漏了一个trans。

浏览 1提问于2017-05-31得票数 3

1回答

如何在python中将特定字符编码为HTML

python、html

我正在用Python中的BeautifulSoup4抓取维基百科。(我需要使用已废弃的HTML输入它)。问题是，一些字符，如en-破折号，不是在适当的HTML，即编码的HTML，这导致符号出现。我该怎么解决这个问题。在Python中</e

浏览 0提问于2016-11-04得票数 0

回答已采纳

1回答

在python中没有正确编码的scrapy数据

django、scrapy

我正在使用scrapy通过python进行web爬行。在抓取时，我有一些字符没有正确编码，如'\xa0'，'\x0259‘。有什么帮助吗?我该如何在python中处理它们？

浏览 2提问于2013-07-18得票数 0

2回答

在使用python的selenium中使用xpath获取innerHTML

python、selenium、xpath、css-selectors、webdriverwait

我正在尝试学习web抓取，尽管我检查了文档中的示例和堆栈中的一些问题，但我无法使我的代码工作。使用Firefox： /html/body/div[1]/div/main/div[3]/div/div&

浏览 7提问于2020-05-19得票数 0

1回答

在Python* web抓取中不会对某些类进行抓取*

python、web-scraping、web-crawler

我是个初学者，刚开始用Python学习web抓取。我试图用BS来计算这只股票的价格。在网页中，股票价格的标签和类别分别是em，"curPrice up“。code=052400")current_price = html.select("em.curPrice up")

浏览 2提问于2018-09-12得票数 0

1回答

在MongoDB中保留文本格式

javascript、reactjs、mongodb、web-scraping、puppeteer

我正在用puppeteer进行网页抓取，但我得到的description有不同的文本格式，如h1、项目符号等。我使用$("#JobDescriptionContainer").html();抓取文本，然后将其保存在MongoDB上，但当我将其放到我的JS/React应用程序中时，文本没有格式化(所有内容都在一个普通字符串中如何在我的网站上以原始格式(如我抓取的网站上所示)显示抓取的文本？我想： ?

浏览 20提问于2021-06-25得票数 0

回答已采纳

1回答

在python中使用scrapy抓取需要向下滚动的数据

python-3.x、web-scraping、scrapy

我有一个scraping项目，我用python和scrapy拼凑在一起。现在，我遇到了某些数据，这些数据只在用户向下滚动时才加载到页面上。我如何在我的抓取蜘蛛中模拟这一点？

浏览 0提问于2021-01-11得票数 0

1回答

在爬行时忽略图像

python、scrapy、web-crawler

如何在抓取过程中忽略图像，以加快爬行速度？我如何使刮除忽略某些标记和完全忽略html属性？

浏览 4提问于2022-08-06得票数 0

回答已采纳

1回答

django模型对象属性是在哪里定义的，是如何定义的？

python、django

我一直在阅读django.db.models.base.py源代码，但仍然可以理解模型对象中的Model.objects属性是如何定义的。有人知道django是如何将对象属性添加到Model对象中的吗？提前感谢

浏览 1提问于2009-07-20得票数 2

回答已采纳

1回答

在Node中读取和编辑HTML文件的DOM

jquery、html、node.js、dom、jsdom

在节点脚本中，我希望遍历一个HTML文件，可能会编辑某些标记的内容，然后将其保存到文件中。我可以使用jquery和jsdom抓取和编辑标签，但我必须弄清楚如何在进行这些更改后将某些内容保存到文件中。

浏览 1提问于2014-10-14得票数 1

1回答

如何在python* web抓取中从html获取类*

python、web-scraping

嘿，我正在尝试用python做一个btc价格检查器，我已经写了大部分，但是在这个网站上有一个指向图像的html，它是一个向上箭头或向下箭头，这是html代码。<span class="icon-Caret-down"></span>if class == str("icon-Caret-down"): print("NegativePercentage: -" + percentage&qu

浏览 9提问于2021-06-05得票数 0

回答已采纳

2回答

在Windows下每5分钟运行一次python脚本

python

我有一个简单的python脚本，从html页面抓取一些数据，并将结果写出到一个csv文件。如何在Windows下自动执行抓取，即每五分钟启动一次。谢谢彼得

浏览 0提问于2015-01-29得票数 3

回答已采纳

2回答

BeautifulSoup findAll()没有显示每个标记

python、html、web-scraping、beautifulsoup

我试着在9gag.com/hot上用网络抓取每一张图片，用于教育目的，我正在学习python和网络抓取。.' % url) res.raise_for_status()find = soup.findAll("img") 这是我正在处理的html文件：我在理解

浏览 10提问于2019-07-11得票数 0

回答已采纳

2回答

滚动您自己的web爬虫来抓取一个有多个条目的特定网站。

php、web-crawler

这个想法是抓取一个有多个条目的特定网站，就像一个RSS提要，但是他们不提供该站点的RSS提要.

浏览 0提问于2011-08-02得票数 0

回答已采纳

1回答

Python urlopen连接已中止- urlopen错误[错误号10053]

python、proxy、mechanize、web-scraping、errno

我有一些代码，使用机械化和美丽汤的网页抓取一些数据。代码在测试机器上运行良好，但生产机器阻塞了连接。我试图抓取的网站是HTTPS，但我也有同样的错误发生在HTTP网站上。我使用的是python 2.6和mechanize 0.2.4。br.set_proxies({}) #will use system default proxy

浏览 1提问于2011-03-10得票数 6

回答已采纳

3回答

如何在python* flask中获取html属性，如html元素的类*

python、html、forms、class、flask

我希望在routes.py文件中获得突出显示的信用卡类型图像的类名。{% extends 'layout.html' %}<form class="form" method="post" action="{{ url_for('="{{ url_for('static', filename='jquery.payform.min.js') }}">&

浏览 0提问于2019-12-29得票数 0

1回答

如何使用Python报纸从存储的HTML中提取

python、python-2.7、web-scraping、python-newspaper

我已经在本地驱动器上抓取并存储了页面HTML。我现在需要提取信息，如内容，标题，图片等。使用Python报纸(版本0.1.2)和Python (版本2.7.10)。我在网上找不到任何与此相关的东西。

浏览 0提问于2017-04-07得票数 0

2回答

在Python中使用Beautifulsoup时如何排除不需要的标签

python、python-3.x、beautifulsoup、python-requests

我正在用美人汤在indeed.com上练习蟒蛇抓取。在使用div类companyLocation提取'job location‘时，我想要的是获取紧跟在'div class=“companyLocation’之后的位置字符串。(在下面的html中，“美国”) 但在某些情况下，有额外的'a aria-label‘或'span’子句，其中包含不需要的字符串，如"+1 location“等。我想不出怎么摆脱这些东西。<div class

浏览 75提问于2021-09-26得票数 1

点击加载更多