论坛标题网页抓取器

文章/答案/技术大牛

发布

1回答

javascript、jquery、node.js、web-scraping、cheerio

我正在写一个简单的网络抓取器，从论坛上拉出帖子标题，用户名和最后一次帖子时间。问题是，刮取器只拉取表中的最后一个条目。

浏览 16提问于2016-08-27得票数 2

回答已采纳

2回答

我使用wordpress 3.4.1创建了我的网站，并尝试在facebook中分享我的网页。我在facebook的帖子中没有得到任何缩略图或基本的博客描述。相反，我得到的是“没有标题”。我知道这个问题在wordpress论坛上已经被问过很多次了。但是，他们中的大多数都在走向死胡同。有人能在这方面帮助我吗？附言:我尝试使用facebook调试器()，我得到了以下信息分析URL时出错:分析输入URL时出错，未抓取任何数据。

浏览 1提问于2012-08-16得票数 1

回答已采纳

3回答

将特殊的HTML字符转换回其原始字符串

php、html、htmlspecialchars

我正在构建一个小型解析器，它可以抓取网页并记录数据。要记录的事情之一是论坛的帖子标题。我使用XML解析器来查看DOM并获取此信息，并将其存储为：$title = $page->find('a[rel=bookmark]', 0

浏览 3提问于2012-08-22得票数 1

回答已采纳

1回答

如何使用Scrapy自动获取请求头？

web-scraping、scrapy

我们知道，在浏览器中，可以查看->网络-> XHR -> Headers和get Request Header。然后可以将这些标头添加到Scrapy请求中。KHTML, like Gecko) Chrome/81.0.4044.129 S afari/537.36'], b'Accept-Encoding': [b'gzip,deflate']} 我们在浏览器中看到了更多的请求头信息

浏览 50提问于2021-05-21得票数 0

回答已采纳

1回答

我需要一个更好的方法来找到要用在漂亮汤中的标签

python、python-3.x、python-2.7、beautifulsoup

这是我的代码，它将www.nytimes.com的标题保存在.txt文件中。else: f.write(i.contents[0].strip()) 在代码中，这一行： for i in soup.find_all('p'): 这是为了发现所有的标题都不起作用它只需要几个第一个标题，而不是所有。有没有更好的方法来写这一行，而不是去网站，然后检查，然后找到包含我需要的内容的标签。

浏览 13提问于2021-01-23得票数 0

3回答

搜索引擎机器人和搜索引擎优化开放论坛

seo、search-engines、search-engine-indexing、forum、web-crawlers

几年前，我们建立了一个专门讨论我们产品的论坛，它位于一个子目录(maindomain.com/ forum )的同一个网站上。在某种程度上，我们发现Google网站管理员工具建议我们解决我们网站上的一些问题，其中大部分都是论坛主题页面。例如，由于我们使用的论坛引擎，我们在论坛页面上出现了许多“重复标题”错误。因此，问题是:我们是否应该躲过搜索引擎机器人的论坛，以避免这些错误(在他们的“眼中”)，从而提高我们的排名？它是好的，在所有开放论坛，如我们的索引，以拥有

浏览 0提问于2013-08-29得票数 0

1回答

Google页面标题与html <title>标记不匹配

seo、google、google-search-console、html、title

当我在谷歌上搜索这本书时，它的标签是，而不是<title>标签中的标题。知道我怎样才能更新Google搜索中的标题吗？谢谢!

浏览 0提问于2020-08-24得票数 1

回答已采纳

1回答

我怎样才能让我的刮板网站-设计-更改容错？

ruby、web-crawler、scraper

我已经用ruby写了一个网页抓取器。但是我正在抓取的网站已经改变了它们的design.Thus，我的刮板正在失效。有没有一种聪明而简单的解决方案来解决这种固有的刮刀问题？poster_information") puts doc.css(".comment_block")在上面的示例代码片段中，我在上面提到的网站上抓取海报信息，发布日期和一个网页的css选择器的帮助下

浏览 1提问于2012-07-14得票数 3

回答已采纳

1回答

快速准确地抓取网页标题

html-parsing、irc

我希望获得网页的标题，这是许多IRC机器人的一个共同功能，我想将其合并到我正在编写的IRC客户端中，以此为乐。我目前使用的方法基本上是连接并发送整个网页的GET请求，然后查找标签并读取它们之间的内容。对于更大的网页，这可能比我希望的要慢。我注意到的另一个问题是，具有动态标题的网页(例如一些phpbb论坛)不会像在浏览器中那样返回准确的标题，因为我不执行任何javascript等操作。似乎获得准确标题的一种方法是将ht

浏览 3提问于2011-02-20得票数 1

回答已采纳

1回答

如何在google中获取非品牌搜索查询的站点链接？

search-results、sitelinks

我已经注意到，当在google上搜索“服务+位置”时(还没有在桌面上)，一些结果会得到站点链接，尽管搜索查询不是专门针对它们的。你怎么能在网站上买到这些？如果您搜索一个品牌，而不是搜索“服务+位置”查询，我就会将它们视为站点链接。 📷

浏览 0提问于2017-09-07得票数 2

1回答

将网页数据发送到只能从网页上运行的JavaScript

javascript、jquery、node.js、google-chrome、google-chrome-extension

我正在做一个铬的扩展，注入JavaScript到一个特定的论坛网站。当您在论坛上查看个人资料时，JavaScript使用jQuery向网页添加一个按钮。每个配置文件页面上都有一个链接，可以显示论坛上所有该配置文件的帖子。jQuery添加的按钮(通过chrome扩展)应该使用已经在每个配置文件页面上的“显示最后的帖子”链接来浏览配置文件的最后一篇文章，并找到实际上是新主题的帖子，而不仅仅是对论坛上其他主题的回复。问题是，我用来抓取网页的Node.js代码不能在网页

浏览 3提问于2014-09-29得票数 0

6回答

用scrapy抓取多个域名的最好方法是什么？

python、screen-scraping、scrapy

我有大约10多个网站，我希望从中抓取。其中有几个是wordpress博客，它们遵循相同的html结构，尽管具有不同的类。其他的要么是论坛，要么是其他格式的博客。我喜欢抓取的信息很常见--帖子内容、时间戳、作者、标题和评论。我的问题是，我必须为每个域创建一个单独的爬行器吗？如果没有，我如何创建一个通用的爬行器，允许我通过从配置文件或类似文件中加载选项来进行抓取？我想我可以从一个文件中加载xpath表达式，这个文件的位置可以通过命令行加载，但是当抓取某些

浏览 3提问于2011-03-31得票数 6

2回答

用于多个网页的单个标题

javascript、php、html、seo、web-crawler

我想使用一个标题在我的项目目录中的所有网页的网站。但我有点困惑。如果我保持单个标题并导入所有网页，那么它会影响SEO吗？爬虫能为每一页抓取那些标题吗？我想要的方式，不影响我的网站搜索引擎优化。

浏览 4提问于2014-10-13得票数 0

回答已采纳

1回答

用BeautifulSoup - HTML不同格式从CSS类链接中提取标题

python、beautifulsoup

我刚开始使用BeautifulSoup进行网络抓取，并遇到了以下问题:我试图从论坛上抓取帖子，我想提取帖子的标签。我试着用汤的“标题”给我“。如何提取“高级物理”？

浏览 5提问于2021-06-08得票数 0

回答已采纳

1回答

Facebook Feed (使用PHP的RSS)

php、rss

谁能告诉我，当我在Facebook状态更新表单中输入一个链接，它加载了网站的迷你信息(我猜是它的RSS或其他东西)时，会发生什么？我如何在我的网站上使用PHP实现这一点？

浏览 1提问于2010-11-02得票数 0

回答已采纳

2回答

BeautifulSoup不返回页面标题

python、python-3.x、web-scraping、python-requests

我试着用Beautifulsoup4 python模块通过web抓取来获取网页的标题，它返回了一个字符串“无法接受！”作为标题，但是当我通过浏览器打开网页时，标题是不同的。我试着循环浏览链接列表和所有网页的标题，但是它返回的字符串是“不能接受的！”所有的链接。(URL)tag = doc.title print(tag

浏览 18提问于2022-03-01得票数 0

回答已采纳

2回答

构建一个简单的链接预览器/ linter

php、ajax

我希望能够从给定的URL抓取网页的标题，就像Facebook和最近的Google plus有一个链接预览器一样，但更简单。关于如何做到这一点，有什么提示/提示吗？

浏览 2提问于2011-07-09得票数 1

回答已采纳

2回答

使用selenium和python抓取数据时遇到问题

python、python-3.x、selenium

我正在尝试使用selenium从网页中抓取一些数据。我已经成功地让selenium在树莓派上无头工作，我可以连接到我试图抓取的网页，返回页面的标题，并返回我连接到的URL。我一直在看教程中关于如何抓取数据的示例，它们都是这样的：然而，我试图抓取的网页中的每一块数据都有相同的类名。举一

浏览 5提问于2021-03-16得票数 0

1回答

验证来自cURL的完整响应

php、curl、web-scraping

有时，当使用多个并发连接和抓取我的PHP脚本中的cURL时，会返回不完整的网页。curl_getinfo()中有没有一些值可以让我知道一个网页是100%被抓取还是只有90%被抓取？返回页面的内容大小标题是返回内容的实际大小，还是整个页面的大小？如果是这样，我可以根据响应的实际大小检查content-size。谢谢!

浏览 0提问于2013-04-12得票数 0

回答已采纳

1回答

YQL抓取:跟随链接向下一级？

web-scraping、yql

YQl有没有一种好的方法来抓取网页，同时也可以通过该网页的链接来获取更多的详细信息？如果YQL能够做到这一点，有人能提供一些例子吗？如果不是，有没有人能推荐一个好的替代方案？

浏览 0提问于2013-03-14得票数 0

点击加载更多