网络抓取帮助

文章/答案/技术大牛

发布

2回答

python、pandas、web-scraping、beautifulsoup

420, in raise_with_traceback ValueError: No tables found 任何帮助都将不胜感激

浏览 44提问于2019-10-11得票数 1

回答已采纳

1回答

等待网站改变一些东西

web、web-testing

我是一名学生，在学校的网站上，我想做的是，我想要忙着等待某个网址，并检查我想注册的班级是否开放。我想知道是否有一种方法可以不断地在网站上检查(忙着等或不忙)，看看课程是否开着。有一个表Rem，其中它显示了用户界面中剩余的位置数。

浏览 2提问于2016-11-02得票数 0

回答已采纳

1回答

我需要帮助网络抓取评论部分

web-scraping

任何帮助都将不胜感激。这是我似乎不能做的评论部分。奇怪的是，我让它工作了，但后来它停止了，我似乎不能再得到抓取的评论。我正在抓取的网站是：dislikes = []comments = [] driver_path = '/Users/niallmcnulty/Desktop

浏览 11提问于2020-02-11得票数 0

1回答

在python中浏览/解析html页面

python、html、parsing、browser、web-scraping

为了与html页面进行交互，我试图把一些我需要的插件集合在一起。我需要的范围从简单的浏览和与按钮或网页链接(如“在这个文本框中写一些文本并按这个按钮”)进行交互，到解析html页面和向服务器发送自定义get/post消息。我正在使用Python3，到目前为止，我有Request用于简单的网页加载、自定义get和post消息，BeautifulSoup用于解析HTML树，我正在考虑尝试机械化来进行简单的网页交互。

浏览 3提问于2014-04-17得票数 1

回答已采纳

1回答

GSA爬行与内容馈送哪种方法更好

google-search-appliance

我用内容抓取GSA已经有一段时间了，总是看到搜索结果的问题，预期的结果永远不会出现，或者发现错误的地方，这可能是由于错误的配置或其他原因。然而，它一直在发挥作用。

浏览 5提问于2015-05-02得票数 1

1回答

Socialblade如何索引YouTube通道并提取它们所需的数据？

youtube、indexing

我想知道网站，如何索引YouTube频道，并提取他们的日常视图，以便他们可以输入到他们的网站上。我该如何去做/创建类似的东西呢？

浏览 0提问于2014-10-27得票数 1

1回答

使用python进行Web抓取并在网站上生成价格

python、html、web-scraping、web-crawler

所以基本上我正在做一个涉及网络抓取的学校项目。我知道如何使用python和整合web抓取，但是如何将抓取的数据放到网站上呢？如果它有帮助，我正在制作一个网站，从其他网站拉动价格，并在我的展示它。(像Trivago)我在网上找不到太多，所以任何帮助都是很好的。

浏览 11提问于2018-01-31得票数 1

回答已采纳

2回答

如何强制scrapy抓取重复的网址？

python、web-crawler、scrapy

我正在学习，一个网络爬行框架。如何让Scrapy抓取重复的urls或已经抓取的urls？我试着在网上找，但找不到相关的帮助。我从找到了DUPEFILTER_CLASS = RFPDupeFilter和SgmlLinkExtractor，但这个问题与我正在寻找的相反

浏览 1提问于2014-04-17得票数 25

回答已采纳

1回答

如何知道你是否被屏蔽从一个网站的网页刮刮？

python、web-scraping

我在一个网站上使用了这个漂亮的汤代码：funda = "https://www.funda.nl/koop/amsterdam/"print(response) ht

浏览 6提问于2019-11-01得票数 0

回答已采纳

1回答

从多个页面提取数据

html、screen-scraping、extraction

我发现了一些我想提取的数据()但是我需要抓取1080个页面，有谁知道从多个页面中抓取<table>元素的方法吗？

浏览 1提问于2013-07-18得票数 0

2回答

用BeautifulSoup抓取，但首先要输入值吗？

python、web-scraping、beautifulsoup、python-requests

我是网络抓取的新手，对requests和BeautifulSoup也不是很熟悉。这有可能吗？任何帮助都将不胜感激！

浏览 4提问于2020-09-08得票数 0

1回答

Web爬行/Web抓取

python、web-scraping、web-crawler

我正在尝试学习如何抓取/抓取网络，需要一些帮助。我目前正在从以下网站上抓取网页：。然而，我有困难的网络刮这个网站上的价格，评级和覆盖网址。有人能帮我吗？下面列出了我尝试使用的代码。

浏览 17提问于2020-03-06得票数 0

1回答

如何从网站抓取数据并将其附加到excel电子表格中

python、excel、web、web-crawler

转到主搜索页面并抓取所有RealEstateID，这些RealEstateID将直接带我到每个房屋的各个页面，在那里我可以提取我需要的信息。

浏览 17提问于2019-05-07得票数 0

1回答

如何使用点击内容按钮刮页？

r、web-scraping、screen-scraping

我可以复制这个页面中的每一个主题，但是当我尝试在展开按钮上使用“隐藏内容”时，这是行不通的。另一个问题是:如果我能在我的data.frame之后复制它，就会变成一个错误，因为这行将是另一条信息。library(dplyr) url_number <- 2 - i url1 <- paste0('https://www.qconcursos.com/qu

浏览 4提问于2022-04-04得票数 1

2回答

在R中使用xpath刮取数据表

r、xpath、web-scraping

我对R相当熟悉，但有0的网络抓取经验。我环顾四周，似乎不明白为什么我的网络抓取是“失败的”。下面是我的代码，包括我想要抓取的URL (ngs-数据表是特定的)：webpage <- read_html("https://nextgenstats.nfl.com/我知道我最终需要更多的代码才能更具体地用于网络抓取，但我想即使是上面的代码至少也能为我指明正确的方向？任何帮助都将不

浏览 2提问于2020-11-28得票数 1

回答已采纳

1回答

用Python中的Scrapy抓取数据

python、web-crawler

我想帮助我的朋友分析社交网络上的帖子(Facebook，Twitter，Linkdin等等)。以及一些网络博客和网站。我有几个问题，并试图将它们分类：当涉及到抓取数据时，我的想法是通过API在社交媒体上抓取数据，对于通过RSS或站点爬行使用的站点来说。

浏览 0提问于2015-04-04得票数 1

1回答

静默打开页面执行操作

c#、c++

如何让程序静默地连接到网页，并静默地执行某些操作？

浏览 22提问于2016-09-28得票数 0

3回答

Web抓取、数据挖掘、数据提取

html、parsing、screen-scraping、data-mining

我的任务是创建一个网络抓取软件，我甚至不知道从哪里开始。任何帮助都将不胜感激，即使只是告诉我这些数据是如何组织的，或者网站使用的是什么“类型”的数据布局也会有所帮助，因为我可以用谷歌搜索那个词。即使这是不可能的，我仍然需要证明做这样的网络抓取是不可能的。我没有得到任何API的任何后端，并不知道他们的网站如何接收数据。总体而言，任何帮助都将不胜感激，即使这只是一些简单的搜索条件，让我在正确的方向。我目前在网络抓取/数据挖掘方面

浏览 0提问于2013-10-26得票数 1

1回答