关于抓取大量JavaScript网站的建议

文章/答案/技术大牛

发布

1回答

javascript、python、selenium-webdriver、web-scraping

我想用2016年纽约马拉松()的参赛者信息做一个数据库。这是一个大量使用javascript的网站，它需要为每个跑步者点击每个“展开结果”来加载他们的信息。正如您所看到的，有超过50,000名跑步者，所以这项任务并不容易。我一直在尝试使用Python-selenium来做到这一点。首先，我点击“显示更多”，直到我得到所有跑步者的列表。然后，我单击每个跑步者的“展开结果”按钮，最后使用BeautifulSoup获得我想要的</

浏览 16提问于2017-08-23得票数 0

回答已采纳

1回答

关于抓取网站内容的建议

java、web、web-crawler、web-scraping、jsoup

我试着抓取一些网站内容，使用和java的组合。将相关详细信息保存到我的数据库中，并每天进行相同的活动。但是，当我使用jsoup(来自Java类)进行解析/get时，只有最初的网站被下载用于解析。这意味着

浏览 1提问于2012-07-02得票数 1

回答已采纳

2回答

Sitemap for SEO - overlay还是单个页面？

html、seo、sitemap

快速问题-我要添加一个网站地图到我设计的网站-只是为了搜索引擎优化的目的。站点地图是否可以出现在jquery覆盖图中(它只是非常小，并且仍然可以在单独的页面中)。或者，最好的做法是将页面作为标准链接保持独立？干杯保罗

浏览 0提问于2012-02-10得票数 1

回答已采纳

1回答

在Chrome中使用Headless模式效率较低？

python、selenium、selenium-webdriver、web-scraping、selenium-chromedriver

我使用selenium +美汤(使用selenium打开包含大量javascript的页面，并使用javascript命令将其转换为BeautifulSoup对象)来从体育网站上抓取数据，但由于某些原因当我使用chromedriver实现无头浏览器时，我几乎不会像让chromedriver打开并运行时那样抓取大量数据。有没有人有类似的问题，或者有什么建议？document.documentElement.outerHTML'

浏览 2提问于2020-05-09得票数 0

3回答

如何重定向特定IP地址

javascript、php、html、web-crawler

我想重定向蜘蛛从访问我的博客。我正在寻找一个解决方案，可以嵌入到网页HTML，以便蜘蛛被重定向离开之前，影响我的页面访问量。比如说javascript，爬虫的IP地址，以及爬虫的引用url，这是可能的吗？

浏览 0提问于2013-12-13得票数 0

2回答

HTTP错误999:请求被拒绝

python、web-scraping、beautifulsoup、linkedin、mechanize

我正在尝试使用BeautifulSoup从LinkedIn中抓取一些网页，但一直收到错误“HTTPerror999:请求被拒绝”。有没有办法避免这个错误。如果你看我的代码，我已经尝试了Mechanize和URLLIB2，这两个都给了我相同的错误。

浏览 6提问于2015-05-17得票数 9

回答已采纳

1回答

爬网站点时的ServerErrorException

import.io

我正在用API对一个网站做一个完整的抓取，我得到了很多：此外，我还收到超时响应和实际的http失败：StatusCode: 504, ReasonPhrase: 'GATEWAY_TIMEOUT' 我正在浏览的网站，我正在爬行

浏览 1提问于2015-05-12得票数 2

1回答

Python从受保护的网站获取数据

python、post、cookies、get、urllib2

我想知道是否有方法从我的银行网站上获取信息，我想检索我的信用卡历史并显示它，并可能每个月将它保存到一个文本文档中。我已经找到了网址分机登录，并从网站获取信息，该网站从浏览器工作，但我一直在使用liburl2“打开”来自Python的网页，我有一种感觉，因为一些曲奇或会话的东西，它不工作。我可以从一个不需要用urllib2登录的网站获得任何我想要的信息，然后保存实际的HTML，稍后再浏览，但是我不能在

浏览 1提问于2012-03-10得票数 2

3回答

如何在外部网站上获取被javascript隐藏的url？

javascript、asp.net

如何在外部网站上获取被javascript隐藏的url？javascript:__doPostBack('ctl00$masterContent$DataPager2$ctl00$ctl00','') javascript:__doPostBack('ctl00$masterContent$DataPager1$ctl00$ctl01

浏览 1提问于2012-08-21得票数 0

1回答

使用漂亮的汤选择css选择器

python、html、css、web-scraping

我正在使用html请求和漂亮的汤(我对此是新手)的网络摩天大楼工作。previewAttribute=32%20Rose%20Pommette)，我正在尝试抓取图像链接，这对于多个网页总是相同的。product-shots.c-image-gallery > div > picture:nth-child(1) > img') 它返回None 或find_all： soup.find_all('img') 但是特定的链接不在列表中

浏览 11提问于2021-04-20得票数 0

1回答

发送一堆http请求的最快方法

http、https、python-requests

因此，我正在构建一个应用程序，需要从一堆网站上抓取大量数据，我想知道最快的方法是什么？我愿意接受所有的建议、所有的编程语言和所有的方法，只要它们至少有任何关于它们的信息。到目前为止，我所能达到的最快速度是在本地主机上生锈的300 is中的1000个请求。

浏览 7提问于2022-01-18得票数 0

1回答

关于大量插入的建议

sql、oracle、sql-insert

我需要创建一个查询，在验证cod_mat.Another 1、2、4、5和6是否存在于tb_profile_cd中时，在tb_profile_mbx表中执行一个插入操作，其中包含tb_profile 的cod_matrix参数，而每个在tb_mbx表中都有自己的ID，而concil具有多个cod_matrix点，即concil代表了tb_profile_cd表的id_cd。还有一点是，正如我前面所说的那样，concil有很多cod_mat。我有大约两万张唱片，每个康奈尔.为了满足我的需要，尝试查阅下面的查

浏览 1提问于2020-05-04得票数 1

回答已采纳

1回答

索引动态加载页

indexing、web-crawler

Google索引动态加载页面吗？index.html几秒钟后index.html谷歌会索引div#dynamic_message吗？谢谢。

浏览 1提问于2011-01-14得票数 1

1回答

在Linkedin上爬行0页

python、scrapy、linkedin

我想在LinkedIn上使用Scrapy，但是我得到了这样的输出：2018-10-23 13:36:40 [scrapy.core.engine] INFO: Spider closed (finished)import scrapy

浏览 0提问于2018-10-23得票数 0

5回答

使用Web crawler进行价格比较

java、web-crawler

我需要一个开源的基于java的web crwaler，我可以扩展它的价格比较？我怎么比较价格呢？有没有开源的代码呢？

浏览 1提问于2010-02-16得票数 6

1回答

为什么BeautifulSoup无法从页面源代码中抓取完整的脚本？

python、web-scraping、beautifulsoup

我正在尝试解析来自以下网站的页面。然而，抓取的结果脚本与我在Chrome上查看页面源代码时观察到的脚本并不相同。clientprint(soup.prettify()) 生成的脚本也要短得多你知道为什么我不能根据页面来源刮掉完整的脚本吗？我读过一些帖子，其中提到，由于页面由使用java

浏览 3提问于2020-07-23得票数 0

2回答

从第三方网站检索和抓取大量数据

php、mysql

OI希望从第三方网站检索和抓取大量有关用户的数据。一旦该用户登录，我就会从第三方网站获取他们的数据，并将其抓取。如何才能最有效地防止服务器上的大量负载，并确保页面加载不会太慢？你们有没有其他的建议给我？我使用的是PHP和Mysql。

浏览 0提问于2011-08-21得票数 0

1回答

Jaunt scraper能够抓取这个javascript站点吗？

java、web-scraping

我以前从来没有做过网络抓取，实际上就在3个小时前，我用谷歌搜索了网络抓取这个词，看看它是什么意思……这就是我在这个问题上的能力水平，但我有一个任务是从这个网站"betstars.uk“上搜集一些不同足球比赛的数字，从我所看到的来看，它是一个javascript网站(是吗?)这使得本已困难的任务对我来说更加困难，那么JAVA的JAVA可以完成这项工作吗?或者我需要其他东西？我之所以这样问，是因为为了避免花一个

浏览 0提问于2016-09-13得票数 1

1回答

数据被&nbsp；隐藏，并在使用Beautiful Soup抓取网页时重新生成类

web-scraping、beautifulsoup、hidden-field

我试图从一个网站获取定价数据，但每次页面加载时，t类都会重新生成一个不同的字母序列，并且价格显示为 而不是数字。有没有什么技术可以让我以某种方式绕过它？谢谢!下面是我检查元素时显示的html行： <div class="qFwqmC hkVukg2 njGalW"> </div> 您的帮助将不胜感激

浏览 1提问于2018-04-07得票数 0

1回答

如何使浏览任务自动化？

php、python、perl、curl、selenium

我需要创建一个网站，这样做(有点更简单的界面)，考虑到网站正在使用Servlets，我没有访问网站代码。起初，我尝试了CURL，但是由于页面中有一些Ajax元素，curl无法显示该内容。问题不在于我的链接是Javascript的执行，它们是从Javascript开始的:而且我认为我不能用机械化来调用函数。有人知道这个任务是否可行吗？

浏览 0提问于2012-07-17得票数 1

回答已采纳

点击加载更多