如何让抓取网页的速度更快？Django项目

文章/答案/技术大牛

发布

1回答

python、django、performance、web-scraping、beautifulsoup

我正在使用Django框架构建一个web抓取应用程序。我需要一些关于如何加速我的应用程序的技巧。到目前为止，仅仅解析3个urls就需要几乎一分钟的时间来加载页面，这是一个问题。我需要运行得更快，因为我想在我的网页上解析多达10个urls。如你所见，我的代码只针对一个div，这就是我的应用程序运行如此缓慢的原因。我想我可以尝试多个div来缩小我的“汤”的</

浏览 11提问于2021-07-08得票数 0

2回答

如何让网页抓取速度更快？

python、web-scraping、beautifulsoup

代码工作正常，问题是我有一个包含10000首音乐的DataFrame (名为years_1920_2020)，检索所有这些歌词花了1:30小时。有没有更快的方法？final_lyric_series, lyrics_serie]) print(year) 函数lyrics_from_year( year )使用函数url_lyric，执行一些re任务并返回包含所选年份的所有歌词的

浏览 43提问于2021-11-22得票数 0

回答已采纳

1回答

如何让django项目点击url的特定标签

python、python-3.x

我正在开发一个使用python和Django的网页抓取代码。我已经提供了所需的url，并且已经获取了数据。但是在url上有一个标签，上面写着“显示更多结果”。如何让我Django项目点击url上的“显示更多结果”选项卡并立即获取新的结果。我已经使用Beautiful Soup库来进行web抓取/

浏览 16提问于2021-04-15得票数 0

1回答

JSON数据转换客户端或服务器端

json、user-interface、web、server、data-conversion

我正在进行一个项目，在这个项目中，服务器将发送一种json响应格式。假设我有x页，对于每个页面，我需要转换json以适应UI需求。

浏览 29提问于2022-04-22得票数 0

3回答

如何让响应式网页渲染速度更快？

javascript、html、css、responsive-design

现在，每次尝试呈现页面时，我都会首先计算$(window).width()，然后为根html元素添加相应的类，该类将最终确定页面中一些主要响应元素的块宽度。但这种方法伴随着一个问题。它将首先使用初始默认宽度呈现页面，然后在添加类之后，它将调整元素宽度，这将创建非平滑的视觉效果。所以我想知道是否有一种方法可以更高效更快地实现这个响应式页面？

浏览 6提问于2014-01-30得票数 0

4回答

Selenium Webdriver的替代方案

javascript、selenium、webdriver

我使用C#和Python的Selenium Webdriver从网站获取数据元素，但web抓取的速度非常慢。抓取35000个数据表花了我大约1.5天的时间。有没有一些库可以不需要像Webdriver这样的东西来在网页上执行Javascript来检索元素，并且能够点击元素？或者有没有比硒更快的替代品？

浏览 5提问于2015-04-16得票数 13

1回答

木偶操纵者多个浏览器或页面

puppeteer、headless-browser

我正在尝试用木偶抓取大约50个页面，现在我正在一个浏览器，一个页面上一个接一个地抓取。为了让速度更快，我应该使用更多的页面还是浏览器？

浏览 17提问于2020-12-31得票数 0

1回答

优化Django:批量获取模型信息？

django、optimization

在Django视图中，我正在做这样的事情..for alist in lists:if alist.model2.model3.id == target_id:速度慢的原因是在if语句中从模型(数据库行)转到模型。当列表中只有大约486个条目时，这实际上需要近一秒钟的时间来运行。我认为这很慢，因为正在执行486*2+1数据库查找。如果我在哪里重写它，让它

浏览 0提问于2009-08-02得票数 0

回答已采纳

1回答

有比SQlite数据库更有效的查询HTML数据的方法吗？

database、django、sqlite、database-design、document-oriented-db

也许我的问题会结束，因为它不够“有建设性”，但无论如何.我已经找过答案了，但大多数都太笼统了。对于我的硕士论文项目，我必须抓取大量(即数千)网页，并将它们全部存储在数据库中。这是必要的，因为我必须用不同的方法来分析它们，尝试几种机器学习算法，并以不同的方式解析它们。目前，我正为此使用一个SQlite数据库，并将Django作为首选的web框架。我已经将单个网页的整

浏览 2提问于2012-09-20得票数 2

4回答

c# .net 4.5异步/多线程？

c#、multithreading、.net-4.5

我正在编写一个从网页抓取数据的C#控制台应用程序。我现在让它在没有异步方法和多线程的情况下工作。但是，我需要更快的速度。它只使用了3%-6%的CPU，我想是因为它花费了等待下载网页的时间。//merge each table in dataForO

浏览 0提问于2012-07-25得票数 28

回答已采纳

1回答

Googlebot对一个巨大的站点来说太慢了

google-search-console、googlebot、web-crawlers

根据我的网站地图，我有一个140 k页的新网站。在我向谷歌提交了我的站点地图索引之后，Googlebot在几个小时前就开始以稳定的速度爬行该网站，但速度太慢了:大约每分钟一个请求。在这样的速度，它将需要100天的网站被索引！有什么办法提高这一比率吗？为什么所有的Google文档都说他们不建议改变爬行率，而改变爬行率只会使爬行变慢呢？

浏览 0提问于2013-04-26得票数 3

回答已采纳

1回答

在Django中更快地填充表的方法

html、django、python-2.7

我在Django中使用for循环来填充表，如下所示。> </tr>{% endblock %} 这里的"然而，大多数时候我有很大的列表，通常包含一万到十万个项目。这大大减慢了响应速度。对于包含200,000个项目的列表，打开网页<

浏览 0提问于2016-10-12得票数 1

2回答

数据抓取:网页不存在，除非我通过主网站加载它

python、web-scraping、beautifulsoup、screen-scraping

我正在尝试使用BeautifulSoup从多个网页中抓取数据。每个网页都有相同的格式，结尾有一个代码来唯一地标识它们，例如。www.sample_000.com。但是，如果我转到主网站并选择适当的输入值来打开www.sample_123.com，它就会加载得很好。更新:在抓取每个

浏览 0提问于2019-10-11得票数 0

回答已采纳

1回答

如何让我的Django应用程序在真正的服务器上？

django

我从网页开发开始，上周我只是写了一个HMTL，JavaScript和PHP脚本，并在我的网页上得到了一些非常基本的工作，我使用Cyberduck让我的文件在我的网页上工作。这周我想使用Django来更快地开发，我已经在本地让我的网页工作了，但我还没有找到一个教程来让我的Django应用程序在我的</em

浏览 2提问于2019-02-07得票数 2

3回答

simple_html_dom可加快检索速度

php、simple-html-dom

我正试着用simple_html_dom做一些网页抓取。但我只需要span元素的内部文本。我必须为此加载整个页面吗？它花费了很多时间，因为我在循环中运行它。有什么其他方法可以更快地做到这一点？这就是我现在所做的-foreach($html->find('span') as $element) { unset($html); br

浏览 1提问于2013-07-18得票数 1

2回答

在安卓系统中有没有WebViews的替代品？

android、webview、crosswalk

我正在构建一个安卓应用程序，我使用传统的WebViews来加载网页。我想知道是否有WebViews的替代品，可以让网页加载更快。如果没有其他选择，有没有办法让WebViews变得更快？否决票必须伴随理性。

浏览 6提问于2018-07-06得票数 2

1回答

如何使用grequest检索html

python、asynchronous、web-scraping、python-requests、grequests

当我在做一些关于python web抓取的研究时，我了解到一个名为grequest的包，据说它可以发送并行的HTTP请求，从而比普通的python请求模块获得更快的速度。好吧，这听起来很棒，但是我无法获得我所请求的网页的超文本标记语言，因为没有像普通请求模块那样的.text方法。如果我得到一些帮助，那就太好了！

浏览 11提问于2020-04-28得票数 0

1回答

如何使用.htaccess更快地加载asp.net网页

asp.net、vb.net、visual-studio-2008、.htaccess

如何使用.htaccess更快地加载asp.net网页.. ..i在...ixwebhosting上托管我的网站时，.htaccess的代码是什么，这样网页加载速度会更快。。。

浏览 1提问于2011-03-21得票数 0

1回答

用烧瓶和刮水器进行交互式刮擦

python、flask、web-scraping、scrapy

我正在使用烧瓶和抓取刮从网站的结果。在这里，烧瓶网页是能够获取输入URL被刮，然后开始爬行。在此之前，一切都很好。现在，我想让这个Flask网页以HTML标签(它包含一些要被抓取的项目的信息)作为输入，并且基于输入标签的结果应该被抓取。简单地说，用户可以决定哪些项目应该报废，即项目应该被选择dynamically.Provide我有一些想法，我如何传递这些标签来设

浏览 1提问于2015-08-18得票数 0

回答已采纳

2回答

有没有SIMILE溶剂的替代品？

firefox-addon、screen-scraping、simile

麻省理工学院的开发了一系列用于在浏览器中抓取屏幕的工具，即、和。这些项目现在似乎已经失效；自2008年以来，该网站几乎没有维基更新。Firefox扩展不再适用于最新版本的Firefox (3.6)。甚至连的档案似乎也消失了。有没有类似的东西可用，或者我是否应该考虑是否可以修改SIMILE代码库的相关部分以与当代Firefox一起工作？

浏览 2提问于2011-03-15得票数 2

点击加载更多