如何在抓取网页时提高效率？

文章/答案/技术大牛

发布

1回答

javascript、node.js、web-scraping

我有一个节点脚本，它经常抓取网站列表中的信息。我想尝试提高脚本的效率；然而，nodejs a是单线程运行时。但在幕后，nodejs是多线程的，允许异步代码。有没有办法利用这一点来提高效率？示例代码不包括用于抓取数据或检查数据的逻辑，因为它是不相关的。result return scrapePages(); scrapePages(); 对于质疑抓取范围的个人

浏览 21提问于2019-05-31得票数 0

1回答

嵌入电子邮件的Facepile

facebook、email、facepile

有兴趣了解如何从facebook嵌入数据，如"facepile“到生成的服务器端的电子邮件。只有在添加到网页时才能找到文档。意识到电子邮件不能使用javascript抓取电子邮件中的实时数据，而是有兴趣抓取"facepile“的时间快照并将其添加到电子邮件中。

浏览 3提问于2012-08-24得票数 0

2回答

有没有一种简单的方法可以让Mechanize获得一个网页的所有组件？

ruby、mechanize

然而，当我在一个完整的网络浏览器(如Chrome/Firefox)中导航到一个网页时，浏览器会读取Stackoverflow.com页面，并对相关的CSS、图像、JavaScript等进行后续的GET请求我可以想象解析Mechanize返回的初始HTML并识别任何CSS、图像等，然后发出后续请求，但是有没有一种更简单的方法让Mechanize自动抓取所有或指定的组，也许只抓取网页相关组件的图像？

浏览 1提问于2013-05-03得票数 0

1回答

托管在GAE上的应用程序能否到达我pc上的本地tomcat

rest、google-app-engine、tomcat

我在Google App Engine上部署了一个应用程序，在我的本地机器上托管了另一个tomcat应用程序。

浏览 0提问于2016-02-12得票数 0

2回答

如何在抓取网页时处理未知编码？

python、google-app-engine、unicode

我正在使用GAE和Python从不同的站点抓取新闻文章。我一次抓取一篇文章url的代码会导致以下错误： UnicodeDecodeError: 'ascii' codec can't decode byte 0xe2 in position 8858: ordinal

浏览 5提问于2013-08-15得票数 2

回答已采纳

2回答

正在尝试下载电影列表

我正在尝试从这个网站下载一个电影片名，日期和长度的列表，我有的代码是： StringBuilder sb = new StringBuilder(); byte[] buf = new byte[8192]; HttpWebRequest request = (HttpWebRequest)

浏览 1提问于2010-11-09得票数 0

回答已采纳

1回答

如何在抓取网页时修复奇怪的符号

c#、encoding

基本上，我是从一个网站中提取信息，特别是一个页面上到处都是希伯来语的网站。正确地掌握希伯来语对程序来说非常重要，但我得到的不是希伯来语字符，而是奇怪的带口音的英语字符。using (WebClient client = new WebClient()) string htmlCode = client.DownloadString("https://www.pealim.com/dict/

浏览 1提问于2019-08-28得票数 0

1回答

在MongoDB中保留文本格式

javascript、reactjs、mongodb、web-scraping、puppeteer

我正在用puppeteer进行网页抓取，但我得到的description有不同的文本格式，如h1、项目符号等。我使用$("#JobDescriptionContainer").html();抓取文本，然后将其保存在MongoDB上，但当我将其放到我的JS/React应用程序中时，文本没有格式化(所有内容都在一个普通字符串中如何在我的网站上以原始格式(如我抓取的网站上所示)显示抓取的文本？我想： ? 但我有： ?

浏览 20提问于2021-06-25得票数 0

回答已采纳

2回答

如何在抓取网页时\n从输出中剥离？

python、web-scraping、scrapy、splash-screen、scrapy-splash

我正在抓取一个网页，当我得到结果时，一切看起来都很好，除了我的卡名列外，因为我在卡名之前得到了一个\n。我如何防止它被输出？

浏览 11提问于2019-06-06得票数 0

回答已采纳

1回答

需要关于是否在LANSA中使用引导程序的建议

html、css、twitter-bootstrap、ibm-midrange、lansa

我在一个项目中工作，我们正在使用LANSA，AXES和RAMP工具将AS400应用程序现代化成web，这通常会对AS400屏幕进行屏幕抓取，并将其转换为HTML页面。我想知道使用LANSA设计网页时，是否推荐使用外部CSS，如bootstrap？

浏览 1提问于2015-01-04得票数 0

1回答

Oauth:如何从移动页面访问Native App？

php、mobile、oauth

现在，为了方便用户使用，当通过移动设备访问我们的网页时，我们希望使用本地移动应用程序，如Facebook、Twitter、Linkedin或Google帐户，而不是打开新的浏览器选项卡以使用他们的首选帐户登录如果是这样，我们如何在他们的设备上引用/重定向到他们的Native Mobile App，而不是Oauth的web url？

浏览 1提问于2012-11-14得票数 0

2回答

Aptana Studio 3需要我git，为什么？我能做什么?

php、eclipse、git、aptana、aptana3

我按照本教程向添加代码片段在我看来，下面的错误消息是：需要git来克隆这个包。请先安装Git .这到底意味着什么？我能做些什么来解决这个问题？

浏览 5提问于2014-01-16得票数 0

2回答

获取URL时出现Jsoup crawler和HTTP错误

java、http、web-crawler、jsoup、http-status-code-404

这是我用来抓取的方法：{ { Document htmlDocument = Jsoup.connect

浏览 0提问于2018-04-02得票数 1

2回答

为什么要从Google App Engines导入urlfetch？

python、google-app-engine、import、urlfetch

我得到了这段代码，它可以帮助通过网址获取任何网页的代码：url = "http://www.google.com/"if result.status_code == 200:我不明白这里的一件事(事实上，在许多事情中)为什么在这段代码中建议从google.appengine.api导入urlfecth？Python没有自己的命令吗？

浏览 1提问于2009-12-12得票数 8

回答已采纳

1回答

在python中没有正确编码的scrapy数据

django、scrapy

在抓取时，我有一些字符没有正确编码，如'\xa0'，'\x0259‘。有什么帮助吗?我该如何在python中处理它们？

浏览 2提问于2013-07-18得票数 0

4回答

有没有一个python模块可以抓取图片、标题和任何链接的描述？

python、django、beautifulsoup、web-scraping

我正在寻找的东西，应该会给我类似这样的->

浏览 0提问于2011-07-05得票数 1

回答已采纳

2回答

Node.JS:如何抓取json页面中的特定数据

json、node.js、web-scraping、module

我想要抓取这个页面：用于特定数据，如formattedDate和description。我很难理解Node.JS中的过程，我该如何在Node.JS的模块中实现这个过程呢？

浏览 1提问于2018-08-10得票数 1

1回答

如何在用html-agility-pack抓取网页时隐藏自己

asp.net、web-scraping、html-agility-pack

我用c#尝试了html-agility-pack，它在抓取html.Here方面做得很好，我需要在抓取时浏览一些页面。现在我的问题是，我如何才能隐藏我自己的网络摩天大楼？

浏览 1提问于2014-04-12得票数 1

3回答

多个相同字符之间的SED RegEx

regex、bash、sed

我如何在所有这些标签和符号之间抓取下面的标题文本？我需要抓取的东西：示例源代码：我试过这样做，但它甚至在pre tag之前抓取了整个顶部，但bellow part似乎工作得很好，除了它还抓取= symbol

浏览 0提问于2012-10-11得票数 2

回答已采纳

1回答

如何在使用“美丽汤”抓取网页时找到具体的模式？

python、beautifulsoup、web-crawler

我试图从网站获得twitteres的用户名，我运行以下代码，但我的结果没有打印任何(没有错误信息)，有什么问题吗？from bs4 import BeautifulSoup headers = {'User-Agent': 'Mozilla/5.0'}soup = BeautifulSoup(page.content, 'html.parser') soup.findall

浏览 1提问于2018-10-01得票数 0

回答已采纳

点击加载更多