网页css js抓取工具 - 腾讯云开发者社区

文章/答案/技术大牛

发布

2回答

浏览器中的Html与Python中请求的Html不同

python、html、python-3.x、python-requests

PapaGordsmack/", headers=headers)print(html_contents) 我试图从特定用户的sky.lea.moe网站上抓取网页

浏览 20提问于2020-02-09得票数 0

2回答

使用javascript分页进行抓取

web-scraping

我试图抓取一个多页的网站，分页是用javascript完成的。该网页如下：我正在尝试用R进行抓取，但我对其他编程语言或程序(在Chrome、Python、Puppeteer、Phantomjs

浏览 1提问于2020-06-04得票数 0

1回答

考虑这个链接：https://www.reddit.com/r/todayilearned/comments/6x6iz8/til_princess_diana_on_live_tv_shook_the_hand_of/?ref=share&ref_source=linkhttp://www.bbc.com/news/av/magazine-39490507/how-princess-diana-changed-attitudes-to-aids

浏览 0提问于2017-09-01得票数 1

2回答

无法读取所有HTML (Web抓取)

python、html、url、web-scraping、beautifulsoup

我试图使用BeautifulSoup和requests库从一个以超文本标记语言表示的表中抓取数据，但我无法获得所有的超文本标记语言代码。我的代码如下。为了简洁起见，我没有包含输出。

浏览 4提问于2020-10-16得票数 0

2回答

是否需要为每个目标站点编写抓取器？

python、html、web-scraping、beautifulsoup、html-parsing

我使用Python语言和BeautifulSoup来抓取存储。我想知道比价网站是如何从所有在线商店中抓取数据的？他们对不同的在线商店有不同的代码，还是有通用的代码？他们会研究每个在线商店的HTML模式吗？

浏览 40提问于2014-12-28得票数 7

回答已采纳

3回答

寻找一个应用程序，将下载HTML和所有资源

javascript、html、css、macos

是否存在这样的应用程序，将从网页下载所有的HTML与CSS，图片，JS等。谢谢你的建议！

浏览 0提问于2011-09-15得票数 2

1回答

从命令行执行HTML Javascript

javascript、jquery、html、web-scraping

我有许多网页，我正在尝试解析使用curl获得的信息。当文档加载到浏览器中(使用document.ready函数)时，每个页面都使用JQuery来转换其内容-主要设置div的类/ids。

浏览 4提问于2012-05-20得票数 3

回答已采纳

1回答

使用CSS选择器和Python对表中的多行单元格进行and抓取

python、css、web-scraping

因此，我在网页上抓取一个页面()，其中表中有多行单元格：我使用下面的代码来抓取每一列(下面的一列恰好刮掉了名称)：from lxml.cssselect importmarathon/results/burton2016.htm')tree = lxml.html.fromstring(r.text) # construct a CSS我在webscraping工具Kimono上尝试过类似

浏览 5提问于2016-08-24得票数 2

回答已采纳

1回答

如何在android中压缩pdf页面

android、pdf、page-curl

我搜索更多，但没有得到适当的代码实现在我的项目，我想卷曲每页的PDF文件，就像普通的书，但无法做到，在我的代码时，我点击按钮PDF文件加载从sdCard。if (file.exists()) {Intent intent = new Intent(Intent.ACTION_VIEW);intent.setFla

浏览 2提问于2015-03-04得票数 1

回答已采纳

1回答

网络爬虫:使用Perl的MozRepl模块处理Javascript

javascript、perl、firefox

我试图通过使用网络爬虫来保存几个网页。通常，我更喜欢使用perl的WWW::Mechanize模块。然而，据我所知，我想爬的站点上有很多javascripts，似乎很难避免。因此，我想要生成的代码应该访问一些公司的HTML站点，只需保存网页即可。

浏览 2提问于2011-10-14得票数 4

回答已采纳

1回答

Chrome新选项卡页以美化和检查代码

gratis、chrome、offline、code-beautification、validation

我正在寻找一个Chrome扩展，以取代新的标签页，允许我粘贴一些代码(在JavaScript，CSS或HTML)，并得到一个美化的输出，如果适用的任何错误。自由离线工作美化代码(即格式化) 如果适用的话，以任何可能的格式显示代码中的错误(我不在乎)

浏览 0提问于2015-01-25得票数 3

回答已采纳

1回答

显示来自外部网站的特定数据

php、jquery、ajax、dom

假设这是外部网站：headercontent1footermy titlemy bannerexternal content2我只想获得html代码，这样我就可以为外部content2制作自己的样式表我试过使用phps file_get_html()

浏览 2提问于2013-09-04得票数 1

1回答

最近谷歌搜索控制台报告了一些放大器错误，当我没有申请amp在我的网站上的所有！

google-search-console、search、amp

最近谷歌搜索控制台报告了放大器错误。在我的网站上根本没有应用放大器。那件事怎么可能？请查看下面的截图： 📷

浏览 0提问于2018-12-24得票数 2

3回答

用Python对基于Javascript的网页进行屏幕抓取

python、screen-scraping、beautifulsoup、web-scraping

我正在用Python开发一个屏幕抓取工具。但是，当我浏览网页的源代码时，我注意到大多数数据都是通过Javascript获得的。谢谢

浏览 4提问于2011-11-18得票数 4

回答已采纳

2回答

NUTCH可以用来从电子商务网站获取数据吗？

database、web-scraping、nutch、web-crawler

我想从网站上获取数据。我想要易趣上不同商品的价格。我想把这些产品和它们的价格放在我的数据库里。纳奇在这里会有帮助吗？如果不是的话，我更喜欢哪种刮刀/爬行？

浏览 5提问于2014-06-17得票数 0

回答已采纳

1回答

刮不更改URL的网页

r、web-scraping

我可以使用URL和css选择器工具做非常基本的抓取页面的工作，现在我遇到了问题。我读过几个类似的问题，建议查看网页，在“网络”下查找，然后“XHR”或“JS”查找表的数据源并从中获取信息。我能做到这一点，但老实说，我不知道从那里该怎么做。我想检索关于日期和地址之间可用时隙的数据(“Omr de”下拉到网页上)。祝您今天愉快!

浏览 7提问于2022-01-10得票数 0

1回答