抓取需要触发javascript的外部网站

文章/答案/技术大牛

发布

1回答

javascript、node.js、selenium-webdriver、heroku、web-scraping

例如，chrome-webdriver不是一个好的解决方案，因为它不能在heroku这样的远程主机上运行。那么，有没有可能抓取一个需要javascript先被触发的外部网站呢？

浏览 3提问于2018-08-18得票数 0

1回答

为什么我的Crawler会得到错误的HTML代码？

java、web-crawler

实际上，用jsoup库实现的爬虫代码可以工作，因为我的请求的结果是一些HTML代码，但是当我搜索一个明确写在网站上的单词时，没有找到它，因为一些div的来自于空的爬虫。然后我意识到，当您导航到网站并右键单击‘查看页面源’时，我得到了与相同的代码。当我将代码与进行比较时，右键单击“->”检查“”时，代码与“查看页面源”中的不同。我能做些什么来获得包含全部内容的HTML代码吗？请求网址：

浏览 0提问于2019-09-12得票数 1

回答已采纳

2回答

从html页面抓取视频和图像

javascript、jquery

我正在做一个用JavaScript编写的小书签，用来从超文本标记语言页面抓取图片和视频。我很容易地抓取了所有的图像，比如，现在我想从Youtube，Vimeo，Dailymotion等不同的来源抓取网页中嵌入的所有视频，所以有人能给出一些关于如何用一些示例JavaScript代码来实现这一点的想法吗？注意:我只需要从外部</em

浏览 1提问于2013-07-19得票数 2

3回答

在window.onload上运行两个函数(一个在外部文件中，一个在内联Javascript中)

javascript、javascript-events

我正在开发一个网站，并且我有一个外部JavaScript文件，该文件链接到该网站的每个页面，该页面在触发window.onload事件时执行。在不包含任何内联JavaScript的所有页面上，JavaScript都可以正常运行。任何包含内联JavaScript的页面都包含一个JavaScript函数，该函数在触发window.onload事件时执行。我遇到

浏览 0提问于2012-09-14得票数 1

回答已采纳

2回答

使用javascript导入外部页面

javascript、greasemonkey、web-crawler

但是我想抓取的网站是外部的，我不能用javascript访问它们，有没有人有其他赋值语言或javascript的解决方案。我想过在加载新站点时使用greasemonkey抓取页面。

浏览 1提问于2012-03-06得票数 0

1回答

使用JavaScript获取站点的HTML、CSS和JavaScript

javascript

我见过很多关于用Jquery + node.js + YQL抓取html的问题。它没有提到从网页中获取css和javascript。有没有办法在不使用服务器端技术的情况下获得外部网站的html、css和javascript？ *我需要这在代码中发生，这样我就可以在webapp应用程序中使用结果。

浏览 1提问于2013-02-12得票数 1

2回答

google电子表格中插入新行时的触发器脚本

google-apps-script、google-sheets、zapier、triggers、gs-installable-triggers

我正在谷歌电子表格上运行一个脚本，它应该由Zapier (www.zapier.com)中的zap触发(当在电子表格中插入新行时) onChange()事件。我可以在电子表格中看到正在创建的新信息，但触发器并未被触发。我已经使用onEdit()事件进行了测试，但它不起作用。它不应该是基于时间的触发器。有什么建议吗？

浏览 1提问于2015-03-14得票数 7

1回答

为什么BeautifulSoup无法从页面源代码中抓取完整的脚本？

python、web-scraping、beautifulsoup

我正在尝试解析来自以下网站的页面。然而，抓取的结果脚本与我在Chrome上查看页面源代码时观察到的脚本并不相同。clientprint(soup.prettify()) 生成的脚本也要短得多你知道为什么我不能根据页面来源刮掉完整的脚本吗？我读过一些帖子，其中提到，由于页面由使用java

浏览 3提问于2020-07-23得票数 0

1回答

在不是<form>标签的表单上使用ruby机制？

html、ruby-on-rails、ruby、mechanize

因此，我试图在web上搜索一个站点，它有一个表单--几个专门用于搜索的输入，如s和文本输入--它不在标签内。然而，我无法找到一种机械的方式来抓取不是形式的按钮、选择等等。有办法吗？

浏览 2提问于2021-09-28得票数 0

回答已采纳

1回答

如何使用Crawljax运行JavaScript代码

web-crawler

我想让我的网站可以被谷歌的搜索索引器抓取。如何才能做到这一点？

浏览 1提问于2012-02-06得票数 2

4回答

通过网络抓取提取JavaScript变量值

php、javascript、jquery、ajax、web-scraping

对于一个公司项目，我需要用PHP和JavaScript (包括jQuery)创建一个web抓取应用程序，它将从我们客户的网站的每个页面提取特定的数据。抓取应用程序需要为每个页面获取两种类型的数据: 1)确定是否存在具有特定ID的某些HTML元素，以及2)提取特定JavaScript变量的值。JS变量名在每个页面上是相同的，但值通常是不同的

浏览 4提问于2011-05-10得票数 6

回答已采纳

2回答

如何运行我的js函数后，点击一个按钮添加dom已重新加载

javascript、ajax、web-crawler

我想使用js抓取一个网站，但网站使用ajax来分页内容。最初，您只能爬行第一页内容。你必须点击一个按钮(下一页)，网站使用ajax来更新网页内容。谢谢。

浏览 0提问于2013-05-31得票数 0

回答已采纳

1回答

将数据从网站导入到没有表格/列表的Google Sheets上

web-scraping、google-sheets、google-sheets-formula、google-sheets-importxml

根据我的理解，我可能需要JSON或类似的东西，但我不太确定。我希望在我的电子表格上看到价格列表，该列表应该在网站更新时更新。

浏览 1提问于2019-04-27得票数 0

1回答

Chrome扩展JavaScript* -从外部网站抓取内容*

javascript、google-chrome、dom、google-chrome-extension

我想从网站的表中获取一些值，以便在我的扩展中使用。不过，这个外部站点主要是从JavaScript生成的，例如，它可以动态创建HTML表。我该怎么做呢？

浏览 6提问于2018-01-02得票数 0

1回答

为什么我的网站描述和标题没有显示在谷歌上？

wordpress、seo、web-hosting、yoast

当我在谷歌上搜索我的网站时，它会显示域名描述和标题。为什么我自己的标题描述和域名没有显示？ 📷

浏览 0提问于2021-01-26得票数 0

1回答

如何检测用户是否登录到特定网站？

attacks、phishing

Tabnabbing是一种计算机攻击和网络钓鱼攻击，它通过冒充这些网站并说服用户相信该网站是真实的，从而说服用户向流行网站提交登录详细信息和密码。...的开发利用脚本重写一个普通感兴趣的网页，模仿一个著名的网站，当没有人关注了一段时间。例如，您将如何继续从另一个站点检测登录在Facebook中的信息？

浏览 0提问于2014-07-03得票数 3

1回答

是否有可能“劫持”和延迟文档就绪事件处理程序？

javascript、jquery、iframe

我正在嵌入一个iframe，这是一个简单的网站，其中包含一些Javascript。JS有一些$(document).ready处理程序。问题是，当iframe的load事件触发时，它们就会触发，这是在我设置src属性之后发生的&所有资源都已加载。但是，在此之前，我还需要做一些工作--即为主body标记编译一个工具栏模板。所以，理想情况下，我想：加载资源后，呈现模板并设置body标记<

浏览 4提问于2014-05-25得票数 1

回答已采纳

4回答

C# AJAX或Java response HTML抓取

在C#中有没有一种方法可以获得AJAX或Java的输出？我试图做的是获取网页上项目的细节，但是网页不会将其加载到原始源中。有没有人有好的教程或者好的起点？例如，我想从获取所有的汽车列表

浏览 1提问于2011-06-06得票数 1

回答已采纳

1回答

为循环抓取未找到所有索引范围

python、scrapy

我完成了教程部分的构建和刮除的报价，Scrapy提供。我现在正在尝试做一个真正的网站。网络刮刀器正在抓取我发送给它的信息，但它并没有像我想的那样被列在列表上。当我在列表中索引时，刮伤外壳是不稳定的。当我使用外壳并传递它时它返回实际网站上的第四项。这是我的完整密码

浏览 2提问于2020-02-05得票数 0

1回答

我正在尝试抓取网站的，以便使用这些信息来建立一个时间表。问题是该站点总是检测到过时的浏览器(显示)。<div class=noscript>We\'re sorry but AniChart requires Javascript.<br>Please enable Javascript or <a href=http://outdatedbrowser.com>upgrade to a modern web b

浏览 5提问于2019-02-18得票数 0

点击加载更多