我的问题是，我想爬一个非常现代的，动态的网页。我注意到，有些元素不仅仅是动态加载的，它们只在窗口处于焦点(前景)时才被加载！
如何检查web驱动程序窗口“焦点”所在的Selenium？
浏览 7提问于2022-02-21得票数 1
我想爬这个网站：使用Apache。该网页动态加载ajax内容。如果我用默认配置爬行它，Nutch只会带来头和页脚，动态加载的内容就会丢失。我用的是Nutch 1.14。
浏览 0提问于2018-06-08得票数 0
回答已采纳
我正在寻找一种方法来搜索站点(或顶级页面列表)，并确定是否实际需要包含在相关页面上的JS文件，或者哪些页面确实需要特定的JS文件。
30k+文件在网页目录中，Google索引域<
浏览 4提问于2013-12-10得票数 4
1回答
google爬虫的爬行策略
、、、、
我想知道一些大型搜索引擎的重新爬网策略是如何工作的。例如，让我们考虑一下谷歌。我们知道google正在使用动态间隔来重新抓取每个网站。因此，这100000个网站的抓取过程应该在10分钟内完成。可能有两种可能的情况：
1)谷歌机器人将获取每个这些网站的第一页，然后在此页面中生成URL列表。如果它是新的，它将获取新的页面。此过程将一直持续到爬网或特定深度阈值结束。2) google b
浏览 1提问于2014-06-02得票数 0
我有这个网站，我们可以创造新的问题。每当一个新的问题被创建，一个新的url生成，我希望谷歌爬我的网站，每次添加一个新的问题，并显示在谷歌。由于我使用的是javascript，而且我的urls都是动态生成
浏览 3提问于2021-12-28得票数 6
2回答
我使用下一个js生成动态网页，并对js做出反应。我生成一些关于用户的网页，当用户数据被更改时，我想从它得到静态的HTML网页。我是如何在下一个js中完成这个过程的，对于这个任务，有外部的或内置的库吗？
我在整个项目中使用、响应js、下一步js和钩子。
浏览 2提问于2020-03-13得票数 0
1回答
网页由CGI程序生成。大多数网页的URL都包含诸如?id=2323&title=foo之类的表达式。然而，我面临的一个问题是，这个网站有一个日历。也会生成一些类似日期的网页。这意味着纳奇将试图抓取一些无害的网页，如year=2030&month=12。如
浏览 1提问于2012-01-27得票数 0
回答已采纳
1回答
我是NodeJS的新手，使用Javascript和PHP已经有一段时间了。可以在服务器端使用NodeJS获取元素或编辑元素吗？或者这是不可能的？
浏览 0提问于2020-02-04得票数 0
回答已采纳
是否可以跟踪是否有人链接到我的网站上的数据？具体地说，如果我的数据在由开发人员程序动态生成的站点中使用？我想知道是否有人明目张胆地将我网站的数据冒充自己的数据。但是，如果有人将我的内容链接(或直接逐字添加或操纵)到他们的网站上，有没有办法跟踪它？
我能不能避免有人能够抓取我的网站，或者是所有的东西都可以被抓住吗？
浏览 1提问于2013-03-20得票数 0
回答已采纳
1回答
我的网站在mozila上工作正常，但当我们转到IE 8时，它在状态栏上显示错误User Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows
浏览 0提问于2011-04-04得票数 0
1回答
我想抓取一个网站，这是必要的访问，以查看网页。我可以爬客网页，但如何抓取登录保护网页？如果有人共享一些步骤来配置或跳过身份验证机制来使用storm爬虫爬行页面，那将是非常棒的。
先谢谢你。
浏览 5提问于2021-04-12得票数 0
回答已采纳
如何复制在任意网页的文本框中生成的动态文本？我没有任何访问代码或api的相关网页。final_span">hello</span> <span class="interim" id="interim_span"></span>使用chrome工具，我可以看到网页中显示<e
浏览 2提问于2014-12-12得票数 0
回答已采纳
此外，网站的构建也是正确的:当我下载工件时，所有的资源都在public目录中。 然而，当我查看generated website时，index.html正在加载，但所有资源都没有加载(404代码)。
浏览 19提问于2020-01-26得票数 0
2回答
modal" data-target="#contentModal" title="Some content">View Content</a></pre>
我这样做是为了UX，这样用户就不需要离开他们所在的页面来查看内容然而，我确实希望Google索引实际的内容页面，这不是模式版本。实际内容的URL是"/ content /23797"，它显示在站点的常规完整页面中。你知道如
浏览 1提问于2015-05-01得票数 1
我们已经在为我们的网页创建动态HighCharts --它们有几个javascript依赖项和一个图表生成脚本。我们如何才能做到这一点，而不需要为同一个图表维护两个独立的代码库？我还不太熟悉Node，所以我不确定通过web请求请求脚本是如何工作的。我猜很多想要在服务器端生成一些图表作为图像的HighCharts用户在管理两个相关的代码集时会遇到类似的问题……Webse
浏览 2提问于2013-03-19得票数 1
回答已采纳
1回答
我有一个angularjs模块，用于一些常见的组件、服务等，以及它们各自的文件夹，比如root/ component /、root/ services /等等。当我在浏览器中点击url "root/component/“时，我得到了一个网页，上面有该位置的所有子文件夹和文件。html网页是如何呈现的？如何修改这样的默认网页？附注:在基于节点
浏览 0提问于2019-07-10得票数 1
我试图从一个特定的网页元素中获取文本，该元素位于HTML标记下面。网页UI显示文本为"A-1"，但HTML代码中没有文本，因为开发人员使用用户从"A-1到Z-99“选择的值的动态显示。2)将打开“新建”对话框，用户应该能够通过单击任意值( A-1到Z-99之间)选择从"A-1“到"Z-99”的值。3)单击对话框中的“保存”按钮。对话框将关闭。4)输入字段应设置为用户选择的值"
浏览 1提问于2016-01-25得票数 0
回答已采纳
1回答
谁能解释一下什么是Ejs，我们可以在使用node的同时使用Ejs构建一个完整的前端吗？我一直在寻找它，但我没有找到我想要的答案。？请有人区分一下(angular和react)和Ejs等前端框架。
浏览 103提问于2020-10-01得票数 6
回答已采纳
1回答
角通用展开
、、、
如果有人能澄清主机服务器是否有必要支持node.js才能让角环球工作，我将不胜感激。我需要上传dist中的浏览器和服务器文件夹到主机。如果是，关于主办提供这种支助的机构有何建议？其次，除了node.js之外，还有其他方法可以使服务器端呈现工作吗？
浏览 3提问于2020-07-16得票数 3
回答已采纳
我正在尝试从一个表中提取数据到Google工作表中，从这个网页：http://www.moneycontrol.com/stocks/fno/marketstats/futures/gainers/homebody.php这是运行这两个查询时出现的错误消息：=IMPORTHTML(“http://www.moneycontrol.com/stocks/fno/
浏览 0提问于2018-04-02得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
