C#爬虫程序无法加载动态内容

文章/答案/技术大牛

发布

1回答

c#、request、web-crawler、abot

爬虫可以正确地请求页面，但问题是几乎所有内容都是通过knockout.js动态加载的。爬虫程序目前无法请求此内容，这导致只加载了页面的一小部分。我试着让程序等待，希望动态的请求无论如何都会被发送，但这似乎不起作用。如何才能使crawler请求所有数据？谢谢!

浏览 12提问于2019-07-09得票数 0

1回答

对于动态参数的前端路由，像动态seo这样的情况，prerender.io能帮上忙吗？

ruby-on-rails、seo、frontend、googlebot、prerender

详细问题可在此链接中找到- 现在，在这种情况下，为不同的categoryId做搜索引擎优化似乎是不可能的，因为谷歌机器人不会在爬行时等待我的服务器响应。

浏览 1提问于2016-04-29得票数 0

1回答

在同构React上处理SEO

express、reactjs、seo、react-router、isomorphic-javascript

我正在使用React & Node JS来构建通用应用程序()。我也使用反应头盔作为库来处理页面标题，元，描述等，但我有一些问题，当我使用ajax动态加载内容时，谷歌爬虫无法正确获取我的网站，因为内容将被动态加载。有什么建议来解决这个问题吗？谢谢!

浏览 1提问于2016-09-26得票数 0

3回答

我有一个页面，通过AJAX动态加载一节内容。我担心这意味着内容不会被搜索引擎找到。为了向你展示我的意思，网站在，动态内容在 -通常没有人会访问第二个链接，它只是加载到第一个页面中。我知道我可以通过使用sitemap.xml告诉爬虫程序读取speakers.php，但然后我会在搜索结果中显示指向speakers.php的链接。我猜最终的解决方案是，如果有人请求/speakers.php，它会将他们重定向到主页，而让爬

浏览 3提问于2008-10-22得票数 1

回答已采纳

2回答

为什么Google不索引我的AJAX获取的内容？

ajax、reactjs

该页面有一些静态组件，例如导航条和页脚，它在获取数据之前显示一个加载程序，但奇怪的是，当我提交url作为Google进行抓取时，它显示的是一个完全空白的页面。对我来说，这似乎很奇怪，因为我预期如果Google不等待我的AJAX调用的返回，它至少应该向我展示作为Google结果的Fetch中的导航条、脚注和加载程序。

浏览 5提问于2017-08-29得票数 0

回答已采纳

1回答

具有标签的动态url的社交共享

javascript、facebook、metadata、share、hashtag

我正在构建一个客户端插件，它的功能非常类似于第三方应用程序中的图像/文章图库。当在图库中点击一篇文章/图片时，页面的url标签会被修改，这样每一张图片/文章都会有一个绝对的url。在尝试为每一张图片添加Facebook分享/点赞按钮时，我遇到了以下问题- Facebook (或Twitter)将抓取原始页面并获取父页面的元数据，但不会获取正在共享/点赞的图片/文章的实际内容。据我所知，没有通过API的动态方式来告诉FB在提要上放置哪些内容。但是，对于此项目，提要

浏览 0提问于2016-03-26得票数 0

4回答

如何通过爬虫php获取悬停数据(Ajax)

php、hover、web-crawler、simple-html-dom

我能够在一个页面上显示完整的内容。但页面上的一些数据是在一些图标上悬停并显示为工具提示后出现的。所以我也需要这些数据。有没有可能用任何爬虫。我使用PHP和来解析/抓取页面。

浏览 3提问于2012-03-30得票数 3

回答已采纳

3回答

Google crawl ajax /动态生成的内容- SEO

ajax、web-crawler、seo、google-crawlers

我有一个电子商务模块，是动态加载/嵌入到第三方网站，没有iframe直接的JSON到web客户端的内容。除了我的javascript文件从它们的页面加载并动态生成内容之外，我根本无法访问这些第三方站点。我知道#！方法，但这在这里不好，我的JS确实在嵌入式平台中生成"urls“，但它们是假的，并且仅用于地址栏，我不相信google爬虫能到达这么远。所以我的问题是，有没有一个元可以设置为指向url之外的地方，即返回到我的服务器上的静态

浏览 0提问于2013-03-02得票数 2

回答已采纳

1回答

动态内容和爬虫

javascript

搜索引擎爬虫会使用Javascript和API调用来索引动态加载的内容吗？或者我必须通过服务器端编程(PHP、ASP等)加载此内容。

浏览 7提问于2012-09-03得票数 1

回答已采纳

2回答

angular2服务器端呈现:动态内容

angular、seo、google-crawlers、angular-universal

但是，对于应用程序启动时动态加载的内容，这是如何工作的呢？爬虫会在索引页面之前等待那些挂起的请求吗？还是我必须指定我的Angular2应用程序的特定状态，它告诉服务器我的应用程序已经准备好发送到客户机(在本例中是爬虫)？

浏览 5提问于2017-02-07得票数 1

回答已采纳

1回答

使用javascript对SEO友好的条件加载

javascript、mobile、conditional、loading、seo

使用Javascript加载桌面或大屏幕HTML 不过，我在这里有个问题。据我所知，我将使用javascript加载的HTML内容不会被搜索引擎读取？谁能告诉我，是否可以做SEO友好的条件加载使用Javascript？或者，我是否需要查看服务器端语言即PHP/ASP来使用设备检测加载内容？

浏览 6提问于2012-10-18得票数 4

回答已采纳

3回答

爬虫如何确保最大的覆盖率？

search、search-engine、web-crawler

根据他们的说法，网络爬虫只使用其他网页检索到的URL，并通过树(实际上是网格) 在这种情况下，爬虫如何确保最大的覆盖率。显然，可能有很多网站没有来自其他页面/网站的推荐链接。(我们无法预测结果。如果我们选择100个没有引用链接的站点，引擎将只显示100个站点+它们的内部页面)

浏览 9提问于2009-06-04得票数 4

回答已采纳

2回答

元标记不应该使用JS动态更改吗？

javascript、html、meta-tags

如果我想要更改数据，我可以使用JS来完成，而无需重新加载页面。百事大吉。但是，现在，我了解到元标签不能使用js更改，应该让它重新加载/刷新page...is，这是正确的吗？

浏览 14提问于2019-08-18得票数 2

5回答

C#中的网页爬行

c#、web-crawler

我通常使用HTML Agility Pack和C#来解析网站内容。其中之一如下所示：如果您搜索*(所有图书)，它将返回许多图书列表，每页以10本图书为分页。我发现典型的网络爬虫在这个网站上失败了。我还尝试编写自己的爬虫程序，它将遍历页面上的所有链接，并生成post/get变量以动态生成结果。该网站依靠javascript生成内容，并使用GET和POST变量提交的混合模式。

浏览 1提问于2010-12-22得票数 3

回答已采纳

1回答

64位进程中的AnyCPU C# DLL无法引用64位C++ DLL(出现错误:无法加载文件或程序集)

c#、c++

当我提供64位C++动态链接库作为对C#项目的引用时，它将生成AnyCPU C#动态链接库。我能够生成C#动态链接库，但是当我启动应用程序时出现错误，类型: System.BadImageFormatException，mscorlib，Version=4.0.0.0，Culture=neutral，PublicKeyToken=xxxxxxxx消息:无法加载文件或程序集'MyDLLName，Versio

浏览 65提问于2018-08-21得票数 0

回答已采纳

4回答

如何延迟google爬行直到页面准备就绪

jquery、seo、google-search

在页面加载之后，我在jQuery.ready(...)上有一个jQuery.ajax({})，然后我使用一些json数据填充内容。我只是想可能会有一个参数，让google知道当他们爬行时，有一个ajax请求填充页面的内容。原因..。SEO我需要一个比拥有please wait...更好的机会

浏览 0提问于2012-03-23得票数 1

回答已采纳

1回答

Google bot ajax索引的当前状态

jquery、ajax、googlebot

我有显示一些列表的链接：页面加载后，jQuery会动态加载内容：});我以Google Bot的形式获取站点，但html没有ajax内

浏览 3提问于2012-02-16得票数 2

2回答

测试我的网站在程序中是如何显示的

python、html、google-app-engine、browser、search-engine

网站不仅可以被浏览器上的用户访问，还可以被程序、机器人和爬虫访问。我有一个运行在上的带有python的网站，它具有由python程序通过组合、合并和循环字符串生成的非静态HTML页面。但是，它们也不是动态页面，因为生成这些页面不需要用户输入。python生成内容完全是为了方便、简洁和易于维护，并且完全由url设置。一些搜索引擎无法对动态页面进行索引。我想知道这些页面是否符合“动态”，即它们是否可以被这类机器人为通常的元数据和内容进行

浏览 5提问于2012-01-09得票数 0

回答已采纳

6回答

如何让搜索爬虫正确地索引无限滚动的页面？

web-crawler、infinite-scroll

我有一个网站，我在上面实现了无限滚动:当用户到达页面的末尾时，就会进行AJAX调用，并将新内容附加到页面的底部。然而，这意味着搜索爬虫无法获得第一个“分页符”之后的所有内容。实际上有几十个这样的项目，但爬虫只能看到前10个项目，因为其他项目是根据内容相对于浏览器窗口的位置加载的。由于爬虫没有浏览器窗口，所以根本不会加载新项目。那么，什么才是正确的方式，让搜索爬虫通过无限滚动访问网页的全部内容，同时又

浏览 0提问于2012-05-28得票数 13

回答已采纳

1回答

带有简单动态内容"listener“的Perl webcrawler

perl、web-crawler

我正在尝试用Perl做一个简单的网络爬虫，但是很多网站都有动态内容加载，例如，使用javascript函数： $("#blabla").load('blublu/bla.php');因此，我正在尝试调整我已经拥有的网络爬虫(获取HTML内容)，以“等待”这些脚本加载，然后才获取整个(和完整)网站内容(HTML)。

浏览 2提问于2013-01-15得票数 2

回答已采纳

点击加载更多