1回答
我正在用asp.net开发一个网络爬虫。
我的网络爬虫有一个主页，它从HREF标签打开其他HTML页面，下载HTML页面并获取数据。
浏览 1提问于2014-01-06得票数 0
2回答
如果您创建了一个新的asp.net mvc网站，Global.asax.cs中的默认路由如下： );
这意味着以下urls都解析为同一个页面
浏览 2提问于2011-07-10得票数 3
假设页面的所有内容都是由javascript拉取的……搜索引擎爬虫能够获取页面内容吗？
我听说爬虫在页面上爬行时并不总是支持javascript或执行javascript。
浏览 1提问于2012-07-30得票数 0
5回答
我需要从网页中抓取一些链接数据，我使用了一个简单的手写PHP爬虫。爬虫通常工作得很好；然后我找到了一个URL，如下所示：此URL在浏览器中键入时工作正常，但我的爬虫程序无法检索此页面
浏览 1提问于2010-02-25得票数 5
回答已采纳
我想添加谷歌AdSense到受保护的页面，但谷歌声称，AdSense爬虫将需要自己的登录来执行正确的爬行。。因此，我为爬虫设置了用户名/密码，将POST参数放入谷歌的设置页面，但随后意识到这在我的登录配置中是行不通的，因为ASP.NET MVC使用AntiForgeryToken来防止跨站点攻击。
浏览 2提问于2015-08-07得票数 1
回答已采纳
使用回发的地方之一是ASP.NET登录状态控件。有什么想法吗？PS:此外，只有在使用Windows2003和IIS5.0，dotnet框架为3.5的实时环境中才会出现错误
会不会是因为我在页面级别上使用了OutputCache？
浏览 4提问于2009-01-26得票数 3
回答已采纳
我们仍然有很多传入的urls指向旧的.asp页面。新的.aspx页面与旧的.asp页面的名称相同，并且接受的值基本相同，因此它们几乎是可互换的。不幸的是，我们仍然会收到对旧.asp页面的POST和get请求。我们在Asp.Net 2.0应用程序中通过在web.config (system.webserver部分)中添加以下内容来处理这些.asp请求： <add结尾，则检查
浏览 1提问于2011-01-05得票数 0
回答已采纳
我正在尝试为网络爬虫写一段python代码。我想检查我要抓取的页面是否是HTML页面，而不是像.pdf/.doc/.docx等那样的页面。我不想用扩展.html来检查它，因为asp、aspx或像这样的页面不会显式地.html扩展，但它们是.html页面。在python中有什么好的方法吗？
浏览 2提问于2013-09-19得票数 3
我使用AdSense站点身份验证，它工作得很好，我可以看到爬虫正在读取页面。每次用户重定向到一个页面时，我都会添加他的ID，因此请求是: X?id=123X?id=1X?id=3…。有没有办法不断更新广告？(<e
浏览 1提问于2009-12-02得票数 0
当我在facebook上分享的时候，我有一些链接预览的问题。
这是要共享的的url这就是共享时的样子。
浏览 2提问于2015-11-07得票数 0
回答已采纳
我有一个ASP.NET网站混合了经典的asp (我们正在努力转换到.NET)，最近我从.NET 1.1升级到.NET 4.0，并切换到IIS7中的集成管道。由于这些更改，ELMAH报告了来自经典asp页面的错误，实际上没有详细信息(以及状态代码404)： at System.Web.CachedPathData.ValidatePath)
at System.Web.HttpApplication.PipelineStepManager
浏览 9提问于2011-07-07得票数 14
我想要的是：2)让我的软件使用WinInet API爬行站点，重用相同的cookie/会话(也就是说，爬虫是“登录”的)
我尝试使用INDY构建自己的登录我相信，例如，WordPress、ASP.Net等使用客户端/AJAX的东西，以及哈希/时间/用户代理代码/检查等，是因为30秒后，我可以从自己的爬虫程序发送完全相同的headers，就像登录时使用的FireFox(将其与基于会话cookie的普通登录进行比较，我自己的
浏览 4提问于2013-02-19得票数 5
2回答
我需要建立一个小的搜索引擎，如谷歌使用ASP.NET MVC3。对于这一个，我还需要建立网络爬虫，其中填充搜索引擎的数据。总而言之，我需要以下内容：请任何人有任何想法或资源或书籍。请与我们分享。
浏览 8提问于2012-11-14得票数 2
我想了解一下Google AdSense是如何工作的，比如我们放在页面上的javascript是如何加载iframe的(它是一个iframe吗?)它检查页面上的单词，然后发送这些单词并返回一些广告。
浏览 2提问于2011-09-22得票数 1
回答已采纳
2回答
永恒的爬行
、、、
但当我开始创建事件浏览器页面(将对公共互联网可见)时，一个想法出现在我的脑海中。
如果爬虫访问此页面，并使用“下一步”和“上一步”按钮来浏览日期，它将永远继续吗？我还非常感兴趣的是，像谷歌爬虫这样的机器人是如何探测到这样的黑洞的，它是如何处理这些黑洞的？
浏览 0提问于2012-11-11得票数 4
回答已采纳
2回答
内容和渲染输出会被Google和其他搜索引擎索引吗？<script>html += '<head>';html += '<title>This Is The Stacked Overflown Network</title>';
html
浏览 0提问于2013-07-13得票数 2
3回答
与爬虫做他们的工作相比，这样做有什么好处呢？
网站地图是一个简单的方式，让网站管理员告知搜索引擎的网页，在他们的网站上，可供爬行。目前，我们的系统还没有动态地提供站点地图，所以我们必须用爬虫创建一个站点地图，这不是一个很好的过程。
浏览 1提问于2009-08-28得票数 0
回答已采纳
因为我也想在经过认证的页面中显示广告，所以我正在设置crawler访问权限，以便为Google爬虫提供用户名和密码。在这个站点中，主页上有一个用户名/密码表单，它提交给autentica.asp，然后重定向到logado.asp。📷📷
我怎么才能解决这个问题？
浏览 0提问于2018-05-11得票数 5
3回答
我有一个网站由一些.asp文件和大量的静态.html组成www.example.old/abc.html至www.exaple.new/xyz.html
如果我在Apache上，我会使用.htaccess，但是我如何在ASP，ASP.NET服务器上做到这一点呢？
浏览 1提问于2010-07-12得票数 3
回答已采纳
1回答
我拥有一个网址缩短服务，我想要检测我收到的请求是否来自网络爬虫。作为对请求的响应，我发送了一个HTTP头302，它将请求者重定向到原始链接。我在想，我可以为响应提供一个看不见的链接，这样机器人也会向我发送对该页面的请求，但普通用户不会。这是基于这样的假设:即使机器人读取报头并进行重定向，它们仍然会扫描页面并向其中找到的链接发送请求。
浏览 1提问于2014-02-08得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
