腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
如何使用
asp
.net mvc3和c#构建网络
爬虫
?
、
、
、
、
我需要建立一个小的搜索引擎,如谷歌使用
ASP
.NET MVC3。对于这一个,我还需要建立网络
爬虫
,其中填充搜索引擎的数据。总而言之,我需要以下内容:请任何人有任何想法或资源或书籍。请与我们分享。
浏览 8
提问于2012-11-14
得票数 2
1
回答
中继器不显示数据。
、
、
VendorMaster.master" AutoEventWireup="true" CodeFile="PastOrders.aspx.cs" Inherits="PastOrders" %> </
asp
:Content> <
asp
浏览 3
提问于2015-02-15
得票数 0
回答已采纳
1
回答
Web Crawler -找不到对象
、
、
、
我正在用
asp
.net开发一个网络
爬虫
。 我的网络
爬虫
有一个主页,它从HREF标签打开其他HTML页面,下载HTML页面并获取数据。
浏览 1
提问于2014-01-06
得票数 0
2
回答
如何通过
asp
.net下载html页面
就像网络
爬虫
一样,但在
Asp
.net中并被..an
asp
.net网页调用? 谢谢!
浏览 3
提问于2011-01-04
得票数 1
回答已采纳
2
回答
如何在
Asp
.net MVC中检测
爬虫
、
、
我不想让网络
爬虫
得到div消息,所以我实现了HttpBrowserCapabilitiesBase.Crawler,它看起来对谷歌有效,但必应和其他
爬虫
似乎没有注册为
爬虫
。奇怪的是,微软的产品没有注意到Bing作为一个
爬虫
!谢谢!编辑:我正在使用
asp
.net MVC3,看起来我需要使用.Browser文件(?)。有没有人知道为Bing和其他
爬虫
提供了一套全面的.Browser文件?
浏览 0
提问于2011-09-28
得票数 4
回答已采纳
1
回答
asp
.net站点的PHP
爬虫
、
我想写一个
爬虫
来获取数据。来自使用javascript进行分页的
asp
.net站点
浏览 0
提问于2010-10-31
得票数 0
回答已采纳
5
回答
URL中的^符号是什么意思?
、
、
我需要从网页中抓取一些链接数据,我使用了一个简单的手写PHP
爬虫
。
爬虫
通常工作得很好;然后我找到了一个URL,如下所示:此URL在浏览器中键入时工作正常,但我的
爬虫
程序无法检索此页面
浏览 1
提问于2010-02-25
得票数 5
回答已采纳
1
回答
如何使用
ASP
核心运行
爬虫
、服务交互和生命周期问题
、
、
我用
ASP
Core3.1应用程序开发了一个网络
爬虫
。其根本原因是,尽管应用程序作为一个整体被设计为一个API (用于启动
爬虫
、停止它、获取一些爬行数据),但这些服务在后台运行的时间比API请求甚至会话长得多。我知道Singleton模式会导致问题,但是我没有更好的方法来运行这个
爬虫
。我应该期待哪些问题,是否有更合适的方法来设计这些服务?
浏览 3
提问于2020-03-03
得票数 0
回答已采纳
1
回答
动态内容和
爬虫
搜索引擎
爬虫
会使用Javascript和API调用来索引动态加载的内容吗?或者我必须通过服务器端编程(PHP、
ASP
等)加载此内容。
浏览 7
提问于2012-09-03
得票数 1
回答已采纳
3
回答
对
ASP
.Net应用程序的机器人请求
、
有没有办法确定对
ASP
.Net应用程序的http请求是来自浏览器还是来自机器人/
爬虫
?我需要区分这两种请求。 谢谢!
浏览 2
提问于2013-01-11
得票数 0
2
回答
避免重定向
、
我正在尝试解析一个网站(用
ASP
编写),
爬虫
被重定向到主网站。但我想要做的是解析给定的url,而不是重定向的url。有办法做到这一点吗?以下是
爬虫
程序的一些输出: 2011-09-24 20:01:11-0300 [coto] DEBUG: Redirecting (302) to <GET http://www.cotodigital.com.ar/default.
asp
> from <GET http://www.cotodigital.com.ar&
浏览 3
提问于2011-09-25
得票数 2
回答已采纳
1
回答
ASP
.NET MVC AntiForgeryToken和AdSense Crawler登录
、
、
、
、
我想添加谷歌AdSense到受保护的页面,但谷歌声称,AdSense
爬虫
将需要自己的登录来执行正确的爬行。。因此,我为
爬虫
设置了用户名/密码,将POST参数放入谷歌的设置页面,但随后意识到这在我的登录配置中是行不通的,因为
ASP
.NET MVC使用AntiForgeryToken来防止跨站点攻击。
浏览 2
提问于2015-08-07
得票数 1
回答已采纳
3
回答
Perl web
爬虫
如何跟踪
ASP
.NET回发?
、
、
、
我正在用Perl/LWP构建一个网络
爬虫
。webcrawler如何跟踪
ASP
.NET网格中的链接: <a id="ctl00_MainContent_listResult_Top_LnkNextPage" href="javascript:__
浏览 0
提问于2009-06-14
得票数 5
3
回答
正则表达式来过滤具有多个符号和"&“的URL
、
、
我正在使用一个网络
爬虫
(称为Nutch),当我把一堆urls输入到它中时,它会爬行网络。我设置了某些正则表达式过滤器来控制
爬虫
到特定的域和特定的过滤器。/]+/){6,}.*$ crawler :在特定的域中,我的
爬虫
正在用我不想要的所有分页和查询参数爬行所有搜索表单例子如下: http://www.abc.xx.yyy.zz
浏览 2
提问于2014-06-02
得票数 0
回答已采纳
2
回答
获取IIS工作进程崩溃转储
、
、
、
、
我在我的
ASP
.NET应用中做了一些不好的事情。这可能是我正在使用的任何数量的CTP库,或者我只是没有正确地处理一些东西。但是,当我将我的
ASP
.NET重新部署到我的Vista安装或我的服务器的IIS6安装时,我崩溃了一个IIS7工作进程。我已经将问题缩小到我的HTTP
爬虫
,这是一个多线程的野兽,当被请求时,它会爬取站点以获取有用的信息。在我启动
爬虫
程序并重新部署应用程序之后,IIS工作进程将崩溃(弹出一条崩溃消息)并继续重新加载应用程序域,而不是正常卸载appDomain并重新加载。
浏览 0
提问于2008-09-10
得票数 9
回答已采纳
2
回答
ASP
.NET MVC3.0使用最佳网址
、
、
、
如果您创建了一个新的
asp
.net mvc网站,Global.asax.cs中的默认路由如下: public static void RegisterRoutes(RouteCollection routes
浏览 2
提问于2011-07-10
得票数 3
3
回答
防止
爬虫
跟随POST形式动作
、
</form>通知表格是POST。 我能做些什么来阻止它吗?平台:IIS7.5上的
ASP
.NET MVC 3.0 (C#)
浏览 0
提问于2011-06-21
得票数 0
1
回答
如何使用php抓取表单数据
、
这个网站显示不同国家的外汇汇率,我想抓取所有存储的数据,这可以通过选择不同的日期显示,请帮助我如何写卷曲或fpot
爬虫
,谢谢
浏览 0
提问于2011-10-23
得票数 0
回答已采纳
1
回答
使用让WinInet共享会话/cookie
、
、
我想要的是:2)让我的软件使用WinInet API爬行站点,重用相同的cookie/会话(也就是说,
爬虫
是“登录”的) 我尝试使用INDY构建自己的登录我相信,例如,WordPress、
ASP
.Net等使用客户端/AJAX的东西,以及哈希/时间/用户代理代码/检查等,是因为30秒后,我可以从自己的
爬虫
程序发送完全相同的headers,就像登录时使用的FireFox(将其与基于会话cookie的普通登录进行比较,我自己的
爬虫</e
浏览 4
提问于2013-02-19
得票数 5
1
回答
什么是最好的服务器语言来编程一个网络
爬虫
?
、
、
、
我想问一下哪种语言:将是编写bes
爬虫
程序所需的be。 以及处理包含的信息?
浏览 0
提问于2012-01-01
得票数 -2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
ASP.NET心得
将 ASP.NET Core 2.0 项目升级至 ASP.NET Core X
ASP.net Core认证概述
Asp.Net快速开发平台
ASP.NET Core 集成测试
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券