腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
如何使用
asp
.net mvc3和c#构建网络
爬虫
?
、
、
、
、
我需要建立一个小的
搜索引擎
,如谷歌使用
ASP
.NET MVC3。对于这一个,我还需要建立网络
爬虫
,其中填充
搜索引擎
的数据。总而言之,我需要以下内容:请任何人有任何想法或资源或书籍。
浏览 8
提问于2012-11-14
得票数 2
1
回答
动态内容和
爬虫
搜索引擎
爬虫
会使用Javascript和API调用来索引动态加载的内容吗?或者我必须通过服务器端编程(PHP、
ASP
等)加载此内容。
浏览 7
提问于2012-09-03
得票数 1
回答已采纳
2
回答
ASP
.NET网络Api会不会对
搜索引擎
优化不利?
、
假设页面的所有内容都是由javascript拉取的……
搜索引擎
爬虫
能够获取页面内容吗? 我听说
爬虫
在页面上爬行时并不总是支持javascript或执行javascript。
浏览 1
提问于2012-07-30
得票数 0
3
回答
开源(免费)
ASP
.NET站点搜索
、
、
有没有人知道一个易于实现的
asp
.net站点
搜索引擎
?越简单越好。 可能只需要一个
爬虫
和后端来存储结果。使用某种API来获取搜索结果会很方便,但我也可以直接从DB获取。
浏览 4
提问于2009-01-23
得票数 0
回答已采纳
1
回答
搜索引擎
站点地图
Asp
.Net
、
、
、
如果可能的话,谁能告诉我如何实现一个
搜索引擎
网站地图与
asp
.net。我的网站有频繁过期的内容和新的内容,这就是为什么每当
搜索引擎
爬虫
来到我的网站时我都想要更新它。它已经成为
ASP
.Net 3.5平台的一部分了吗? 有没有其他更好的框架或库可以用来实现同样的目的?
浏览 1
提问于2008-12-29
得票数 0
6
回答
为什么我们要在
asp
.net MVC中发布一篇文章来确认删除呢?
、
、
、
以下是Professional
ASP
.NET MVC 2的说明: Scott ++ 你可能会问-为什么我们要努力在我们的删除甜点屏幕上创建一个?这是因为我们要小心防止网络
爬虫
和
搜索引擎
发现我们的URL,并无意中导致数据在链接之后被删除。基于HTTP的URL被认为是安全的访问/爬行,而且它们不应该遵循HTTP。如果网页
爬虫
和
搜索引擎
无法访问包含删除按钮的页面,那么使用标准超链接链接到执行实际删除操作的操作方法是否安全?
浏览 7
提问于2010-12-21
得票数 2
回答已采纳
1
回答
搜索引擎
如何唯一地识别web上的每个页面
、
、
、
、
如果我写了一篇文章,他的链接是'example.com/abc.php‘&这篇文章在
搜索引擎
中排名靠前。 几天后,我更新了这篇文章,包括它的内容和'xyz.php‘的永久链接。那么
搜索引擎
将如何知道这是与URL example.com/abc.php排名相同的页面/帖子。并且需要将搜索结果中的链接更新为“example.com/xyz.php”,而不影响排名。在更新固定链接之前和之后,在为
搜索引擎
创建一个唯一标识页面的新帖子时,有没有需要用代码编写的标签或东西? 注意:-这
浏览 35
提问于2021-01-25
得票数 0
4
回答
HTML5语义标记在intranet应用程序中的用途是什么?
、
据我所知,HTML5语义标记的唯一真正优势是
搜索引擎
和web
爬虫
能够更好地解释文档。 由于内部网应用程序与
搜索引擎
或网络
爬虫
无关,在HTML5中使用语义标记有哪些优点?
浏览 5
提问于2013-12-05
得票数 2
回答已采纳
2
回答
Bing.com核心技术?
、
我们都知道bing.com是一个微软的网站,因此它的技术是建立在微软的stuck之上(我很难想象会有什么不同)。有没有人知道Bing.com中使用了什么技术(用于提供页面,用于索引web,用于搜索数据库……等)?
浏览 2
提问于2010-08-28
得票数 1
回答已采纳
1
回答
使用来自
搜索引擎
的种子URL进行Web爬行
、
、
、
、
我需要知道是否值得在
搜索引擎
给出的结果之上建立一个
爬虫
。 通过这种方式,对于给定的查询,从
搜索引擎
抓取N个URL,并将它们输入到
爬虫
程序中,以查找与搜索更相关的页面。是否有任何科学论文/实验声称,这样做有助于收集更多相关页面,而不仅仅是从
搜索引擎
获取URL?
浏览 22
提问于2017-08-20
得票数 1
2
回答
到301重定向,谷歌会接受我的新域名有重复的内容吗?
、
、
、
如果我做了301重定向从谷歌网站管理员,那么谷歌会接受我的旧域名作为我的新领域?我的意思是,我的旧域名是www.hackinguniverse.org,但我想改变我的域名以及名称,因为我必须获得谷歌AdSense的批准,并有“黑客”一词。我现在很不可能获得AdSense的批准。但是,到301重定向,谷歌肯定不会把我的网站作为复制内容吗?请帮帮忙。
浏览 0
提问于2012-05-28
得票数 0
1
回答
阻止
搜索引擎
访问特定的数据库字段
、
、
、
、
我想隐藏我的数据库中的一些特定字段(例如:年龄,电话号码,地址),以便阻止搜索engines..Is,有什么方法可以做到吗?谢谢
浏览 0
提问于2012-10-10
得票数 2
回答已采纳
2
回答
访问站点地图?
、
我在根文件夹中创建了一个名为"Web.sitemap“的站点地图,我需要将其提供给谷歌关键字。你知道我怎么才能访问这个文件吗?我尝试(域)/Web.sitemap,但它不加载。谢谢
浏览 2
提问于2011-11-03
得票数 0
回答已采纳
3
回答
正则表达式来过滤具有多个符号和"&“的URL
、
、
我正在使用一个网络
爬虫
(称为Nutch),当我把一堆urls输入到它中时,它会爬行网络。我设置了某些正则表达式过滤器来控制
爬虫
到特定的域和特定的过滤器。/]+/){6,}.*$ crawler :在特定的域中,我的
爬虫
正在用我不想要的所有分页和查询参数爬行所有搜索表单例子如下: http://www.abc.xx.yyy.zz
浏览 2
提问于2014-06-02
得票数 0
回答已采纳
2
回答
关于动态页面元标记的基本问题
我非常不熟悉元标记是如何处理动态页面的,所以我想我应该向这里的人咨询帮助:-)例如,有一页可能从我的服务器获取此信息。tour_name: 'Yosemite tour'tour_description: 'This is a yosemite
浏览 1
提问于2019-07-28
得票数 1
回答已采纳
2
回答
Xapian的
爬虫
/解析器
、
、
我想实现一个
搜索引擎
,应该爬行一组网站,从网页中提取特定的信息,并创建该特定信息的全文索引。
爬虫
/解析器与Xapian集成有哪些选项?与开源
爬虫
/解析器集成,Solr是比Xapian更好的选择吗?
浏览 1
提问于2008-12-01
得票数 2
3
回答
为
搜索引擎
爬网程序创建窗体身份验证cookie
、
、
大局:我被要求为我们公司的内部网创建一个
搜索引擎
。这样的
搜索引擎
将为内联网上的每个独立应用程序抓取由XML文件提供给它的页面。问题是,整个intranet都在使用表单身份验证,因此
爬虫
必须在没有实际用户凭证(例如用户名和密码)的情况下访问每个应用程序。intranet中的每个应用程序都有一个权限管理器来控制其访问权限,权限管理器本质上是
ASP
.NET附带的默认角色管理器的包装器。每个应用程序都可以定义自己的角色,并分配具有这些角色的人员。因此,我的想法是让
爬虫
创建一个cookie,该cookie将
浏览 1
提问于2011-11-28
得票数 0
回答已采纳
2
回答
网络
爬虫
是如何影响网站统计的?
网络
爬虫
(包括
搜索引擎
和非
搜索引擎
)会以什么方式影响网站统计(例如,在进行AB测试不同页面的变化时)?解决这些问题的方法是什么?例如: 什么是启发式来识别某物是一个机器人?为了澄清,基于以下评论:我也感兴趣的情况下,我的网站是具体的目标(可能是非法
爬虫
)。
浏览 3
提问于2010-04-12
得票数 1
回答已采纳
2
回答
基于AWS的粘性负载平衡
、
、
、
我刚刚为几个例子设置了一个AWS负载均衡器,因为
搜索引擎
爬虫
正在摧毁这个站点(它有数百万页)。网站的部分内容允许您登录,因此我选择:一切都很好。我现在想知道这将如何影响我的
搜索引擎
优化和
爬虫
。当我选择粘性负载平衡时,这是否意味着一个
爬虫
将被卡在一个服务器上,从而击败负载均衡器中的点? 如有任何建议,将不胜感激。
浏览 0
提问于2012-07-01
得票数 2
回答已采纳
2
回答
ASP
.NET MVC3.0使用最佳网址
、
、
、
如果您创建了一个新的
asp
.net mvc网站,Global.asax.cs中的默认路由如下:我该怎么做?
浏览 2
提问于2011-07-10
得票数 3
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python爬虫——自制简单搜索引擎GUI版
Python 分布式爬虫打造搜索引擎
python分布式爬虫打造搜索引擎(一)
优秀的搜索引擎爬虫都具有哪些特性
ASP.NET心得
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券