我正在尝试使用Search Server Express 2010通过管理中心为一个非SharePoint站点创建一个爬网规则。如果我上传了一个cookie,我会在抓取完成后得到一个错误,告诉我这个参数无效。我不确定cookie文件应该是什么格式,但是我尝试过的各种格式都提供了这个错误,并且我在网上找不到预期的格式。如果我尝试指定一个URL来获取cookie,我会在IE8中得到以下JS错误。
“拒绝访问FormsAuthenticationProxyPage.aspx第138行。”如果用户代理与爬虫程序匹
我试图从一个网站中抓取一些数据,该网站分配一个会话cookie并生成HTML,其中包含我需要附加到URL以获取数据的代码。当crumb变量包含反斜杠时,我遇到了问题(HTTP 401未经授权).因为crumb是一个变量,所以我不知道如何将r‘添加到开头。crumb contains a backslash有人知道在尝试打开包含反斜杠的另外,如果我在