1回答
我是Python的初学者，对web抓取完全陌生。目前，我正在尝试抓取这个用于教育目的的网页：https://www.cdiscount.com/maison/achat-meuble-literie/dormipur-matelas-140x190-memoire-de-forme-16-c/f-11755-v920t140190.html#rating 我真正想要的是检索多个页面的每个评论。因为当我点击“prédent
浏览 11提问于2019-02-21得票数 2
我正在尝试使用selenium webdriver包为R中的页面设计一个抓取器，但是我想要抓取的页面部分无法加载，无论我等待了多长时间。这可能与javascript有关，我承认对它一无所知。这就像是发生了这种情况的几个网站，所以我想我应该打开我的stackoverflow樱桃，向专家请教。 -黄色突出显示的区域是表应该加
浏览 0提问于2020-03-19得票数 1
随着新系统的出现，出现了新的URL/层次结构。谷歌网站管理员工具与网站没有任何问题，我没有爬虫错误。但是AdSense似乎仍然在我的旧站点上寻找URL，而且我收到了大量的“页面未找到”错误。怎样才能让Adsense爬行新的站点地图？
这在爬虫错误页面上。上面写着“阻止URL”，然后放在它列出的URL的一侧，“页面未找到”。它解释道：“我
浏览 0提问于2014-12-11得票数 3
回答已采纳
2回答
我已经在joomla网站上放置了带有西里尔文文本的like按钮：这两个页面具有相同的内容，但问题页面是从Joomla PHP脚本生成的。另外，我注意到scraper重新编码不是完整的文档(它保
浏览 0提问于2011-11-23得票数 0
我想抓取一个网站有多个页面，当一个页码被点击时，它是动态loaded.How的屏幕抓取吗？如果有人在这方面帮我的话就太好了。PS:当点击不同的页面时，URL保持不变。
浏览 2提问于2013-01-24得票数 3
求求你，我真的需要你的帮助。这就是我试图实现的目标:在我的新闻网站上，(例如)有一个URL - nigerianobservernews.com/15082013/news/news1.html.在这个URL上，标题和内容每天都在变化我想知道如何使用facebook评论，即使页面/ URL是相同的，昨天在同一个url上的文章的评论在今天<em
浏览 2提问于2013-08-15得票数 0
1回答
我正在编写一个爬虫从一个使用AJAX的网站获取内容。在页面底部有一个“显示更多”按钮，我最初的方法是使用Selenium.PhantomJS来伪装成一个web浏览器，但它在一些网站上可以工作，有些不能。我想知道是否有什么方法可以直接获取AJAX操作的底层JSON文件。请告诉我一些细节，谢谢。
顺便说一下，我使用的是Python。
浏览 0提问于2014-07-23得票数 0
我们的网站使用Facebook评论框插件。我们在我们的防火墙后面的临时站点上包含了注释框，这意味着Facebook无法访问它，并生成"URL is unreachable“错误。这一点我可以理解。但是，一旦页面发布，并且可以通过Facebook访问，仍然会显示该错误。这可以通过单击随错误提供的调试链接轻松解决，但我的内容编辑器不希望每次都这样做，而且他们有时会忘记。我想我可以省略暂存站点中的Facebook注释框，但我不希望这样做。还有其他想法吗？
浏览 0提问于2012-05-16得票数 4
回答已采纳
我有这样的博客帖子urls：
首先，请更改abc部分(这不会对页面造成影响)。当我尝试在facebook上分享这个url时，它没有显示页面的图像(代码中有og:image属性)，但是当我在facebook调试器中输入相同的url并点击“抓取新的抓取信息”按钮时，我的页面图像就会正确地显示出来
浏览 4提问于2015-05-11得票数 0
在C#中有没有一种方法可以获得AJAX或Java的输出？我试图做的是获取网页上项目的细节，但是网页不会将其加载到原始源中。有没有人有好的教程或者好的起点？
例如，我想从获取所有的汽车列表
浏览 1提问于2011-06-06得票数 1
回答已采纳
2回答
我正在加载一个URL，并正在寻找一个应该存在于HTML中的特定节点，但是它每次都返回null。实际上，我试图找到的每个节点都返回null。我在其他网页上使用了相同的代码，但由于某种原因，在这种情况下，它不起作用。HtmlDoc是否正在加载与我在浏览器中看到的源不同的内容？显然，我对web抓取很陌生，但我多次遇到这种问题，我不得不做一个精心设计的解决方案，因为我无法选择一个在浏览器中可以看到的节点。我怎么处理这件事有什
浏览 2提问于2019-05-17得票数 0
回答已采纳
我使用下面的javascript函数将嵌入的Facebook元数据移动到head，这对访问者很好，但不是FB爬行页面时，我如何在Facebook爬行页面时执行此操作？head.appendChild( metaTAGs[ i ].parentNode.removeChild( metaTAGs[ i ] ) );}
当facebook抓取页面时，我需要获取头部的元数据Facebook d
浏览 0提问于2012-07-21得票数 0
回答已采纳
我使用了这篇文章中的代码：HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url); response.Close();}
然而，我正在尝试读取的页面有一个临时加载器页面，我如何解决这个问题，在这个页面
浏览 2提问于2014-06-26得票数 0
我正在尝试从中获取完整的球员数据列表。但是，该表是动态的(URL不变)，所以当我设置连接时，Excel只抓取前50行。它没有识别出表中还有另外6个页面我也需要抓取。谁知道如何使用excel中的“获取数据”-> "From Web“功能从如上所示的动态表格中导入数据？
浏览 1提问于2019-10-25得票数 1
当我想获取一个带有htm扩展的特定页面时，我注意到了一个附件，在htm扩展之后，http://www.example.com/IP_814.htm#.Uk1_MtKsh8E无法获取这个页面，它给出了502当我获取与http://www.example.com/IP_814.htm相同的页面时，谷歌取了它并给了我绿色支票。当我创建该页面时，我将其命名为IP_814，扩展为htm，因为这是一个单独
浏览 0提问于2013-10-03得票数 0
我在一个使用ajax生成结果的页面上。但是，栏中的URL保持不变，因此我无法获取真正的URL。我想知道..我如何抓取URL？是否可以强制window.location在不刷新页面的情况下进行更新？我所说的页面的一个例子是google instant！
浏览 4提问于2011-01-31得票数 2
我有一个主要通过json数据呈现的页面。url传递一个id，并接收填充页面的json数据，并用参数更新url。当json渲染时，我如何动态更新opengraph数据(因为最初我只有id要传递，没有实际数据)？
谢谢
浏览 0提问于2012-01-28得票数 0
回答已采纳
很多时候，我不得不从网站上下载pdf，但有时它们并不在一个页面上。他们对链接进行了分页，我必须点击get the links的每一页。我正在学习python，我想编写一些脚本，在那里我可以把weburl和它提取的pdf链接从该webiste。
我是python的新手，有人能给我说明吗?我该怎么做？
浏览 2提问于2011-06-03得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
