1回答
我们的目标是从"vivino (dot) .com“获得数据。 body=self.query_string, )
浏览 20提问于2021-03-05得票数 1
我正在尝试从一个使用AngularJS的网站上的动态表中抓取数据。我正在使用Selenium来抓取网站。我尝试过按ID/XPATH进行搜索，并将它们添加到元素列表中。没有成功。我需要的<
浏览 0提问于2019-01-29得票数 1
我正在尝试使用rvest获取数据(也尝试使用XML和selectr)，但遇到以下问题时遇到了困难：<span data-widget="turboBinary_tradologic1_rate" class="widgetPlaceholder widgetRate rate-down">1226.45</span>
(注意：rate-down和1226.45定期更新。)我想获取1226.45，但是当我
浏览 9提问于2017-02-15得票数 0
回答已采纳
2回答
我是个刮东西的新手。我写了一个 刮板 它将擦伤 Maplin 商店。我使用Python语言和BeautifulSoup来抓取存储。我想问的是，如果我需要清理一些其他的eCommerce商店(比如亚马逊、Flipkart)，我是否需要定制我的代码，因为它们具有不同的HTML ( 和 名字是不同的，另外还有其他东西)。所以，我写的刮板不适用于其他eCommerce商店。 我想知道比价网站是如何从所有在线
浏览 40提问于2014-12-28得票数 7
回答已采纳
1回答
我目前正在进行一个项目，该项目通过搜索查询(即谷类食品)来抓取杂货店页面上的数据，并将其显示在旋转视图中。但是，我很难找到一种从页面中抓取数据的方法。我试着使用Jsoup，因为这是在线的concensus，但这不支持JavaScript。
问题在于，如果不是全部的话，大多数这样的网站都使用DOM存储来更新股票列表和价格。这就是为什么像JavaScript这样的库不能工作，因为它们不会为任何返回HTML。我目前有一个通
浏览 1提问于2021-11-19得票数 0
回答已采纳
1回答
我从抓取开始，我正在尝试从具有动态内容的web抓取开始。首先，我想尝试一下这个网站我想把桌子拿起来
日期锦标赛曲面Rd Rk vRk得分更多DR A% DF%1ST第一%第二% BPSvd时间
浏览 1提问于2017-04-06得票数 0
class, 'h5 js-price v-spacing-mini art-pl-price')]") %>% data.frame()
然而-这是返回一个空的数据帧
浏览 7提问于2020-06-18得票数 2
回答已采纳
在C#中有没有一种方法可以获得AJAX或Java的输出？我试图做的是获取网页上项目的细节，但是网页不会将其加载到原始源中。有没有人有好的教程或者好的起点？
例如，我想从获取所有的汽车列表
浏览 1提问于2011-06-06得票数 1
回答已采纳
2回答
我想从大约1000-2000个不同的餐厅网站上收集联系信息。几乎所有的网站都有联系信息，要么在主页上，要么在某种“联系”页面上，但没有两个网站是完全相同的(即，没有共同的模式可供利用)。我怎样才能可靠地从这样的站点抓取电子邮件/电话号码信息，而不是特别地将Python脚本指向页面上的特定元素(即，脚本需要是结构不可知的，因为每个站点都有一个独特的超文本标记语言结构，它们并不都在“联系人”d
浏览 3提问于2013-06-28得票数 3
回答已采纳
1回答
我正在寻找一个系统，以提取主题或简单的关键字从一个网页，只有从指定的网页，没有跟随所包含的链接。要分析的页面属于不同的站点，特别是我想分析一个人在Facebook上共享的链接，并从这些页面中提取主题或简单的关键字。非常感谢。
浏览 5提问于2014-04-11得票数 0
我正在使用selenium python，我想知道如何在24小时内有效地抓取超过50,000个数据点。例如，当我在网页'insight.com‘上搜索产品时，抓取器大约需要3.5秒来搜索产品并获取其价格，这意味着对于大量数据，抓取器需要几天时间。从使用线程同时查找多个产品的一部分，我还可以如何加速这个过程？我只有一台笔记本电脑，将不得不同时抓取其他六个类似的网站，因此不想要太多的线程，计算机的运行速度将显着减慢。人们如何实现在如此短的
浏览 28提问于2020-06-18得票数 2
2回答
我正在寻找一种方法来做网页抓取后，在其搜索框中键入。让我用一个例子更好地解释:我正在寻找一个R函数，它直接在amazon主页上写入单词"notebook“，这样我就可以随后对生成的页面进行web抓取。感谢大家的帮助。
浏览 2提问于2021-01-25得票数 1
我想创建一个程序，将输入一个字符串到谷歌网站上的文本框(不使用他们的公共API)，然后提交表单和抓取结果。这个是可能的吗？我假设获取结果需要使用HTML抓取，但是如何在文本字段中输入数据并提交表单呢？是不是这样的东西是不可行的？我需要找出查询字符串/参数吗？
谢谢
浏览 2提问于2009-07-17得票数 7
回答已采纳
这是与我的问题最接近的问题，但它并没有得到很好的回答：
你每秒应该做多少个请求来抓取？对此有什么标准吗？当然，所有的大型搜索引擎在这方面都有一些他们所遵循的准则。
浏览 0提问于2010-05-30得票数 10
我想知道如何使用Ruby来抓取一个网站，目的是启动一个新的浏览器并加载目标页面。这是必需的，因为目标页面不是无状态的，并且需要许多会话参数。
有关示例流程，请参阅Kayak.com如何做到这一点。1.转到Kayak.com，搜索芝加哥的一家酒店，2010年1月21日入住，2010年1月22日退房。2.选择第一个结果，然后选择orbitz 3. kayak会带你进入orbitz上的预订页面。
浏览 0提问于2010-01-06得票数 3
我正在写一个iphone应用程序，我需要在50+网站上搜索数据。有什么建议吗？
谢谢罗翰
浏览 0提问于2012-06-07得票数 1
回答已采纳
我正在使用WebHarvest工具从几个网站抓取web数据。我已经看过了示例，但是找不到一种方法来在网站上进行身份验证，然后从网站上抓取数据。
谁能举出一个通过身份验证实现web数据抓取的配置示例？如何发送登录参数，然后接收主页内容？感谢你在这方面的帮助。
浏览 9提问于2014-04-14得票数 1
1回答
租回空列表
、、、
我试图通过复制html代码的xpath并使用rvest包从网站中导入一个表。我以前多次成功地做过这件事，但是当我现在尝试的时候，我只是做了一个空的列表。为了诊断我的问题，我运行了以下代码(取自)。提前感谢您的帮助！url <- "http://en.wikipedia.org/wiki/List_of_U.S.
浏览 0提问于2018-07-03得票数 1
回答已采纳
几周前，我的网站通过了谷歌的移动端友好测试。然而，“移动友好”标签并没有出现在移动搜索结果中。这需要多长时间？
谢谢!
浏览 0提问于2015-03-25得票数 0
我需要索引我公司的员工手册，这是托管在一个外部网站。此页面需要登录，并支持通过查询字符串参数自动登录.像这样：
由于下列原因之一未爬行的项:预防性爬行规则；指定的内容源跳/深度超出；URL具有查询字符串参数；未找到所需的协议处理程序是否不可能抓取开始地址中有<em
浏览 1提问于2015-04-01得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
