1回答
如何抓取列表中存储的多个链接
、、、、
我试图通过将每个页面编号应用于url，然后将url存储在一个列表中，来抓取url的多个页面。在执行迭代时，只抓取第一个页面中的内容，而不抓取其余的内容。故障出在哪里？
浏览 13提问于2019-03-29得票数 0
回答已采纳
我正在创建一个工具，用于从多个URL中抓取链接。我想要存储这些信息，然后测试刮过的链接的状态。
我预计必须测试许多链接，大约6万。所以我的问题是决定如何存储要测试的链接。我想做的是为我将要抓取的URL创建文本文件。我必须为我要抓取的URL创建大约40个文本文
浏览 1提问于2012-04-20得票数 0
回答已采纳
1回答
我正在从IMDB电影列表中抓取数据。我想刮每一部电影的链接，但不能正确地确定它是存储在页面上的位置。链接的一部分是这样存储的:链接屏幕截图 我尝试过的： 完整代码 预期的解决方案:抓取每个胶片的链接，如果需要，可以在以后使用。
浏览 29提问于2019-07-12得票数 0
回答已采纳
我使用下面的代码来抓取页面上的多个链接，并从每个相应的链接中获取数据列表： name = "quotesdata = {'data': response.css('strong.data::text').extract()}它工作得很好，但当它返回每个链
浏览 5提问于2017-07-12得票数 0
回答已采纳
我正在尝试编写一些javascript/jQuery，它将在点击向上投票按钮后从reddit获取一个链接。到目前为止，如果我向上选择了多个东西，它将只获取返回的jQuery列表中第一个指定类名的链接。var url = $(e).parent().parent().data('url'); }因此，如果我有2个职位向上投票，它将只返回列表中
浏览 0提问于2016-11-29得票数 1
我已经给出了一个域名列表。它现在实际做的是抓取整个域，搜索pdf链接并将其存储在数据库中。这个过程是异步的。我想从每个域得到10个pdf链接，并停止爬虫。
如何做到这一点？
浏览 0提问于2014-01-14得票数 0
我使用了从他们的wiki安装nutch的示例。我能够轻松地抓取从dmoz中拉出的多个页面。但是，有没有配置可以抓取它在页面上找到的外部链接，或者将这些外部链接写入下一步要抓取的文件？什么是最好的方式来遵循一个网页上的链接，索引该网页以及与nutch？如果我通过python执行bin/nutch，我能找回它找到的
浏览 1提问于2010-10-26得票数 2
回答已采纳
contents
我在Python中使用selenium，并试图获得具有相同类名的多个元素的我以为我的结果会抓取所有的元素，并将它们存储在一个列表中，但它只会抓取第一个元素并存储它。
我将如何在页面上获取每个元素？
浏览 2提问于2013-12-26得票数 0
回答已采纳
我想在我的django表单中有一个多选字段。它不会将值保存在数据库中。forms.MultipleChoiceField(choices=DAY_OF_WEEK, required=True, label='Game Day')选择一个有效的选项“‘FRI”不是可用的选项之一。
浏览 0提问于2017-05-29得票数 0
我试图从网站上抓取文本，但只抓取与两个特定链接中的一个链接的文本，然后再抓取紧随其后的另一个文本字符串。，然后存储在一个列表中。我认为我没有成功地找到这些链接来获取文本，但是我的初级Python技能到目前为止还没有弄清楚如何实现这一点。，以便我可以将它们存储为列表中的
浏览 19提问于2019-05-05得票数 2
回答已采纳
1回答
我是蟒蛇和网络抓取的新手。测试索引有用于各种临床测试的测试组件的名称列表。单击每个名称将带您到另一个页面，其中包含有关单个测试组件的详细信息。我想从这一页中提取出有共同问题的部分。
最后，将包含测试组件名称的数据框架放在一列中<
浏览 1提问于2018-01-19得票数 0
1回答
我目前正在使用Node来抓取一个将选定数据存储在JSON文件中的博客。在抓取包含来自Soundcloud的嵌入轨道的博客文章时，我似乎只能收集iframe src，而不能收集实际的跟踪链接( soundcloud链接或流链接)。当我抓取iframe url时，我似乎只能获得以下格式的链接：
如果我无法抓取跟踪URL，是否有一种方
浏览 3提问于2013-11-25得票数 1
回答已采纳
1回答
我正在使用刮刮框架，从不同的网站上刮起手机的名称、价格和规格。我已经成功地刮掉了所有的数据，并将其存储在MySQL数据库中。表结构ID _ Product_Url _在每天午夜，一个python程序将运行，并检查哪些项目的价格被改变，如果它被改变，它将更新该值。我不想在everyday.because上再刮掉所有的产
浏览 0提问于2013-07-20得票数 0
2回答
有没有一种方法可以从多个RSS提要中抓取数据并存储结果？我正在从多个RSS提要中抓取数据，并以最糟糕的方式将它们分别存储在它们的CSV中--将每个提要的.py文件分离到它们的CSV中，并在文件夹中运行所有的.py文件。像这样的多个py文件位于一个只有不同url的文件夹
浏览 2提问于2022-03-31得票数 1
回答已采纳
1回答
我必须登录每次我运行我的自动测试网站抓取。我想维护我的登录信息，所以我使用Selenium中的代码来存储网站的cookie信息。$driver->manage()->getCookies();我不知道如何存储cookie列表中所有域的cookie。
浏览 9提问于2019-07-13得票数 1
我的blob存储中有multipl文件。此外，我有一个蓝色数据库表，它存储url，它指向blob存储中的实际单个文件。在我的webform上，用户可以指定search criteria.Then，它将搜索符合搜索条件的文件，并显示一个下载匹配文件的链接，所有这些文件都是一个zip文件。我的搜索结果作为列表返回。例如此搜索结果将包含多个urls，例如
浏览 1提问于2013-09-19得票数 0
print u"\u221A".encode('utf-8')上面的文本是从抓取网页中得到的输出数据。在抓取多个</
浏览 2提问于2019-11-24得票数 0
回答已采纳
1回答
IBM沃森发现爬行问题
、、、
我们想索引我们的客户网站，并将所有数据存储在中。当用户询问与客户端数据相关的问题时(我们将将发现与Watson助手连接起来)。聊天机器人应该连接到发现并获取数据以作出响应。问题:客户端网站有多个链接，每个链接将有进一步的链接，我们希望从网站和索引的所有数据，并将其存储在沃特森发现服务。我们尝试爬行网站，但发现服务需要很多时间来抓取网站，而且它在1周后也没有完成任务。请让我们知道<e
浏览 1提问于2019-06-20得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
