腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
For
循环
不会
抓取
所有
项
,
只需要
一个
xpath
、
web-scraping
、
scrapy
我试图在网页上
抓取
大约20篇文章,但由于某种原因,爬行器只能找到第一篇文章所需的信息。我如何让它
抓取
页面上的每一篇文章? 我已经多次尝试更改xpath,但我认为我对此还太陌生,无法确定问题出在哪里。当我从for
循环
中取出
所有
路径时,它会很好地删除
所有
内容,但它的格式不允许我将数据传输到csv文件。
浏览 20
提问于2020-07-22
得票数 0
回答已采纳
2
回答
调用另
一个
存储过程的存储过程长时间挂起
sql-server
、
loops
、
stored-procedures
我有
一个
存储过程,可以为特定的客户获得我想要的东西。它返回了20行... 我需要做的是为20个客户调用这个存储过程,然后返回整个结果集。
浏览 0
提问于2012-10-21
得票数 2
3
回答
如何访问Scrapy项目管道中的
所有
抓取
项目?
python
、
scrapy
我有
一个
项目,它有
一个
排名字段,必须从分析其他项目类构建。我不想使用数据库或其他后端来存储它们-我
只需要
访问
所有
当前
抓取
的
项
,并对它们执行一些itertools魔术-在爬虫完成之后,但在我们导出数据之前,我如何做到这一点(这样排名字段就
不会
为空)?
浏览 2
提问于2012-10-07
得票数 2
4
回答
“社会网络”编程难题
algorithm
、
perl
、
puzzle
电影“社交网络”( Social )中有
一个
整洁的序列,其中角色写了
一个
perl脚本,从校园里的联谊会网络服务器
抓取
图像。他的目标是为每个联谊会的每一名成员拍摄一张照片,并尽可能少地错过会员。通常情况下,这
只需要
他从公共目录或其他小
循环
中
抓取
它,就像返回
所有
成员的空搜索一样,但是他描述了
一个
非常有趣的设置,从来没有给出解决方案。
一个
联谊会的网站允许搜索并返回匹配成员的图片。但是,如果搜索返回超过20个匹配
项
,则<e
浏览 5
提问于2011-04-05
得票数 4
回答已采纳
3
回答
C# SQL Server -更高效地处理多个数据库访问或多个数据
循环
?
c#
、
sql
、
performance
、
processing-efficiency
在我的应用程序的一部分中,我必须获取满足条件的表的最后
一个
ID,例如:因此,我可以
抓取
整个表并
循环
查找Num = 2,也可以从Num = 2的表中
抓取
数据。在后者中,我知道最后一
项
将是MAX ID。无论哪种方式,我都必须在50 times...so左右做这件事,这样做会
不会
更有效地
抓取
所有
数据,并在数据列表中
循环
查找特定条件…… 或者,根据我知道列表中最
浏览 3
提问于2012-05-31
得票数 0
回答已采纳
1
回答
使用selenium Python迭代搜索多个搜索词
python
、
selenium
我正试着在LexisNexis上搜索一下,然后
抓取
结果。我需要从
所有
页面中
抓取
结果,所以我希望selenium执行搜索,
抓取
数据,然后单击next并重新执行。此外,我希望它对多个术语进行这种搜索。
浏览 11
提问于2018-09-06
得票数 0
1
回答
如何仅使用CSS选择无序列表的父级?
html
、
css
、
css-selectors
"#">Sub Item B</a></li> </li> </ul> 我
只需要
抓取
第一
项
来改变它的我尝试过这样的方法: ul li a-不起作用,因为它会抓住第2
项
浏览 3
提问于2017-12-19
得票数 1
回答已采纳
1
回答
读取目录中没有
循环
的
所有
文件
python
我已经找了好几天了,想知道有没有办法不用
循环
就能读取python目录中的
所有
文件。我之所以问这个问题,是因为当我去写文件时,它会再次遍历
循环
,覆盖我的
所有
信息,或者当我
只需要
抓取
一个
文件时,它就会加倍。
浏览 2
提问于2022-06-13
得票数 2
2
回答
Javascript document.querySelectorAll()不适用于无限滚动
javascript
、
web-scraping
、
puppeteer
我正在尝试建立
一个
简单的网络
抓取
工具。我正在尝试的数据有
一个
无限的滚动。
浏览 0
提问于2019-12-04
得票数 0
2
回答
使用python和sqlite进行Web
抓取
。如何有效地存储
抓取
的数据?
python
、
sqlite
、
web-scraping
我想定期
抓取
一些特定的网页(例如每小时)。我想用python来做这件事。
抓取
的结果应该插入到
一个
SQLite表中。新的信息将被
抓取
,但“旧的”信息也将再次被
抓取
,因为python脚本将每小时运行一次。 更准确地说,我想要
抓取
一个
体育结果页面,其中随着锦标赛的进行,越来越多的比赛结果会发布在同一页面上。因此,对于每一次新的
抓取
,我
只需要
将新的结果输入到SQLite表中,因为旧的结果在
一个
小时前(甚至更早)已经被
浏览 0
提问于2013-04-17
得票数 5
回答已采纳
1
回答
卷曲多爬行问题
php
、
curl
我们有
一个
爬行引擎,每月可以满足大约500,000名游客的需求。我们现在使用curl来获取网页。我们最近使用了多个exec和curl来同时
抓取
页面。我们将其设置为同时
抓取
20个页面。现在,在获取网页的过程中,curl将完全停止,直到
所有
20个页面都被获取,然后才会移动到下
一个
20个页面。这就像如果
一个
页面获取速度很慢,那么curl将等待该页面加载,直到它移动到下
一个
循环
,在下
一个
循环
中,我将获取下20个页面。 有没有
浏览 0
提问于2012-01-16
得票数 1
回答已采纳
1
回答
使用PHP & IMAP获取尚未
抓取
的电子邮件
php
、
sql
、
email
、
imap
这是
一个
更多关于最佳实践的问题--我希望这样可以。imap_search($inbox, 'SUBJECT "Ticket #" SINCE "'.date("Y-m-d").'"'); 但这
只需要
<
浏览 0
提问于2013-12-10
得票数 0
回答已采纳
4
回答
从数组中随机获取3
项
,其中第3
项
可以是“餐厅”,但不必是
javascript
、
arrays
、
loops
我需要从数组中随机
抓取
三个项目。只有一件物品可以是“餐厅”,而餐馆只能排在第三位。el 1 - restaurant = falseel 3 - restaurant = true} 我最初的想法是,我
只
浏览 4
提问于2020-02-20
得票数 0
回答已采纳
2
回答
在foreach
循环
中创建数组的
一个
实例
php
、
arrays
、
pdo
、
foreach
、
unset
我在这里有
一个
独特的情况,我不确定这是否是正确的方式;我对建议持开放态度。 } echo $e->getMessage();} 问题是,由于函数在f
浏览 4
提问于2013-04-26
得票数 0
回答已采纳
1
回答
Worker在从queue.Queue读取第
一个
项目时停止
python
target=worker) t.start() q.put(url) q.join() 我希望它能打印出
所有
的URL,但只打印出了第
一个
URL。我以为worker会获取第
一个
项目,将其打印出来,然后返回获取下
一个
项目。在本例中,我只创建了
一个
线程,但是一旦我理解了发生了什么,就可以添加更多的线程。 为什么它只打印第
一个
URL?
浏览 12
提问于2019-02-20
得票数 0
回答已采纳
1
回答
Node.js后台处理
node.js
、
azure
我是node.js的新手,所以请原谅
一个
可能是天真的问题:)我的问题是,设置在node中编写的非UI作业的最佳方式是什么?我创建的任务用于基于Azure队列
抓取
一些web内容(队列消息告诉作业要
抓取
哪些内容)。我在node周围看到的
所有
示例都更多地基于UI和请求,使用http.createServer并侦听特定的端口。虽然我可以做到这一点,但这似乎并不正确,似乎我
只需要
创建某种javascript setInterval
循环
(或类似的
循环
)来不断查看我的队列。任何能将我
浏览 0
提问于2012-01-30
得票数 2
回答已采纳
1
回答
Jekyll是否会受到Shopify液体规格所宣布的50
项
循环
上限的影响?
for-loop
、
jekyll
、
liquid
、
limits
用于
循环
标签的Shopify液体{% for %}声明如下: .{% for var in (1..100) %} {{ var }} .{% endfor %} 因此,至少在Jekyll中的一
浏览 3
提问于2018-08-14
得票数 0
回答已采纳
1
回答
如何在ordered+persisted集合中更改订单?
java
、
google-app-engine
、
collections
、
google-cloud-datastore
我
只需要
更改(先前持久化的)有序集合中的
项
的顺序...这肯定是最愚蠢的问题了,但是我已经没有主意了,我已经被困在这里两天了。我发誓我谷歌过了。:(
浏览 1
提问于2010-05-25
得票数 3
回答已采纳
2
回答
如何
抓取
一个
网站只给定域网址与scrapy
python
、
web-crawler
、
scrapy
、
scrape
我正在尝试使用scrapy
抓取
一个
网站,但网站没有网站地图或页面索引。如何使用scrapy
抓取
网站的
所有
页面? 我
只需要
下载网站的
所有
页面,而不提取任何项目。我
只需要
在蜘蛛规则中设置关注
所有
链接吗?
浏览 0
提问于2013-01-06
得票数 5
回答已采纳
1
回答
在for
循环
中连接数据帧
python
、
pandas
我写了
一个
类来收集公共假日数据,但我想用很多年来迭代我的类,如下所示:recent_years_read_html_()构建了
一个
干净的数据帧,我想附加每个数据帧。
浏览 2
提问于2018-09-18
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
零基础入门Python爬虫,一文掌握爬虫核心原理!
SEO中网站结构问题——搜索引擎友好的网站设计
python+selenium爬虫从零整理五
Python3 基于asyncio的新闻爬虫思路
推荐:手把手教你用Python进行Web抓取
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券