腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1148)
视频
沙龙
1
回答
为什么
Selenium
python
只
写
csv
的
第一
行
,
而我
的
刮
板
收集
多行
数据
?
python
、
selenium
我正在使用
selenium
从网站
收集
数据
。其中我
的
scraper
收集
了
多行
数据
,但我
的
csv
文件
只
写入
第一
行
。下面是我
的
代码: for page in range(1,34): company_namecompany_name
浏览 29
提问于2021-08-11
得票数 0
回答已采纳
1
回答
使用
Python
在运行时将
selenium
结果/输出保存在文本文件中
python-3.x
、
selenium
、
save
我正在
Python
3中使用
Selenium
运行一个脚本。我得到了我所期望
的
产出。现在,我希望将输出保存到文本或
csv
或json文件中。这意味着程序中
的
循环
只
运行一次,并且不将
数据
存储在名为bangkok_vendor.txt
的
文件中。在普通
的
python
刮
板
程序中,存储
数据
不会有任何问题,但这是我
第一
次使用
selenium
。你能
浏览 0
提问于2019-07-04
得票数 3
回答已采纳
1
回答
excel vba调用
的
python
:交互中
的
问题
python
、
excel
、
vba
、
selenium
我将描述一个问题,交互EXCEL VBA脚本调用
python
webscraper脚本,从n网站
收集
可视化
的
金融
数据
。对我来说,理解我
的
错误所在是一种锻炼,也是我个人
的
兴趣。
刮
板
脚本,就会出现问题: 正如您所看到
的
,web
刮
板
被调用并启动,就像
python
脚本
的
第一
个打印逗号一样。但是
python
源代码
的
其余<
浏览 9
提问于2021-12-13
得票数 0
回答已采纳
2
回答
刮刀无法从下一页中获取名称
python
、
python-3.x
、
selenium
、
selenium-webdriver
、
web-scraping
我用
python
和
selenium
一起编写了一个脚本来解析网页上
的
名称。该站点
的
数据
未启用javascript。但是,下一个页面链接在javascript中。因为如果我使用requests库,那么该网页
的
下一个页面链接就没用了,所以我已经使用
selenium
来解析来自该站点
的
25页
数据
。我在这里面临
的
唯一问题是,虽然我
的
刮
板
能够到达25页
的
最后一
浏览 3
提问于2017-10-16
得票数 1
回答已采纳
1
回答
Js木偶技师如何刮取密码表中
的
所有
行
javascript
、
web-scraping
我正在创建这个刮刀来
收集
这个密码site>
的
所有链接我对木偶师来说是非常新
的
,所以我不知道多少,但是我决定用它来提高硒
的
速度。我已经能够
收集
前15个左右
的
链接,从一个表100
行
9页。我不明白
为什么
刮
板
丢失了这么
多行
,因为当您
第一
次加载时,超过15
行
显示。return e;} run().then(console.log).catch(c
浏览 1
提问于2022-08-12
得票数 0
2
回答
Selenium
不进入
刮
板
的
下一页
python
、
selenium
、
xpath
、
pagination
、
webdriverwait
我正在
写
我
的
第一
个真正
的
刮
板
,虽然总的来说进展顺利,但我使用
Selenium
时碰到了一道墙。我没办法把它转到下一页。 下面是我
的
代码头。下面的输出现在只是在终端中打印
数据
,这一切都很好。它只是停止在第1页
的
末尾
刮
,并向我显示我
的
终端提示。它从来没有在第二页开始。如果有人能提出建议,我将不胜感激。我构建了自己
的
错误消息,以指示驱动程序是否通过Xpath成功地找到了元
浏览 2
提问于2020-07-30
得票数 0
回答已采纳
1
回答
将一列添加到由
python
selenium
所刮取
的
CSV
中
python
、
csv
、
selenium
、
web-scraping
下面是使用
selenium
从网站中提取
CSV
文件
的
python
代码。当您最初访问此网站(Fangraphs.com)时,您可以从“导出
数据
”链接导出
数据
,该链接将所需
数据
打包到
CSV
中。代码本质上打开Firefox并执行"Export“按钮,将
CSV
下载到我计算机上
的
一个文件夹中。有没有人知道是否可以将额外
的
一列
数据
插入到被刮掉
的
CSV
浏览 0
提问于2018-05-04
得票数 0
回答已采纳
2
回答
在
Python
中使用
Selenium
-循环进行多个页面的with抓取
python
、
selenium
我对
python
非常陌生,并且用
selenium
编写了一个脚本来抓取一个网站。我已经尝试了所有的方法,但是无法让循环在页面中循环。目前它
只
重复
第一
页上
的
数据
5次。我想
刮
所有的页面为'BR1‘任何帮助将是伟大
的
,目前以下
的
脚本
只
刮
第一
页5次。from
selenium
import webdriver from
selenium
.webd
浏览 9
提问于2022-06-27
得票数 1
回答已采纳
1
回答
Mongo更新不断增加集合
的
大小。
mongodb
、
python
我正在运行一个
刮
板
来检查这件事是否要改变。因此,我不知道
为什么
我
的
mongo
数据
库不断增长,
而我
所做
的
只是更新这个单一
的
数据
。client = MongoClient(DB_URL) collection
浏览 0
提问于2017-01-17
得票数 0
1
回答
在
Python
中从单个URL更改为Excel列表
python
、
web-scraping
、
beautifulsoup
我有一个每天6-700个网站
的
列表,这些网站在excel列表中都是相同
的
。我正试图找到一种方法,将一个网站变成一个.xlsm文件中一个列中包含
的
多个网站。我以前写过一次手动打开50个选项卡
的
代码(请参阅example1),但如果可能的话,我希望将该代码或版本合并到我
的
刮
板
中。(Example1)import xlrd file_location = "C:\
Python
27\REAScraper\Scra
浏览 2
提问于2017-04-29
得票数 2
回答已采纳
1
回答
使用C# MVC将
csv
(保存在解决方案中)发送到前端
c#
、
csv
、
model-view-controller
、
download
我是C#
的
新手,我正在用MVC构建一个前端
的
web
刮
板
。应用程序上传一个it文件,使用
selenium
查找上传
的
it,
收集
数据
,然后将其写入
CSV
。然后使用文件路径"./files/output.
csv
“将
CSV
保存在解决方案中。 该功能一直用于编写output.
csv
并将其保存到解决方案中。,但我不知道如何将
CSV
发送回前端
浏览 0
提问于2018-03-16
得票数 0
回答已采纳
4
回答
用
Python
使用
Selenium
抓取文本值
python
、
python-3.x
、
selenium
、
web-scraping
、
screen-scraping
对于ERP系统中
的
每个供应商(供应商总数#= 800+),我将
收集
其
数据
,并将此信息导出为pdf文件。我在
Python
中使用
Selenium
,创建了一个名为
刮
板
的
类,并定义了多个函数来自动化这个任务。每个供应商都有一个叫做
的
部门。EFT Manager有9
行
是我要从其中提取
的
:对于#2和#3,两者都有字符串值(删除机密信息)。但是,#3返回null。我不明白
为什么
在要提
浏览 1
提问于2018-08-23
得票数 0
回答已采纳
1
回答
从Hansard中找不到丢失
的
数据
python
、
database
、
web-scraping
、
beautifulsoup
、
missing-data
我正试着从Hansard那里搜集
数据
,这是英国议会所有发言
的
官方逐字记录。这就是我想要
刮
的
:简单地说,我想在这个页面上刮掉每一个“提到”
的
容器,然后再
刮
50页。但是我发现,当我
的
刮刀“完成”时,它
只
收集
了990个容器
的
数据
,而不是完整
的
1010个。20个容器上
的
数据
丢失了,好像它正在跳过一个页面。当我只将页面范围设置为(0,1)时,它无法
浏览 4
提问于2020-07-15
得票数 1
回答已采纳
1
回答
当输出到
CSV
时,
为什么
要重复写到同一
行
?
python
、
csv
、
web-scraping
、
export-to-csv
我已经做了一个网络抓取应用程序,我想把
数据
放入一个
csv
文件。
刮
板
部分工作良好,并打印到命令行,但当我试图写入
csv
时,它会一遍又一遍地重写
第一
行
的
循环
数据
(有100)
的
迭代。我不知道
为什么
。你知道
为什么
每次都不把结果写到新
行
上吗?(我尝试过
csv
.writer和
csv
.DictWriter方法。同样
的
结果。)
浏览 0
提问于2018-04-09
得票数 0
回答已采纳
2
回答
Neo4j:如果节点已经在
数据
库中,如何避免再次创建它?
neo4j
、
cypher
我有一个关于Cypher请求和
数据
库更新
的
问题。我有一个
python
脚本,可以在最后进行web抓取并生成一个
csv
。我使用这个
csv
导入neo4j
数据
库中
的
数据
。
刮
擦每天做5次。因此,每次进行新
的
抓取时,
csv
都会被更新,新
的
数据
会添加到以前
的
csv
中,等等。每次
刮
擦后,我都会导入
数据
。实际
浏览 4
提问于2020-12-08
得票数 1
回答已采纳
2
回答
将刮取
的
数据
导入
CSV
python
、
csv
、
screen-scraping
我正在使用py魅力和
Python
3.7。from pytrends.request import TrendReq pytrend.build_payloadinterest_over_time_
浏览 0
提问于2018-10-03
得票数 0
回答已采纳
1
回答
将
多行
Excel电子表格解析为maxscript
excel
、
3dsmax
、
maxscript
我正在尝试从excel
数据
中创建一个多维数组。我有
第一
行
,代表圆锥体1,有5列
的
值。我想,在很大程度上,我不确定保存
数据
的
最好方法是什么。我
的
第一
个想法是使用
python
CSV
模块将
数据
解析为
csv
,但这似乎不容易表示
多行
方面,尽管我相信我最终会弄清楚如何为它编写解析。
只
使用了Unity c#,没有好
的
文档就有点难了,谢谢!
浏览 3
提问于2016-09-16
得票数 0
1
回答
从正在抓取
的
页面上
的
链接检索信息
python
、
scrapy
、
hdf5
我在
python
3.5上使用scrapy构建了一个
刮
板
。 start_urls =
浏览 0
提问于2017-10-03
得票数 2
1
回答
在
Python
中选择后创建一个新
的
数据
集
python
、
csv
、
random
、
selection
、
new-operator
Python
完全是新手,我正在努力学习“领域”。基本上,我打开了一个
csv
文件,
只
选择在特定列中具有特定值
的
行
,然后打印行。对最简单
的
方法有什么想法吗?到目前为止,代码
的
部分如下: import
浏览 1
提问于2022-01-18
得票数 0
1
回答
刮
刮
-无法将
数据
上传到s3
python
、
scrapy
我正在使用
刮
除,从一个网站
的
数据
正在运行良好,但我不能上传
刮
数据
到亚马逊
的
s3。看一看
刮
擦
的
文档,这就是我
的
settings.py中
的
内容FEED_FORMAT = '
csv
': 2.9.7 cssse
浏览 0
提问于2018-06-19
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
《权力的游戏》最终季上线!谁是你最喜爱的演员?这里有一份Python教程
pandas指南:做更高效的数据科学家
用户画像准确性评测初探——拨开python大数据分析的神秘面纱
pandas.dataframe 专题使用指南
如何用150秒完成1000个Excel表格的合并
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券