腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(2391)
视频
沙龙
1
回答
如何用
python
爬
取数据并保存到excel?
利用
python
爬
取豆瓣电影排行榜(https://movie.douban.com/chart)的数据并保存到excel中。用相同代码
爬
取
网页
豆瓣top250的数据可以
爬
取到excel中,但将网址及相关信息改为
网页
豆瓣电影排行榜中的信息时便无法
爬
取,也找不出问题所在。以下图片为完整代码。
浏览 317
提问于2021-01-09
1
回答
异步
js
‘eachSeries中的缓冲区溢出
、
、
我在试着
爬
一个目录。我认为我正在使用异步
js
‘eachSeries进行溢出,因为我一直在广度优先搜索函数中将项添加到数组中。 在数组为空之前,有什么可以用pops /
去
队列的异步方式吗?
浏览 6
提问于2014-02-19
得票数 0
回答已采纳
1
回答
如何找到在不同的页面上是否实际需要包含的JavaScript文件?
、
、
、
我正在寻找一种方法来搜索站点(或顶级页面列表),并确定是否实际需要包含在相关页面上的
JS
文件,或者哪些页面确实需要特定的
JS
文件。 30k+文件在
网页
目录中,Google索引域的350k+页面。
浏览 4
提问于2013-12-10
得票数 4
1
回答
如何在找到的页面上抓取外部链接?
什么是最好的方式来遵循一个
网页
上的链接,索引该
网页
以及与nutch?如果我通过
python
执行bin/nutch,我能找回它找到的所有外部链接,并创建一个新的
爬
网列表来再次运行吗?你怎么做?
浏览 1
提问于2010-10-26
得票数 2
回答已采纳
2
回答
如何将“短链接”从"href“转换为实际的URL?
、
、
、
、
比方说,我在
爬
一个
网页
,我把它的所有链接都刮掉了。在
python
中,如何转换这样的链接:Products.aspx与以下实际链接的链接: https://example.com/Catalog.php
浏览 1
提问于2019-11-18
得票数 0
回答已采纳
5
回答
如何查看抓取的单码阿拉伯字符串?
、
、
我已经用
Python
抓取了一些
网页
。我去掉了html标签,只将这些页面的一些内容存储为repr(s)。这些
网页
中的大多数都不是英文的。现在,我如何才能以原始语言查看
爬
网内容?
浏览 2
提问于2011-04-28
得票数 1
回答已采纳
2
回答
为什么evaluateJavaScript只工作一次?
、
、
、
、
nextPage() mainFrame()->evaluateJavaScript("readweb.nextPage()");单击后,mainFrame应该加载一个新的url指向下一个
网页
(其中包含我想
爬
的图像)。在第一次单击之后,第二次单击并没有导致
网页
的新url loading.The
js
脚本已经加载,并且只加载了一次。 为什么不起作用?有人有类似的情况吗?
浏览 2
提问于2012-02-18
得票数 0
1
回答
如何找出有多少人在使用你创建的脚本?
、
、
我创建了一个jQuery插件,想知道是否有人知道有多少人在使用它?有没有办法抓取网站,并返回一个是,如果网站正在使用它?
浏览 0
提问于2011-09-19
得票数 0
回答已采纳
2
回答
滚动您自己的web爬虫来抓取一个有多个条目的特定网站。
、
什么样的语言能够处理编写自己的
网页
爬虫?但是如果我需要的话,我想有一个很好的理由去学习一门新的语言。
浏览 0
提问于2011-08-02
得票数 0
回答已采纳
2
回答
尝试使用
python
创建超链接
、
、
、
、
link = '<a href="https://google.com/{0}">{0}</a>'.format("search") link 我这样做,并以字符串形式获得此结果 '<a href="https://google.com/search">search</a>' 我只想看到单词"search“作为输出。我将把它转换成一个数据帧,只希望看到这个词。到目前为止,我看到了整个字符串,甚至在写回excel之后也是如此。
浏览 22
提问于2019-01-18
得票数 1
回答已采纳
1
回答
抓取输入来自文本框的
网页
。
、
、
我想
爬
这个网站:当我输入收据号码时,
网页
的网址在提交后不会更改。
浏览 2
提问于2015-08-20
得票数 0
回答已采纳
1
回答
从带有角
JS
标记(如ng-view )的web获取文本。
、
、
、
、
然而,我观察到的scrapy只适用于div、body、head等HTML标记,而不适用于角形
js
标记(如ng-view ),如果在ng-view标记中有任何元素,当我对页面进行右键单击并执行查看源时,标签内的内容就不会出现,它会显示为<ng-view> </ng-view>,所以我如何使用
python
预先在这个ng-view tags.Thanks中废弃元素。
浏览 1
提问于2015-06-05
得票数 1
1
回答
每页只能爬行几个项目
、
我刚开始刮擦,试着从几个网站上爬来
爬
去
,但没能从那里得到更多的图片。即使当我把它改为爬行每一个‘下’页,我得到相同的号码每页,但它通过所有的
网页
成功。 我尝试过不同的USER_AGENT、禁用COOKIES和5的DOWNLOAD_DELAY。
浏览 1
提问于2016-11-01
得票数 1
回答已采纳
1
回答
网页
不使用Chrome在
python
selenium中加载
、
、
、
我试着
爬
。当我手动这样做时,我首先看到一个页面,上面写着检查您的浏览器。等一下。然后,在大约一秒钟后,实际的内容将被显示出来。当我使用selenium时,我总是停留在等待片刻页面上。如何知道
网页
是自动访问的?selenium是否有一些额外的选项打开Chrome?
Python
版本:3.8 编辑:它可能有一些事情要做,selenium在将
网页
重定向到另一个
网页
时有问题(例如,参见)。当我访问时,它似乎将我重定向到,然后返回到。但是,中的解决方案建议使用
python
selenium中不存在的
浏览 4
提问于2022-04-20
得票数 1
2
回答
最好的方法移动到一个新的
网页
与请求-承诺?
、
、
我正在修改请求--答应我
爬
一个朋友的
网页
。我在他们的GitHub上使用了GitHub示例。var rp = require('request-promise'); var cheerio = require('cheerio'); // Basically jQuery for node.
js
浏览 4
提问于2018-10-30
得票数 0
回答已采纳
2
回答
在给定时间自动将
网页
保存在pdf上
我需要每天
去
这个
网页
,并保存在pdf上的文件,因为在网站上的数据是不能获得超过一天。然而,由于时间的限制或某些原因,我无法做到这一点,而且它真的很麻烦,每天
去
网页
,并保存在pdf上。如果有一个
python
脚本来完成这个任务,那么这个脚本也能工作。如果你能提供任何建议,我们将不胜感激。
浏览 0
提问于2020-01-28
得票数 0
回答已采纳
1
回答
记录站点访问的HTML代码
我没有任何网站创建经验,我使用的是一个预先制作的网站,每次有人上我的网站,我想在总访问量上增加+1。我希望将访问的总次数存储在数据库中。有什么帮助吗?(我不确定HTML是否能完成这项工作,就像我说的,没有经验。)谢谢!
浏览 4
提问于2016-12-05
得票数 0
1
回答
使用
Python
获取Excel数据和填写表单
、
、
、
我有一个excel工作表的数据,我想输入到一个
网页
表格上的方框。import pandas as pd(df['bx1'][0])当我将这段代码插入到用于网络
爬
网的代码中时,我得到了以下错误'TypeError: object of type 'numpy.int64'
浏览 21
提问于2020-02-22
得票数 2
回答已采纳
1
回答
如何处理爬虫中的页面更新?
、
所以,我们问我们的教授解决这个问题,他告诉我们寻找这些
网页
的网站地图。也就是说,我已经试着
去
调查这个问题了,但我没有发现任何可以帮助我的东西。如果有什么不同,我就重新
爬
这一页。 我想知道是否有一种更有效的方法来记录最近的页面
浏览 2
提问于2014-12-08
得票数 0
回答已采纳
1
回答
如何使用美汤从kick starter获取以下数据?
、
、
import BeautifulSoupresults = soup.find_all('div', attrs={'
js
-react-proj-card
浏览 3
提问于2019-06-10
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
利用Python和BeautifulSoup进行网页爬取
使用Python爬取动态网页-腾讯动漫
使用Python爬取动态网页-豆瓣电影
python:Requests+正则爬取网页数据
利用Python和Repl.it进行网页信息爬取
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券