腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
从多个
页面
中
抓取
表格
python
、
beautifulsoup
我想从网站上
抓取
数据。这个表扩展到多个
页面
上,但是url没有像page=3这样
的
东西,所以我不能遍历各个
页面
来获取数据。 有没有其他方法可以像这样
抓取
数据,而不会在
不同
的
页面
上
循环
?
如何
从
python
访问
不同
的
页面
来
抓取
数据?
浏览 19
提问于2018-03-04
得票数 0
2
回答
如何
使用
Python
循环
抓取
不同
的
页面
python
、
web-scraping
、
beautifulsoup
、
automation
、
stat
因此,我
使用
这段代码
的
目的是提取有关我
的
NFL球队中
的
一名新秀
的
信息。我想将他
的
表现与上赛季排名前十
的
球员进行比较,当时他们在第一个赛季打了超过10场比赛。为此,我引用了《迈向数据科学》中
的
一篇文章作为参考,其中他们解释了
如何
抓取
NFL数据。我
如何
改进它来创建一个
循环
?我已经尝试了一些东西,但对于所有这些想法,它们要么工作得不好,要么超出了我成功执行
的
能力范围。我
浏览 36
提问于2021-09-22
得票数 0
回答已采纳
1
回答
硕士研究生项目未研究数据
的
数据挖掘
dataset
、
data-mining
、
data
、
research
、
scraping
因此,我必须开始思考我在数据科学硕士学位(面向商业,尽管我可以选择任何不相关
的
领域)
的
最后项目的主题,其中一个要求是挖掘和
使用
尚未在学术研究环境中进行分析
的
数据。我倾向于避免典型
的
从twitter或其他常见
的
信息资源中刮取数据。如果您能给我一些关于
如何
找到一个可访问
的
数据源
的
想法或指导,我将非常感激,这也不需要太多
的
时间来获取信息。 非常感谢你
的
帮助!
浏览 0
提问于2022-06-17
得票数 0
回答已采纳
3
回答
如何
从网站拉取信息到我
的
项目中?
python
、
html
、
module
我有一个问题,那就是从网站获取信息到我
的
python
项目中(当项目正在运行时)。我还没有写过任何代码,因为我是这种编程
的
初学者。我想问你,我需要哪些模块以及
如何
使用
它们,如果你们中
的
一些人可以,我将感谢一些代码
的
例子。
浏览 1
提问于2020-09-18
得票数 0
1
回答
通过Scrapy或Excel查询搜索
的
Python
via
抓取
?
python
、
excel
、
web-scraping
、
scrapy
我
的
问题与发现通过Scrapy执行
Python
Web
抓取
的
总体效率有关,而不是简单地通过Microsoft Excel为特定任务执行Web查询搜索。 我想做
的
是自动从NFL网站上提取数据。我知道我可以简单地将信息复制并粘贴到Excel电子表格上,但这不是我想要做
的
。我正在尝试发现一种自动化过程
的
方法,这样我就不需要自己手动完成了。当涉及到通过Scrapy
的
Python
Webscrape时,挑战是开发代码来获得我正在寻找
的<
浏览 2
提问于2018-10-18
得票数 1
3
回答
抓取
urls
的
抓取
顺序
python
、
scrapy
我有个关于scrapy和
python
的
问题。我有几个链接。我
使用
循环
在一个脚本中
抓取
每个脚本中
的
数据。但
抓取
数据
的
顺序是随机
的
,或者至少与链接不匹配。所以我不能将每个子
页面
的url与输出
的
数据进行匹配。 喜欢:
抓取
的
网址,data1,data2,data3。Data 1,data2,data3 =>这是可以
的
,因为它来自一个
循环</
浏览 0
提问于2018-04-18
得票数 0
1
回答
我
的
for
循环
在我
的
gamestop
的
刮板上没有被读取
python
、
python-3.x
、
web-scraping
、
beautifulsoup
我无法读取他
的
for
循环
并获取项目列表,它根本不打印任何内容,并跳过整个
循环
导入请求import re from bs4 import BeautifulSoup maxPages = 10 maxPages
浏览 0
提问于2018-08-02
得票数 0
1
回答
BeautifulSoup在解析带有POST表单操作
的
html时出现问题
python
、
beautifulsoup
、
urllib2
、
mechanize
点击此链接
使用
urllib2登录:<div id="gridContainer"
浏览 24
提问于2017-02-26
得票数 0
1
回答
使用
curl
抓取
大
页面
php
、
curl
、
screen-scraping
我正在尝试从一个流行
的
新闻网站上收集评论,以便
使用
curl进行学术研究。对于评论少于300条
的
文章,它可以很好地工作,但在此之后,它就会陷入困境。$html = curl_exec($handle);echo $html; //just to see what's been scraped但是这个只返回了36条评论,尽管总共有700+: 为什么它在拥有大量评论
的
文章中苦苦挣扎?
浏览 2
提问于2012-08-23
得票数 0
1
回答
Python
Webscraping
抓取
循环
页面
python
、
loops
、
beautifulsoup
我最近开始了我
的
第一个数据科学项目。我想分析具体
的
工作待遇,因此需要从一个工作门户收集一些数据。但是,一旦我试图遍历
页面
Projec
浏览 6
提问于2022-02-10
得票数 1
回答已采纳
1
回答
Python
web
抓取
页面
循环
python
、
python-3.x
、
web-scraping
我已经写了一个
抓取
器,它成功地从网站
的
第一页
抓取
了我需要
的
一切。但是,我想不出
如何
让它在
不同
的
页面
中
循环
。url只是简单地递增,就像这样BLAH/3 + 'page=x‘ 我学习编程
的
时间并不长,所以任何建议都将不胜感激!
浏览 0
提问于2016-12-09
得票数 3
回答已采纳
2
回答
使用
Python
从异常
页面
再次爬行
python
、
for-loop
、
try-catch
、
except
我
使用
for
循环
来
抓取
网页。然而,当我
抓取
一些
页面
时,我遇到了ip请求限制错误。当我每隔20页爬行一次时,我曾尝试让
python
休眠几秒钟,然而,错误仍然存在。我可以在
python
休眠60秒后重新开始爬行。 问题是,每次出现异常时,我都会丢失一页信息。看起来
python
使用
try-except方法跳过了异常
页面
。我想知道最好
的
方法是重新启动,从遇到异常
的
页面
再次爬
浏览 3
提问于2012-05-20
得票数 0
1
回答
如何
用
python
制作网站图?
python
、
graph
、
python-2.7
我想做一个
python
脚本作为输入主网址,例如:,然后它递归地遍历所有
页面
,并制作站点及其子
页面
的所有
页面
(节点)
的
有向图,当且仅当在节点a(
页面
a)到节点b(
页面
b)中存在链接时才有边缘。我假设有这样
的
东西,但我在谷歌上没有找到...如果有任何想法,也许可以
使用
wget who,这是我想听到
的
其他想法。
浏览 1
提问于2012-05-23
得票数 1
回答已采纳
2
回答
如何
从外部网站重建图像预览?
ruby-on-rails
、
image
、
facebook
、
url
、
preview
类似于Facebook
的
用户界面,我正在尝试从外部链接
的
网站生成预览图像。因此,当用户输入他正在链接
的
url时,UI将默认地扫描该站点
的
img并
抓取
预览拇指。非常感谢!
浏览 1
提问于2011-01-02
得票数 5
回答已采纳
1
回答
使用
Selenium和Scrapy通过onclick
抓取
显示
的
数据
python
、
selenium
、
scrapy
我
使用
Scrapy用
python
编写了一个脚本,以便
使用
身份验证从网站上
抓取
数据。我正在
抓取
的
页面
真的很痛苦,因为主要是由javascript和AJAX请求组成
的
。
页面
的所有主体都放在允许
使用
submit按钮更改
页面
的<form>中。URL不会改变(而且是一个.aspx)。我已经成功地从第一页
抓取
了所需
的
所有数据,然后
使用
以下代码更改
浏览 38
提问于2019-02-21
得票数 0
1
回答
触发AJAX时获取JSON文件
ajax
、
json
、
web-crawler
我正在编写一个爬虫从一个
使用
AJAX
的
网站获取内容。在
页面
底部有一个“显示更多”按钮,我最初
的
方法是
使用
Selenium.PhantomJS来伪装成一个web浏览器,但它在一些网站上可以工作,有些不能。我想知道是否有什么方法可以直接获取AJAX操作
的
底层JSON文件。请告诉我一些细节,谢谢。 顺便说一下,我
使用
的
是
Python
。
浏览 0
提问于2014-07-23
得票数 0
1
回答
Web
抓取
-
如何
提取URL中
的
链接类型?
python
、
web-scraping
我有一个URL列表,我必须从每个URL中提取链接,并为每个链接提取该链接
的
类型(表单,跟踪码,同一网站上
的
另一个
页面
,外部网站等)。 我
的
问题是:您认为这在
Python
库中可行吗?
浏览 47
提问于2019-06-20
得票数 0
1
回答
在木星笔记本上
使用
python
请求和异步
抓取
JavaScript
页面
python-3.x
、
asynchronous
、
jupyter-notebook
、
python-asyncio
--这与 大不相同,因为这个问题甚至不
使用
请求进行
抓取
,而是只用于会话和获取
页面
内容。我对美汤
的
使用
方式也是如此。 我也尝试过。但他们也没有解释
如何
有效地
使用
请求获取JavaScript内容。我试图从JavaScript代码呈现
的
网页中
抓取
信息。我在木星笔记本中
使用
requests模块。r = await asession.get('http://
python
-req
浏览 3
提问于2019-10-29
得票数 1
1
回答
从html
页面
不显示数据
的
url读取数据
beautifulsoup
、
python-3.5
r = s.get(link) print(soup.prettify()) 但是我看不到网页
的
内容
如何
提取它们?
浏览 1
提问于2020-02-05
得票数 0
1
回答
尝试
使用
Python
的
Scrapy包,但它总是在不应该返回
的
地方返回空值
python
、
python-3.x
、
web
、
scrapy
、
screen-scraping
我
的
程序在不应该返回空值
的
地方一直返回空值,然后就崩溃了。我制作了我
的
程序
的
一个简化版本: #-------------------------------------------------------------------------------import refrom math import ceil os.chdir("C:/Users/Owner/Desktop
浏览 17
提问于2020-03-27
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python 循环语句的使用
使用Python进行网页抓取的介绍
使用Python实现点击按钮退出循环的方法
for循环和else连用结构,结合break关键词使用有何不同?【Python编程技能问答001】
56个Python使用技巧,从此你的Python与众不同!
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券