腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
使用selenium和python
抓取
数据
时遇到问题
python
、
python-3.x
、
selenium
我正在尝试使用selenium从网页中
抓取
一些
数据
。我已经成功地让selenium在树莓派上无头工作,我可以连接到我试图
抓取
的网页,返回页面的标题,并返回我连接到的URL。我一直在看教程中关于如何
抓取
数据
的示例,它们都是这样的:然而,我试图
抓取
的网页中的每一块
数据
都有相同的
类
名。举一
浏览 5
提问于2021-03-16
得票数 0
1
回答
关于XPath选择器的问题(用于Scrapy)
python
、
scrapy
、
web-crawler
、
screen-scraping
目的:从div
类
list_area daily_all中
抓取
文本
数据
。使用scrapy shell,我首先“
抓取
”了我想要
抓取
数据
的网站:https://comic.naver.com/webtoon/weekday.nhn 使用'scrapy shell‘脚本:scrapyshell 'https://comic.naver.com/webtoon/weekday.nhn' 使
浏览 18
提问于2019-06-10
得票数 2
3
回答
我应该使用Kotlin
数据
类
作为JPA实体吗?
hibernate
、
jpa
、
kotlin
我使用Kotlin
数据
类
作为JPA @Entity
类
。但是现在,关系出现了一些问题延迟
抓取
不适用于
数据
类
。我了解到Kotlin
数据
类
默认是'final‘,所以Hibernate不能为它们生成代理。我想知道将Kotlin
数据
类
用作JPA @Entity
类
是不是一个错误,或者有其他方法可以
浏览 4
提问于2019-09-27
得票数 12
回答已采纳
2
回答
如何使用BeautifulSoup
抓取
IMDB网站中的电影描述?
python
、
web-scraping
、
beautifulsoup
我正在使用BeautifulSoup
抓取
IMDB网站上的电影。我能够成功地
抓取
电影的名称,类型,时长,分级。但我无法
抓取
电影的描述,因为当我查看
类
时,它是“文本静音”的,因为这个
类
多次保存其他
数据
,如评级,流派,持续时间。但由于这些
数据
也有内部类,所以对我来说更容易
抓取
它,但当涉及到描述时,它没有任何内部类。因此,当提取
数据
时,仅使用"text-muted“也会给出其他
数据
。我如何才能获得电影的描述?我用来
浏览 37
提问于2020-08-29
得票数 0
2
回答
如何为scrapy编写规则以添加访问过的urls
python
、
scrapy
、
web-crawler
我想给scrapy一组网址,已
抓取
,当它是开始。如何向爬虫添加规则,让爬虫知道哪些urls被访问过?tags=('a', 'area'), attrs=('href'), canonicalize=True, unique=True, process_value=None) 只需使用parse告诉爬虫
抓取
哪个
浏览 0
提问于2012-11-28
得票数 3
1
回答
使用ASP.NET MVC应用程序定期插入Azure
数据
库
c#
、
asp.net
、
asp.net-mvc
、
azure
我想知道如何实现一个解决方案来检索我
抓取
的
数据
,并将其用于在ASP.NET MVC应用程序中显示。当前的实现
抓取
数据
并将其从控制器显示到视图,然而,通过这样做,由于在处理查看具有
抓取
的
数据
的页面的请求时运行的刮取器,查看网页的请求将花费非常长的时间。 有没有什么实现可以将
数据
检索和网站分开?目前,我有一个
抓取
数据
的控制台应用程序
抓取
器
类
,以及一个显示
数据
的ASP.NET MVC应用
浏览 3
提问于2016-03-16
得票数 3
2
回答
jpa criteriabuilder查询禁用即时获取
jpa
我有一个person对象,它有一个地址列表,在映射中,它被注释为立即获取。实际的代码不是这个simple...this只是给你举个例子。
浏览 4
提问于2011-04-07
得票数 2
回答已采纳
2
回答
将程序生成的
数据
与存储在
数据
库中的
数据
进行比较的最佳方式?
c#
、
.net
、
sql
、
sql-server
、
.net-3.5
我正在编写一个C#应用程序来从网站上
抓取
数据
,然后用它来更新
数据
库表。 我
抓取
的
数据
与
数据
库中的10行
数据
相关。我们只想在
数据
实际发生更改的情况下插入
数据
。我已经编写了SQL过程来进行更改,但我不确定如何实现第一阶段-检查程序生成的
数据
(从网站上
抓取
)是否与SQL Server中已存储的
数据
不同。我目前的方法是在我的程序中使用表示
数据
的
类
,填充这
浏览 1
提问于2012-11-15
得票数 0
回答已采纳
2
回答
如何阻止在Drupal网站上的
抓取
?
drupal-7
、
web-scraping
我有一个Drupal网站,上面有大量的
数据
。但是,由于Drupal
类
和ID非常一致,人们可以很容易地
抓取
站点。 我在为失败的事业而战吗?我不确定“
抓取
”是否是官方术语,但我指的是人们编写脚本的过程,即“
抓取
”一个网站并分析其中的部分,以便提取
数据
并将其存储在自己的
数据
库中。
浏览 2
提问于2015-03-23
得票数 0
回答已采纳
1
回答
通过知道R中的CSS
类
来
抓取
嵌入式交互式地图的详细信息
css
、
r
、
web-scraping
、
rvest
我打算在这个中从地图中
抓取
数据
首先我
抓取
了地图中所有标记的所有经度,但我无法捕捉到标记的其他信息。在对此网页的检查中,我发现所需
数据
的
类
是"infodetail“,如下图所示:因此,我使用rvest提取
数据
,如下所示: webhtml <- read_html(webpage) webnod如何找到html_nodes的确切
类
或参数?这个
类
是否从所有标记中提取信息?
浏览 1
提问于2018-05-22
得票数 0
4
回答
如何在
抓取
的CrawlSpider中访问特定的start_url?
python
、
django
、
scrapy
我正在使用Scrapy,特别是Scrapy的CrawlSpider
类
来
抓取
包含某些关键字的web链接。我有一个相当长的start_urls列表,它从一个连接到Django项目的SQLite
数据
库中获取条目。我想将
抓取
的web链接保存在此
数据
库中。为了将
抓取
的web链接正确地保存到
数据
库中,我需要告诉CrawlSpider的parse_item()方法,
抓取
的web链接属于哪个起始url。我该如何做呢?Scrapy的DjangoItem
类</em
浏览 1
提问于2012-05-15
得票数 7
回答已采纳
2
回答
如何在web服务器上验证http请求
asp.net
、
html
、
web
、
webserver
、
oauth-2.0
3)然后,callback.aspx将收集到的
数据
(从另一个服务器)发送到网页test2.aspx(简单的web表单post)。现在,我的问题是如何确保发送到test2.aspx的收集
数据
只来自callback.aspx,而不是其他任何地方。我的意思是,任何黑客都可以通过post或get请求向test2.aspx发送虚假
数据
。 callback.aspx有点像认证脚本,如果它说用户已被认证,test2.aspx必须相信用户已被认证。
浏览 3
提问于2013-02-12
得票数 3
1
回答
从"div“
类
中
抓取
数据
xml
、
r
、
web-scraping
我尝试使用下面的脚本从td
类
中
抓取
数据
: nArticles <- getNodeSet(pagetree,"//*/td[@class='bg1 W1']//*/li[@class='LI2 font28
浏览 0
提问于2012-02-22
得票数 1
回答已采纳
1
回答
如何获取Python Scrapy工具
抓取
的项目数?
python
、
scrapy
我正在使用Python Scrapy工具从网站提取
数据
。我能够
抓取
数据
。现在我想要从一个特定的网站上刮下来的项目的计数。我怎样才能得到
抓取
的项目数?在Scrapy中有内置的
类
吗?任何帮助都将不胜感激。
浏览 0
提问于2013-10-24
得票数 1
1
回答
PYTHON:如何使用BeautifulSoup将表解析为pandas
数据
帧
python
、
csv
、
web-scraping
、
beautifulsoup
、
seaborn
我正在尝试从疾控中心网站上
抓取
最近7天新冠肺炎报告病例的
数据
。我试着通过名称,id,
类
来查找这个表,它总是以类型返回。当我打印
抓取
的
数据
时,我也无法在html中手动定位表格。不知道我到底做错了什么。导入
数据
后,我需要填充pandas
数据
框以供稍后用于绘图,并将
数据
表导出为csv。
浏览 1
提问于2020-10-18
得票数 1
1
回答
如何使用pandas将我的python web
抓取
数据
导出到现有excel文件中的特定工作表?
python
、
excel
、
web-scraping
、
request
、
css-selectors
我想使用pandas将Python中的新
数据
添加到同一Excel文件中的新工作表中。有没有可能做到这一点而不影响我之前的
数据
?我是新来的。谢谢你的帮助!
浏览 49
提问于2018-08-19
得票数 0
回答已采纳
2
回答
是否可以使用特定的
类
从html元素中刮取
数据
?
php
、
regex
我想出了各种方法来
抓取
数据
。这里我从表td中刮取
数据
我想从页面中
抓取
评论和它的比率值
浏览 3
提问于2014-03-26
得票数 3
回答已采纳
2
回答
如果在python中扩展一个
类
,如何导入另一个
类
并使用它?
python
、
mysql
、
class
、
scrapy
所以我在玩Scrapy,它是一组
类
,允许你进行web
抓取
,我想把一些
数据
放到
数据
库中,但我让truble在扩展scrapy库的同时导入MySQL方法。
浏览 2
提问于2011-12-10
得票数 0
回答已采纳
3
回答
从web的
数据
抓取
类
返回
数据
?
iphone
、
ios
、
nsurlconnection
我正在尝试创建一个
类
,让我从web服务获取所请求的
数据
。我被困在如何返回值上了。问题是DataGrabber异步获取
数据
,并最终从多个NSURLConnection委托方法跳转而来。在FooClass中,如何知道何时接收到
数据
?
浏览 1
提问于2010-10-08
得票数 1
回答已采纳
1
回答
我是否可以使用异步活动来扩展活动?
android
我要做的就是在我的应用程序的主页上设置一个“活动”,它可以做3件事:1)
抓取
本地时间/日期,2)
抓取
经度/纬度,3)把所有这些都放到mysql
数据
库中。所以我的问题是,我是否需要扩展activity,或者我是否可以拥有一个只扩展asynctask的主
类
?异步任务的原因是执行以下操作,
抓取
所有onPreexecute,然后将
数据
推送到"doInbackground“上的mysql中? 这样行得通吗?
浏览 1
提问于2015-03-30
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Excel自动抓取网页数据,数据抓取一键搞定
Python数据抓取(3)—抓取标题、时间及链接
抓取整个网站-免费抓取整个网站数据信息软件
什么是网站数据抓取
如何对大数据进行抓取
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券