腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何
通过
Web
抓取
网站
来
获取
元素
python
、
html
、
spring-boot
、
selenium
、
web-scraping
我正在
抓取
的
Web
页面表单如下: <html><body> <div>... </div> <div>...我想使用python中的selenium.webdriver或者可以集成到spring boot中的任何东西来
获取
元素
中的名称,比如jsoup库……
浏览 10
提问于2020-07-21
得票数 0
1
回答
使用phantomjs或node从
网站
上
抓取
通过
web
套接字传输的数据流
javascript
、
node.js
、
websocket
、
web-scraping
、
phantomjs
我想从一个
网站
上
抓取
数据。这些数据呈现在
网站
上的HTML画布上,并不断更新。据我所知,一个人不能从画布
元素
上
抓取
数据,因为它或多或少是一个图形。但事实仍然是,这些数据被流式传输到我的浏览器中,所以使用PhantomJS或NodeJS等无头JavaScript引擎,我应该能够访问从
web
套接字传出的原始数据。我已经使用PhantomJS
抓取
了
网站
,但我无法找到一种方法
来
获取
这些
通过
web</e
浏览 1
提问于2014-12-11
得票数 1
4
回答
Selenium Webdriver的替代方案
javascript
、
selenium
、
webdriver
我使用C#和Python的Selenium Webdriver从
网站
获取
数据
元素
,但
web
抓取
的速度非常慢。
抓取
35000个数据表花了我大约1.5天的时间。使用Selenium Webdriver,我可以执行Javascript
来
获取
Java
元素
。有没有一些库可以不需要像Webdriver这样的东西来在网页上执行Javascript
来
检索
元素
,并且能够点击
元素
?或者有没有比硒更快的
浏览 5
提问于2015-04-16
得票数 13
2
回答
在我的应用程序中显示来自其他站点的数据
android
、
web
我是编程新手,我想把这个
网站
的数据显示到我的活动中。简单的文本视图,只有名字和数字。问题是我不知道
如何
从这个
网站
获取
这些信息。
浏览 37
提问于2018-06-09
得票数 -2
回答已采纳
1
回答
和啦啦队一起使用regex还是通配符?
web-scraping
、
cheerio
一些
网站
在其类名中附加哈希代码,从而使
web
抓取
变得更加困难:
如何
通过
对类名使用regex或通配符
来
识别这样的DOM
元素
?
浏览 2
提问于2019-07-29
得票数 0
回答已采纳
2
回答
从iPhone应用程序中
抓取
网页的最好方法是什么?
iphone
、
mobile
、
web-scraping
我正在写一个iphone应用程序,我需要在50+
网站
上搜索数据。有什么建议吗? 谢谢罗翰
浏览 0
提问于2012-06-07
得票数 1
回答已采纳
4
回答
刷新我的
网站
的Google搜索结果
seo
当我搜索我的
网站
标题时,它显示在结果中,但它是他们的默认标题。几天前更改后,我的
网站
仍然显示默认标题,而不是我更改后的标题。
浏览 1
提问于2012-03-29
得票数 15
回答已采纳
1
回答
C# - MYSQL
获取
特定行列数据
c#
、
mysql
、
database
、
row
、
vbulletin
所以我开发了这个程序,
通过
mysql身份验证登录到vBullet.com
网站
,然后我需要
抓取
登录用户的订阅数据。我不太确定该怎么做,我已经被它绊倒了将近两天了。我有所有的mysql连接和登录代码完美,但我一直倾注
如何
做这项任务。耽误您时间,实在对不起!
浏览 0
提问于2015-09-02
得票数 0
1
回答
WebHarvest -使用身份验证
抓取
数据
webharvest
我正在使用WebHarvest工具从几个
网站
抓取
web
数据。我已经看过了示例,但是找不到一种方法
来
在
网站
上进行身份验证,然后从
网站
上
抓取
数据。 谁能举出一个
通过
身份验证实现
web
数据
抓取
的配置示例?
如何
发送登录参数,然后接收主页内容?感谢你在这方面的帮助。
浏览 9
提问于2014-04-14
得票数 1
1
回答
下面的JavaScript代码与Facebook相关
javascript
附加到fb-root
元素
的结果。 这个异步函数是做什么的?为什么它被称为“刮板”?
浏览 0
提问于2012-09-08
得票数 0
回答已采纳
1
回答
如何
测试使用Selenium的Java代码?
java
、
unit-testing
、
selenium
、
junit
我有一个Java应用程序,它正在使用Selenium扫描
网站
。它正在
抓取
网站
的所有页面。其中一些页面是
通过
选择组合值、单击某些按钮
来
动态生成的。这个应用程序的目的是在
网站
的所有页面中爬行,并保存HTML源代码和它遇到的所有页面的屏幕截图。这些网页的内容和结构随着时间的推移而不断变化。应用程序运行得很好,但是需要经常更新调用webdriver和
获取
元素
以输入值的设置组合以及单击按钮以访问所有页面的方法,因为
网站
的HTML结构经常变化。现
浏览 0
提问于2014-02-19
得票数 2
3
回答
在google搜索中显示
网站
html
、
asp.net
、
twitter-bootstrap
当用户输入
网站
搜索关键词时,它应该会在搜索引擎中出现,但我的关键词根本不会在搜索引擎中显示。我发现meta标签可以使我的
网站
在搜索引擎中显示,但它仍然可以做我想要的事情<head runat="server"> <meta charset="utf-8" /www.solutionholdings.com.my" content="solution engineering holdings berhad&
浏览 5
提问于2016-04-13
得票数 0
1
回答
网页
抓取
当前的镀铬标签
python
、
selenium
、
google-chrome
、
url
、
web-scraping
目前,我知道你可以
通过
首先定义一个URL,打开它,然后读取信息
来
进行
web
抓取
。然而,我正在寻找一种从当前打开的窗口中
获取
信息的方法。有没有办法从打开的chrome标签页上进行屏幕/网页
抓取
?
浏览 4
提问于2021-05-20
得票数 0
1
回答
获取
网站
的主颜色
javascript
、
php
、
html
、
css
我喜欢苹果
通过
请求元应用程序图标
来
做到这一点,所以我制作了一个JavaScript / Ajax / PHP函数来完成这项工作。 safari上的苹果书签(背景有
网站
主颜色)chrome书签(底部的边框有
网站
的主颜色我认为可以
通过
索引多个html标记(如标题、a标记、按钮等)
来
实现。在
网站
上。 这些
元素
的颜色
浏览 1
提问于2015-10-20
得票数 0
回答已采纳
1
回答
asp.net mvc应用程序中的网络浏览器托管问题
asp.net-mvc
、
web-scraping
在我的Asp.Net MVC
web
应用程序中,我必须
通过
网站
从站点
获取
数据。对于刮取数据,我需要登录到站点,然后
通过
单击菜单选项卡到达一个站点,然后从该页面中刮取数据。该站点的刮除包含2帧。我以前
通过
windows控件在我的一个windows项目中实现了
web
抓取
。 我遵循以下将
web
浏览器控件集成到我的
web
应用程序中。在visual环境下,一切都很好,我
通过
web
浏览器<em
浏览 3
提问于2013-07-18
得票数 6
1
回答
有没有办法
通过
请求HTML找出哪些
元素
在DOM层次结构中的
元素
之上
html
、
css
、
python-3.x
、
python-requests-html
我正在使用python做一个项目,使用requests HTML进行
web
抓取
,我遇到了一个问题,在我试图
抓取
的
网站
上,HTML的一部分在两个地方的结构是相同的(一个用于移动设备,另一个用于桌面)。当我使用.find()方法时,它会同时
获取
这两个参数。区分它们的唯一方法是
通过
它们上面的div的id。有没有人知道有没有一种方法可以搜索另一个
元素
之上的
元素
,有点像.find()的对立面。
浏览 20
提问于2019-07-04
得票数 0
2
回答
抓取
链接/Href CSS
python
、
css
、
web-scraping
、
css-selectors
下面的代码
抓取
了LinkedIn上用户的姓名、公司和位置。代码需要LinkedIn的登录凭据,如果您对此持怀疑态度,可以使用假帐户。
浏览 0
提问于2020-11-18
得票数 0
2
回答
如何
在24小时内从动态加载的网页中
抓取
超过5万个数据点?
python
、
selenium
、
web-scraping
我正在使用selenium python,我想知道
如何
在24小时内有效地
抓取
超过50,000个数据点。例如,当我在网页'insight.com‘上搜索产品时,
抓取
器大约需要3.5秒
来
搜索产品并
获取
其价格,这意味着对于大量数据,
抓取
器需要几天时间。从使用线程同时查找多个产品的一部分,我还可以
如何
加速这个过程?我只有一台笔记本电脑,将不得不同时
抓取
其他六个类似的
网站
,因此不想要太多的线程,计算机的运行速度将显着减慢。人们
浏览 28
提问于2020-06-18
得票数 2
2
回答
获取
具有特定span类python selenium的页面中的所有
元素
python
、
selenium
、
html-table
您好,我正在尝试使用python中的selenium
抓取
多个页面。我感兴趣的是提取属于span类
元素
的所有
元素
,基本上我想做的是
获取
span类
元素
,然后提取其中的链接。对于每个页面,都可以
通过
使用xpath
来
实现这一点,但是每个对象和每个页面的xpath都会发生变化。下面是一个
web
元素
的示例: 📷 基本上,我想提取
元素
,这是一致的,在所有的页面,我将
抓取
。所以我的想法是
获取</em
浏览 30
提问于2020-10-29
得票数 0
回答已采纳
1
回答
如何
在asp.net中
获取
网页上所有链接的坐标位置?
c#
、
html
我的确切要求是制作一个缩略图,并标记网页的链接位置。网页urls将被动态传递。为此,我需要得到链接坐标。有没有其他方法可以做到这一点?
浏览 0
提问于2012-09-22
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
网站访客手机号抓取,APP数据获取是如何实现的?
如何通过数据抓取来协助获取商业情报?IPIDEA与您分享
如何通过网站优化来提高页面权重?
外包网络推广公司浅析网站如何通过修改网站标题来提升排名?
利用Python和Repl.it进行网页信息爬取
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券