温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
哈喽,亲爱的粉丝朋友们们,大家好,我是CCN博主袁满,欢迎大家来到这一期视频。最近有粉丝问我有没有不需要写代码的爬虫工具,有的有的,博组最近发现量数据推出了全球第一个网页MCP没有编程基础,只需要提供目标网站和需求,就可以轻松爬取我们需要的数据,点击立刻开始,接下来和博总一起来体验一番吧。这里我们来到了量数据的管理后台,可以看到量数据为我们每月提供了5000次免费请求次数,足以满足我们的日常需求,采集使用的。然后有两种模式,快速模式默认节省投品用于搜索和提取,然后高级模式可以设置解锁区,浏览区,浏览器区域可用于结构化内容检索,并远程启动浏览器。接下来我们来到演示环境,演示环境可以看到电数据为我们提供了。60款的工具软件可以爬取很多的网站,我们可以选取自己最合适的工具进行采集,并且量数据的网页MCP可以集成到。
01:11
现在主流到所有大模型中。然后也支持本地部署和浏览器发送请求式的部署。有需要的大家可以自行去部署。然后我们本次测试的网站是新浪财经股票网站,然后这个网站是具有反华措施的。一般的请求是无法获取到数据的,但是量数据的网页MCD在大模型和人工智能的加持下,在搜索和爬取期间可以有效解决网页限制,绕过多种反扒机制。然后我们这里直接来测试提问,可以这么提,帮我获取这个网站的股票数据,然后附上网址并导出Excel。然后我们来到这里,点击那个黄色。
02:02
然后这下方可以看到像数据的网页MCP为我们提供了三种大模型可以供选择,我们这里选择PPT4.1。然后我们将这个提问直接复制进行发送。然后等待它加载。这时候正在进行初始化。说实话,成功了以后。然后我们点确定方红把。好,这时候开始采集数据。可以看到,他已经成功帮我们把图纸打印出来的。然后我们可以根据提成。然后出现。
03:05
这一页它就已经获取成功了,那我们接下来要翻页的话,可以。直接把这个发过来下。我们将这个后缀的意思页码改一下。对。我不确定。
04:03
可以看到量数据非常简单的就解决了网站数据获取难的问题,可以有效的解决反扒机制。然后量数据的网页MCP非常适用于网页抓取数据即可市场调研和AI训练的场景,有需要的大家可以自己尝试一下。然后6数据的CN账号。OS.China专区,然后亮数据的github。量数据的知乎,还有量数据的微信公众号,大家都可以搜索关注,他会不定期的发一些粉丝福利和有奖活动的,然后大家可以自己搜索关注,还会不定期发一些。拿出相关的知识点来拓展大家的积累。大家可以自行关注。
我来说两句