温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:05
假如你是一名AI开发者,你的AI代理需要实时搜集网络信息、比较价格、监控竞品、采集数据。传统方案,比如写爬虫处理、验证码、运动封禁等等。然而现在有一个更聪明的方案b data agent browseer让你的AI代理像真人一样浏览任何网站。它可以让您部署和控制具备内置网站解锁功能的云端浏览器,比如验证码处理、浏览器指纹自动重试等等,从而为你节省时间和资源。我将在百度进行cloud deepsick chat GPT三个关键字搜索,并自动采集结果,全程自动化,无需人工干预。接下来看一下我们是如何实现的,登录到credit官方后台之后,选择左侧菜单web size, 选择create an API, 选择第一个浏览器API,然后点击继续。
01:00
这里可以设置API的名称描述,还可以进行高级设置、自定义头和cookies。随后我们点击添加API,可以看到API正在创建中,创建成功。这里我们打开API设置,可以看到它有操作平台和API实例。接下来我们根据事例来编写我们的代码,进行爬虫。U2是爬虫的网站,接下来是爬虫关键字browse ws是agent browse的web socket的链接。接下来看一下我们是如何实验的,这里是通过关键字进行获取结果,然后通过关键字进行爬取数据,最终我们将数据保存下来。接下来我们执行一下代码。
02:25
可以看到程序已经在自动执行,并且根据关键字进行爬取结果可以看到他正在搜索deeppick。接下来开始搜索chat GPT.可以看到数据,很快就patch完毕。这里我们可以看一下最终的爬取结果。
03:06
可以看到数据主要有title和link。并且每一个关键字都有很多条数据。在整个patche过程中,效率非常高,没有任何封禁,也不需要人工操作。另外,量数据在github和GIATE1都有官方账号,并且提供相关技术介绍以及代码示例可供参考及下载。如果大家想了解更多详细的内容,可以关注BAT的CSDN官方账号以及微信公众号。
我来说两句