如何采集javascript动态加载网页

原创

jackcode

发布于 2023-05-24 14:24:17

8790

发布于 2023-05-24 14:24:17

文章被收录于专栏：爬虫资料爬虫资料

从一个运行 javascript 的网站加载所有数据来加载内容，目前的问题是当运行启动代码时它无法加载 javascript 内容，因为用户应该向下滚动才能加载。如何编写启动代码来滚动整页呈现 javacript 并返回 html呢？

为了加载运行JavaScript来加载内容的网站上的所有数据，可以修改Splash代码以模拟滚动并确保整个页面呈现，从而能够检索所需的HTML内容。以下是可以采用的示例方法：

function main(splash, args)
  -- 亿牛云（动态转发隧道）爬虫代理加强版
  -- 设置代理IP和认证信息
local proxy = "www.16yun.cn"
local proxy_port = 12345
local username = "16YUN"
local password = "16IP"

-- 设置代理
splash:set_proxy{
  host = proxy,
    port = proxy_port,
    username = username,
    password = password,
    }

assert(splash:go(args.url))  -- 导航到目标URL
assert(splash:wait(args.wait))  -- 等待初始内容加载

-- 设置滚动参数
local scroll_delay = 1  -- 调整每次滚动之间的延迟
local scroll_steps = 10  -- 调整滚动步数
local scroll_height = splash:evaljs("document.body.scrollHeight")

-- 滚动到页面底部
local scroll_to_bottom = splash:jsfunc([[
  function() {
    window.scrollTo(0, document.body.scrollHeight);
  }
]])

for _ = 1, scroll_steps do
  scroll_to_bottom()  -- 滚动到页面底部
splash:wait(scroll_delay)  -- 等待页面滚动
end

-- 在滚动后等待最终内容加载
assert(splash:wait(args.wait))

return {
  html = splash:html()  -- 返回HTML内容
}
end

在上述代码中，我们使用爬虫代理IP提高访问成功率，同时使用Splash脚本API导航到目标URL并等待初始内容加载。然后，我们定义滚动的参数，包括每次滚动之间的延迟、滚动步数和页面的初始滚动高度。

接下来，我们使用jsfunc创建一个JavaScript函数（scroll_to_bottom()），通过将垂直滚动位置设置为文档高度，将页面滚动到底部。我们在循环中使用此函数多次模拟滚动，每次滚动后等待页面滚动并加载新内容。

在最后一次滚动后，我们等待额外的内容加载，然后返回完全呈现页面的HTML内容。

请根据您所针对的具体网站调整scroll_delay和scroll_steps的值，以确保足够的滚动和内容加载。

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

javascript