Python请求模块在本地提供“请启用JavaScript来查看页面内容”，但在AMI和Heroku服务器上工作

基础概念

在使用Python进行网络请求时，通常会使用requests库来发送HTTP请求。然而，某些网站会检测到非浏览器的请求，并返回提示“请启用JavaScript来查看页面内容”，这是因为这些网站使用了JavaScript来动态加载内容或者进行了反爬虫处理。

相关优势

• requests库：简单易用，适合进行基本的HTTP请求。
• 无头浏览器：如Puppeteer（Node.js）或Selenium（多语言支持），可以模拟真实用户的行为，执行JavaScript代码。

类型

• 静态页面请求：直接通过HTTP请求获取页面内容。
• 动态页面请求：需要执行JavaScript才能获取完整的页面内容。

应用场景

• 数据抓取：从网站上抓取数据进行分析或展示。
• 自动化测试：模拟用户操作，测试网站功能。

问题原因

在本地环境中，可能使用了某些浏览器插件或设置，使得即使使用Python请求也能看到JavaScript渲染后的页面内容。而在AMI和Heroku服务器上，这些插件或设置不存在，因此直接使用requests库请求时，服务器返回的是未经过JavaScript渲染的页面。

解决方法

使用无头浏览器

可以使用Selenium配合无头浏览器（如Chrome或Firefox的无头模式）来执行JavaScript并获取渲染后的页面内容。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# 设置无头模式
options = Options()
options.headless = True

# 启动浏览器
driver = webdriver.Chrome(options=options)

# 请求页面
driver.get('http://example.com')

# 获取页面内容
page_content = driver.page_source

# 关闭浏览器
driver.quit()

print(page_content)

使用API

如果目标网站提供了API接口，可以直接通过API获取数据，避免使用无头浏览器。

参考链接

• Selenium官方文档
• Puppeteer官方文档

在Heroku上部署

在Heroku上部署时，需要确保安装了相应的浏览器驱动（如ChromeDriver），并将其添加到系统的PATH中。可以通过创建一个Procfile来启动Selenium。

web: python your_script.py

并在your_script.py中包含上述Selenium代码。

在AMI上部署

在Amazon Machine Image (AMI)上部署时，同样需要安装浏览器驱动，并确保其可用。可以通过SSH连接到AMI实例，手动安装和配置。

通过以上方法，可以在服务器环境中成功获取经过JavaScript渲染的页面内容。