首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

requests_html 中使用浏览器渲染js修改headers信息

requests_html 是 requests的作者 基于 requests 和 pyppeteer 以及一些其他网页爬虫库的整合 关于 pyppeteer 是什么就不多赘述了 requests_html...通过方法 render() 调用的pyppeteer 与浏览器进行交互, 在requests_html官方文档中,并没有找到有关如何修改浏览器Headers的内容, 比如,修改user-agent...另一方面,不仅仅想要修改user-agent ,还需要修改Headers 中的 Referer 这个,pyppeteer 中是实现了的,page.setExtraHTTPHeaders({}) 但requests_html...中 是把这部分舍弃掉了 所以想要通过requests_html修改 Referer 还需要改下 requests_html的源码 改三个地方,需要修改Referer的话,调用render()时,传入referer...即可 requests_html ?

1.5K20
领券