如何使用pyppeteer下载csv？
使用pyppeteer下载csv文件的步骤如下：
- 首先，确保已经安装了pyppeteer库。可以使用以下命令进行安装：
- 首先，确保已经安装了pyppeteer库。可以使用以下命令进行安装：
- 导入所需的库和模块：
- 导入所需的库和模块：
- 创建一个异步函数，用于执行下载csv文件的操作：
- 创建一个异步函数，用于执行下载csv文件的操作：
- 调用异步函数进行下载：
- 调用异步函数进行下载：
以上代码中，url变量是csv文件的下载链接，file_path变量是保存csv文件的路径和文件名。在download_csv函数中，首先创建一个浏览器实例，然后打开一个新页面并跳转到指定的url。接下来，通过Page.setDownloadBehavior方法设置下载行为，将下载路径设置为file_path。然后，使用page.click方法模拟点击下载链接，触发csv文件的下载。最后，通过asyncio.sleep方法等待一段时间，确保文件下载完成后关闭浏览器。
请注意，以上代码仅适用于使用pyppeteer库进行csv文件下载。如果需要下载其他类型的文件，可以根据实际情况进行相应的修改。
推荐的腾讯云相关产品：腾讯云函数（Serverless云函数计算服务），产品介绍链接地址：https://cloud.tencent.com/product/scf
相关·内容
我是pyppeteer的新手，正在尝试下载一个csv。不幸的是，没有成功。假设我想下载下面的csv：'https://people.sc.fsu.edu/~jburkardt/data/csv/addresses.csv‘。简单地使用 await self.page.goto('https://people.sc.fsu.edu/~jburkardt/data/csv/addresses.csv') 无济于事。我试着用 cdp = await self.page.target.createCDPSession()
await cdp.send('Page.se
浏览 21提问于2020-06-17得票数 1
在系统上没有找到合适的铬可执行文件，请使用“允许-铬下载”来允许下载。同时尝试下载jupyter笔记本文件(.ipynb)作为PDF文件
浏览 1提问于2022-07-04得票数 0
回答已采纳
我正在尝试从网上自动下载先锋基金的股份。链接通过JavaScript解析，所以我使用Pyppeteer，但我没有得到文件。注意，该链接显示CSV，但它提供了一个Excel文件。
在我的浏览器中，它的工作方式如下：
转到基金网址(如 )
按照链接“查看总持有量”
单击“导出到CSV”链接
我试图在Python中复制这一点。第一个链接似乎工作，因为我得到不同的HTML，但第二次点击给我相同的页面，而不是一个下载。
import asyncio
from pyppeteer import launch
import os
async def get_page(browser,
浏览 2提问于2021-08-21得票数 2
回答已采纳
2回答
我是公司代理人的幕后黑手。
我可以通过设置https_proxy=来让pip工作，这样我就可以安装pyppeteer了。
但不管我试过什么-我都不能让雕刻机下载铬。我运行pyppeteer-install，，它只是说下载铬，但没有任何东西放在%appdata% pyppeteer位置。除了手动下载铬并把它放在正确的位置之外，还有什么方法可以修复它吗？
浏览 1提问于2021-05-12得票数 0
回答已采纳
我试着通过pyppeteer点击File -> Download as -> Pdf下载一本Jupyter笔记本。这样做的时候，我得到了下面的错误：
nbconvert failed: No suitable chromium executable found on the system. Please use '--allow-chromium-download' to allow downloading one.
我已经使用conda install -c conda-forge pyppeteer命令安装了pyppeteer。现在我尝试通过Jupyter GU
浏览 829提问于2021-03-07得票数 4
Pyppeteer (python的puppeteer端口)正在尝试下载linux-chrome，但下载失败。 这是一个python项目，我已经对接并使用serverless将其部署到AWS Lambda中。我正在使用serverless将python依赖项部署到lambda层。 我在google上找不到任何权威的东西，告诉我如何使用python作为运行时来设置一个合适的lambda来实现chrome浏览器的自动化。 无服务器 provider:
name: aws
runtime: python3.7
functions:
main:
handler: main.ha
浏览 19提问于2019-08-26得票数 0
我需要将html表保存为映像(argb，png)，但是在堆栈溢出时所有的解决方法对我的项目都不好，因为它们都使用os(cmd)或使用数量有限的api。我需要保存图片无穷多的次数，这必须在木星笔记本工作。
我怎么能这么做？谢谢!
浏览 0提问于2021-06-10得票数 0
回答已采纳
显示此选项以将jupyter转换为PDF (我应该如何修复它？)
但是当我尝试它的时候，我得到了以下错误：
这是一个相当奇怪的错误，因为我使用的是Firefox而不是Chromium浏览器。
浏览 3提问于2020-10-14得票数 0
我试图创建一个具有自动py到exe的exe，但是当我尝试执行它时，它会抛出一个错误。我试着把它作为管理员来执行，但是没有什么区别。
浏览 6提问于2021-07-05得票数 0
回答已采纳
我使用Anaconda Navigator在Jupyter Notebook中运行了一个使用"requests_html“库的python代码，出现了这个错误："AttributeError:模块‘websocket’没有属性'client'”我已经安装了websocks-client包，但仍然发生。
from requests_html import AsyncHTMLSession
asession = AsyncHTMLSession()
r = await asession.get('https://python.org/')
awai
浏览 3提问于2021-09-20得票数 0
1回答
查询
、、
我试图将一个使用傀儡的节点项目迁移到使用pyppeteer的python项目。
我有下面的javascript查询，这是正确工作的。
const values = await page.evaluate(
() => [...document.querySelectorAll('.table')]
.map(element => element.getAttribute('data-options'))
);
当我在python/pyppeteer中尝试做同样的事情时：
values = await p
浏览 1提问于2018-11-04得票数 3
回答已采纳
我正在跟踪这个库，并在我的笔记本电脑中发现了这个错误。
在JavaScript支持中，我尝试编写如下页面的代码：
from requests_html import HTMLSession
session = HTMLSession()
r = session.get('http://python-requests.org/')
r.html.render()
print(r.text)
当运行此代码时，我收到了以下内容：
W:pyppeteer.chromium_downloader启动铬下载。下载可能需要几分钟。OpenSSL.SSL.Error：(“SSL例程”、“tl
浏览 0提问于2019-07-20得票数 3
我正在尝试用pytest运行Pyppeteer，但是在启动chromium之后，它不会进入下一条语句。 import asyncio
import pytest
from pyppeteer import launch
@pytest.mark.asyncio
async def test_BackendWeb():
browser = await launch(headless=False)
page = await pyppeteer.new_page()
await page.goto('https://www.google.com/') 运行
浏览 25提问于2021-11-01得票数 0
回答已采纳
作为JS/Html的初学者，我试图在单击链接后，通过Pyppeteer0.2.5 (Python3.6.9/Chromium87.0.4280.66)获取页面内容，使用以下代码：
import asyncio, pyppeteer, time
from pyppeteer import launch
async def main():
browser = await launch(executablePath='/usr/bin/chromium-browser', headless=False)
page = await browser.newPage()
浏览 1提问于2021-02-08得票数 0
回答已采纳
给定的超文本标记语言代码片段：<div id="gs_ab_md"><div class="gs_ab_mdw">About 3,260 results</div></div>。它可以在Windows上运行，但不能在Linux上运行(Ubuntu 16.04)。我已经安装了这里提到的以下额外的包：Why does this pyppeteer code only work on windows?。有什么想法吗？ import pyppeteer
from pyppeteer import launch
asyn
浏览 240提问于2021-08-13得票数 0
今天，当我运行我的代码时，我学习了名为pyppeteer的库
import asyncio
from pyppeteer import launch
async def main():
browser = await launch(options={'devtools': True, 'headless': False})
page = await browser.newPage()
await page.goto('http://example.com')
await page.screenshot({
浏览 270提问于2019-07-26得票数 7
1回答
我正在尝试下载在浏览器中呈现的PDF文件(未显示为弹出或下载)，使用playwright (Python)。没有公开URL，所以您不能简单地抓取一个链接并使用requests.get("file_url")下载它。
我试过：
async def main():
async with async_playwright() as p:
browser = await p.chromium.launch(headless=False)
page = await browser.newPage(acceptDownloads=True)
浏览 0提问于2020-12-08得票数 5
回答已采纳
1回答
我试图刮数据从这个网站使用Pyppe显，没有这个网站会知道我在刮。
所以我的第一个问题是：
是否正确的是，使用刮我不会被注意到(由网站)做刮擦？
在右上角输入时，有一个下拉列表，其中包含项目:概述、损益表、.、关键比率。
我想使用pyppeteer来选择，比方说，从下拉列表中提取每股项目的数据，以及从那里提取图书值的行的关键比率。
在对我在网站上的预览问题的最后评论中，我被告知这个下拉列表“只会触发不同的方式来显示相同的数据”。
所以我的第二个和第三个问题是(也许它们是一样的)：
我是否应该以某种方式模拟使用pyppeteer选择的关键比率？
如何从关键比率触发器中
浏览 8提问于2020-06-17得票数 5
import asyncio
import pyppeteer
import logging
from pyppeteer import launch
pyppeteer.DEBUG = True
for name in logging.root.manager.loggerDict:
logging.getLogger(name).disabled = True
async def main():
browser = await launch(headless = False)
page = await browser.newPage()
await pa
浏览 15提问于2022-01-14得票数 1
4回答
我在试着把网页的标题刮掉。最初，我尝试使用BeautifulSoup，但发现页面本身没有Javascript就无法加载。所以我使用了一些我在Google上找到的代码，这些代码使用了request-html库： from requests_html import HTMLSession
from bs4 import BeautifulSoup
session = HTMLSession()
resp = session.get("https://www150.statcan.gc.ca/t1/tbl1/en/tv.action?pid=3210001601")
resp.ht
浏览 76提问于2019-06-25得票数 0
我有一个Python脚本，它可以从网页中抓取数据。
它适用于我的本地文件，但不适用于AWS，因为它只允许将新文件写入/tmp目录。
我尝试过request_html render API，似乎不可能更改文件位置。默认情况下采用当前工作目录。它导致了以下错误
误差细节Read-only file system: '/home/sbx_user123'
提前谢谢你。
浏览 14提问于2022-10-10得票数 0
1回答
我想尝试一下包，但感觉使用async对我的小脚本来说太过分了。有没有同步运行异步代码的方法？这是我尝试过的：
Python 3.6.3 (default, Oct 3 2017, 21:45:48)
[GCC 7.2.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
[15:42:45]>>> import pyppeteer
[15:42:47]>>> browser = p
浏览 0提问于2018-03-07得票数 1
我有一个pyppeteer (而不是puppeteer)浏览器，打开了许多页面，我想在对其中一些页面执行其他操作之前等待2秒。我尝试使用time.sleep()，但它看起来阻塞了所有页面的执行。 在pyppeteer中有没有等同于page.waitForTimeout()的东西？我想我也可以使用多线程，但我不想这样做。
浏览 223提问于2021-05-10得票数 0
我正在寻找一个可执行文件的位置在谷歌应用程序引擎(标准环境)。
原因是我正在尝试使用pyppeteer进行一些工作，但pyppeteer总是将铬下载到自定义文件夹中，然后退出。
我看到puppeteer在GAE上工作，因此我希望我能说服pyppeteer也运行。
以下是Google App Engine的日志：
2019-07-23 17:39:33 default[test] [W:pyppeteer.chromium_downloader] start chromium download.
2019-07-23 17:39:33 default[test] Download may t
浏览 0提问于2019-07-24得票数 0
获得错误为“Web转换失败:没有安装支持Web转换。请安装nbconvert[webpdf]启用。”同时尝试下载jupyter笔记本文件(.ipynb)作为PDF文件
浏览 24提问于2022-07-02得票数 7
回答已采纳
我正在尝试写一个程序使用Pyppeteer和异步，将采取屏幕截图不同的网站。但每次我在大约20秒后运行程序时，都会出现一个错误(运行时错误:会话关闭。很可能页面已经关闭了“)。后来我发现这是一个已知的pyppeteer错误，并在github上为它找到了一个补丁： def patch_pyppeteer():
import pyppeteer.connection
original_method = pyppeteer.connection.websockets.client.connect
def new_method(*args, **kwargs):
浏览 37提问于2020-03-31得票数 1
回答已采纳
我正在尝试使用RequestSetIntercept函数来加速Pyppeteer的网页加载。 然而，我得到了警告： RuntimeWarning:从未等待过协程“block_image” 我不知道我错过了等待的地方。我已经根据我在网上找到的一个模板添加了带有intercept函数本身的等待。我正在用Pyppeeteer测试setIntercept函数。 谢谢。 #utils.py
class MakeRequest():
ua = User_Agent()
async def _proxy_browser(self, url,
浏览 103提问于2021-07-26得票数 0
当我试图得到这一页时，我得到了一个空白页。不过，它也适用于其他WordPress网站。我尝试了不同的选择，但没有一种可行。
import asyncio
import pyppeteer
import os
async def main():
print("in main")
browser = await pyppeteer.launch()
page = await browser.newPage()
await page.goto('https://mindcet.org/')
await page.screensh
浏览 6提问于2022-03-25得票数 0
1回答
为什么这个密码只在窗户上工作？
、、、、
我用用python编写了一个小程序。它在我的Windows计算机上运行良好，但当我尝试在基于Unix的系统上运行它时，它没有工作。下面是一个最小的可重现性示例：
import asyncio
from pyppeteer import launch
async def main():
browser = await launch(headless=True)
page = await browser.newPage()
await page.goto('http://www.example.com')
print(await page.cont
浏览 3提问于2021-03-19得票数 1
回答已采纳
1回答
我正在使用pyppeteer触发无头铬并执行一些操作。但是首先，我希望网页的所有元素都能完全加载。，pyppeteer的官方文档建议使用一个waitUntil参数，该参数包含超过1个参数。
我的疑问是，我是否必须传递所有的参数，或者任何一个，特别是是足够的？请建议以下片段对我的情况有帮助吗？
await page.goto(url, {'waitUntil' : ['load', 'domcontentloaded', 'networkidle0', 'networkidle2']})
浏览 1提问于2020-07-11得票数 5
我试着使用-html搜索，但是它返回一个错误，它说即使我通过安装请求-html，也会丢失一个文件，并且它说所有的req都实现了。我怎么才能避开这一切。
from requests_html import HTMLSession
import time
url = 'https://soundcloud.com/jujubucks'
s = HTMLSession()
r = s.get(url)
r.html.render()
songs = r.html.xpath('//*[@id="content"]/div/div[4]/div[1]/d
浏览 25提问于2021-08-11得票数 0
回答已采纳
1回答
当我在cookie中使用pyppeteer时，将引发下面的异常
asyncio.get_event_loop().run_until_complete(main())中的"test.py“文件，第33行
文件"/usr/local/python3.6/lib/python3.6/asyncio/base_events.py"，第468行，在run_until_complete中返回future.result()
文件"test.py"，第25行，主要等待page.setCookie(cookies)
文件"/usr/local/python3.
浏览 0提问于2018-07-08得票数 1
我可能学到了这个错误是因为在pyppeteer和requests_html中使用了coroutine io，这与多线程冲突，但是我找不到解决这个问题的方法，我不太会说英语，我使用谷歌翻译。
import asyncio
from pyppeteer import launch
from requests_html import HTMLSession
# Simulation using requests_html
def test1():
session = HTMLSession()
_r = session.get('http://bbs.tianya.cn/
浏览 0提问于2019-07-19得票数 2
在使用控制铬期间，我在工作大约20秒后收到一个错误：
pyppeteer.errors.NetworkError: Protocol Error (Runtime.callFunctionOn): Session closed. Most likely the page has been closed.
正如所描述的，该问题可能是由python websockets>=7包的实现和它在pyppeteer中的使用引起的。
浏览 2提问于2019-08-06得票数 1
(请注意，尽管这里提到Pyppeteer，Python版本的Puppeteer，代码是完全相同的，并且可以与Puppeteer和Pyppeeteer一起工作)。
嗨,
我使用以下代码将页面转换为PDF：
import asyncio
from pyppeteer import launch
from pyppeteer.launcher import connect
async def main():
browser = await launch()
context = await browser.createIncognitoBrowserContext()
pa
浏览 1提问于2020-11-18得票数 4
我有两个问题我现在解决不了。
1. --我想让浏览器继续运行，这样我就可以使用函数重新连接，但是即使我不调用，它似乎也被关闭了。
test01.py:
import asyncio
from pyppeteer import launch, connect
async def fetch():
browser = await launch(
headless=False,
args=['--no-sandbox']
)
print(f'Endpoint: {browser.wsEndpoint}')
浏览 1提问于2018-10-22得票数 6
回答已采纳
1回答
近乎实时地从网站中抓取动态内容
、、、、
我试图实现一个网页刮刀刮刮动态更新的内容从一个网站在几乎实时的。
让我们以为例，假设我想要不断地在我的家乡获得当前的时间。我现在的解决方案如下:每秒钟获取呈现的页面内容，并使用bs4提取时间。工作守则：
import asyncio
import bs4
import pyppeteer
def get_current_time(content):
soup = bs4.BeautifulSoup(content, features="lxml")
clock = soup.find(class_="my-city__digitalClock"
浏览 3提问于2020-11-06得票数 0
我正在一个纸牌游戏中工作，我决定创建一个python脚本来加速原型开发。这就是脚本所做的：
它使用jinja填充HTML模板。
它使用wkhtmltopdf呈现HTML页面，并使用scikitimage对图像进行裁剪。
它创建一个PDF与每页9卡与FPDF。
所有的代码都可以在这里找到：。
我还添加了一些javascript来减少标题太长时的字体大小。这个javascript代码可以在card-generator/assets/script.js中找到。此代码所做的是使用带有id='name'的div并减小字体大小，直到它的大小加上边距小于父大小为止。
问题
浏览 3提问于2021-08-18得票数 0
我正在尝试制作一个python程序来获取股票市场数据。我还没有启动它，因为requests_html库有一个错误。我的程序将使用python库yahoo_fin，而yahoo_fin使用requests_html，这是不起作用的。我已经成功地安装了所有其他必要的依赖项，包括ftplib和熊猫。
我已经尝试过使用各种控制台命令安装requests_html。首先，我尝试使用：
pip3 install requests_python
库确实安装了，但是当我试图将它导入我的程序时会返回错误。然后我对它进行了研究，一些人显然发现了这个命令的成功：
pip3 install requests-pyth
浏览 0提问于2019-07-30得票数 2
我正在使用requests html并尝试渲染函数，但收效甚微。当我使用python3.8运行这个脚本时
#!/usr/bin/python3
from requests_html import HTML
file = "scrape/temp_file2.html"
with open(file) as html_file:
source = html_file.read()
html = HTML(html=source)
html.render()
match = html.find('#footer', first=True)
浏览 0提问于2021-03-12得票数 1
1回答
超出导航超时时间
、、、、
编辑:我决定以headless=False的形式运行这个程序，以查看发生了什么。Reddit给我的是"Reddit.com想要显示通知“，而这似乎是导致挂起的原因。有人知道怎么绕开吗？
我正在和一些同学一起做我的顶点项目，我们项目的概要是，我们必须从Reddit、Google和其他一些网站中收集和比较数据。我们很可能在Reddit上使用PRAW，但是我想用Pyppeteer来完成剩下的工作。我在网上找到了一个教程，它展示了维基百科中的数据。它在Wiki上工作得很好，但是当我试图用subreddit证明概念时，我得到了这个超时错误：pyppeteer.errors.TimeoutErro
浏览 1提问于2021-10-14得票数 1
2回答
我用python结合pyppeteer写了一个脚本，从一个网页上抓取不同咖啡店的名称和电话号码。尽管我尝试了下面的方法来达到目的，但是脚本看起来非常混乱。使用pyppeteer库创建for循环的理想方式是什么？
到目前为止，我已经写了：
import asyncio
from pyppeteer import launch
url = "https://www.yellowpages.com/search?search_terms=coffee&geo_location_terms=Los%20Angeles%2C%20CA"
async def get_names
浏览 4提问于2018-11-26得票数 2
我试图编译我的代码或将我的代码转换为exe，我已经通过自动py或pyinstaller脚本完成了编译。我使用了请求，tkinter，selenium，所有这些都很简单。但是当我使用request-html包和编译的exe时，它显示了错误。
编译后打开'test.exe‘时出现了错误，但是在vs代码中，它工作得很好。我不知道这是什么错误。
AttributeError：'NoneType；object没有属性'split‘由于未处理的异常而无法执行脚本'test’！
from requests_html import HTMLSession
url = inp
浏览 8提问于2022-08-23得票数 0
我试图捕捉在run_until_complete中抛出的异常，但是无论我尝试什么，我似乎都不能正确地捕捉它们。
下面是我的最新尝试(注意，我正在使用Pypputeer，Python中的Puppeteer叉，它使用异步)：
import asyncio
from pyppeteer.launcher import launch
async def test(instance):
page = await instance.newPage()
await page.goto('http://www.google.com', {'waitUntil'
浏览 0提问于2018-02-27得票数 3
最起码的例子：
import asyncio
from pyppeteer import launch
from pyppeteer.network_manager import Request
from pyppeteer_stealth import stealth
browser = await launch()
page = await browser.newPage()
await stealth(page=page)
async def intercept_network_request(request: Request):
print(request.url)
浏览 0提问于2021-10-30得票数 0
我正试图在网站上获取一些优惠券的价值，但它一直阻止我，我已经尝试使用代理与我的国家IP，更改标题，搜索一些"id“访问，像一些aws认证，有和没有匿名页面，头真，假和没有工作，这里我尝试了。 args = [
'--start-maximized',
'--disable-extensions',
'--hide-scrollbars',
'--disable-bundled-ppapi-flash',
'--mute-audio',
'--no-s
浏览 47提问于2021-09-20得票数 0
我想连接到我用启动命令启动的chrome浏览器 await launch(headless=False, \
executablePath ="C:/Program Files/Google/Chrome/Application/chrome.exe",\
args=["--remote-debugging-port=9222"]) 使用connect命令 browser=await pyppeteer.connect(browserURL='http://127.0.0.1:9222') 但看起
浏览 144提问于2021-11-14得票数 1
回答已采纳
1回答
我正在尝试从给定的URL中获取一个截图。尝试了javascript中的html2canvas库，因为它不支持某些CSS格式，所以被删除了。现在，如果可能的话，尝试使用python和selenium或任何其他库来捕获给定URL的屏幕快照。
我已经经历了以前的解决方案，我所面对的是，
1. pyqt4 4-即使在安装pyqt4之后也不会出现名为“PyQt4.QtWebKit”的模块错误
2.2.selenium -The代码不接受整个页面滚动的截图。
3.phantom.js -为某些网站提供浮点转储错误
selenium的示例代码：
from selenium import webdriver
浏览 7提问于2019-12-13得票数 3
回答已采纳
我希望能够在我的电脑屏幕上获得一个元素位置，然后使用pyautogui点击它。然而，目前唯一可靠地做到这一点的方法是使用木偶师(Pyppeteer)和屏幕截图元素，然后用pyautogui的png系统点击它。
Pyautogui的位置系统总是稍微差一点--如果我将getBoundingClientRect()为元素显示的坐标，我怀疑这与任务栏的偏移量有关等等，但是我希望能够在两个坐标系之间进行一致的转换，无论网页的大小(无论是小框还是全屏)。
有没有python方法/ways来做这件事？
作为javascript代码的一个例子：document.querySelector("<c
浏览 14提问于2022-06-27得票数 -1
5回答
我在AWS Lambda中遇到了这个错误。看来devtools websocket还没有启动。不知道该怎么解决。有什么想法吗？耽误您时间，实在对不起。
由于websocket响应超时而引发的get_ws_endpoint()异常
Lambda代码：
import os
import json
import asyncio
import logging
import boto3
import pyppeteer
from pyppeteer import launch
logger = logging.getLogger()
logger.setLevel(logging.INFO)
pyp
浏览 21提问于2020-05-13得票数 9
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
