如何每小时自动运行web scraper脚本？
每小时自动运行web scraper脚本可以通过以下步骤实现：
- 编写web scraper脚本：使用Python等编程语言编写脚本，使用适当的库（例如Beautiful Soup、Selenium等）来解析网页和提取所需数据。
- 定义定时任务：使用操作系统的定时任务功能（例如Linux的cron、Windows的任务计划程序）或云平台的定时触发器（例如腾讯云的云函数定时触发器）来设置每小时运行脚本的时间。
- 脚本执行环境：选择适当的服务器或云服务来执行脚本。腾讯云提供的云服务器（CVM）或容器服务（TKE）都是可行的选择。
- 配置运行环境：根据脚本需要，安装相关依赖和库，例如Python解释器、所需的第三方库等。
- 定义任务启动脚本：编写一个启动脚本，该脚本会在定时任务触发时运行，并执行web scraper脚本。
- 日志记录和错误处理：在脚本中添加适当的日志记录功能，以便查看脚本的运行状态和可能的错误。可以使用腾讯云的日志服务（CLS）来集中管理和监控日志。
腾讯云相关产品和产品介绍链接地址：
- 云服务器（CVM）：提供可扩展的云主机实例，适合部署和运行脚本。
- 产品介绍链接：https://cloud.tencent.com/product/cvm
- 云函数（SCF）：无服务器函数计算服务，可以根据指定的触发条件自动运行脚本。
- 产品介绍链接：https://cloud.tencent.com/product/scf
- 容器服务（TKE）：提供高度可扩展的容器化应用管理平台，适合运行容器化的web scraper脚本。
- 产品介绍链接：https://cloud.tencent.com/product/tke
请注意，以上提供的产品和链接仅作为示例，您可以根据实际需求选择适当的腾讯云产品来实现每小时自动运行web scraper脚本的目标。
相关·内容
2回答
我正在从booking.com中提取数据，我的脚本使用selenium来收集数据，创建一个带有适当时间戳的临时csv，然后将其附加到最终的数据库，也就是csv。我想要每小时获取新的数据，即使我离线，并将其附加到最终的数据库，但我不知道如何做。我对网络抓取是个新手。目前，我的脚本在Jupyter中运行。任何帮助都将不胜感激。
浏览 41提问于2021-02-01得票数 0
我正在用Python构建一个基本的推特爬行器，我想在我的RaspPi 4b上每小时运行一次。脚本已经编写好了，当使用以下命令从终端调用它时，它可以完美地工作 python scraper.py 现在，我想让它自动运行，而不需要我自己的物理提示。我用脚本执行了chmod，然后打开crontab，并使用编辑器添加了这一行(我知道这是为了每一分钟，我只想看到它工作)： * * * * * /usr/bin/python home/pi&
浏览 19提问于2020-01-04得票数 1
回答已采纳
2回答
我有一个python脚本，上传到一台全天候运行的web服务器上。我想让这个脚本自动化，这样它就可以每小时自动运行一次。这个是可能的吗？我遇到了cron job的东西，但我不熟悉如何实现这一点。
浏览 3提问于2012-10-30得票数 0
回答已采纳
1回答
目前，我一直在创建一个web爬虫，在这里我想调用正确的类，从给定的URL中抓取web元素。__(scraper_class):scraper.scrape(requests.get(url))
我现在要做的是，如果BBC是域名，那么它应该进入class
浏览 1提问于2021-05-24得票数 0
回答已采纳
该脚本在pycharm中运行得很好，但在作为->脚本运行时无法看到my lib shell站点包。lib -scripts - monroes_events.py
(venv) C:\Users\James\repos\web_scraper\src>bash web_scraper_setup.sh
python3 Monroes_Scraper</em
浏览 0提问于2019-12-02得票数 0
因此，这篇文章：提到，你可以“在你的App Service web应用中以三种方式在WebJobs中运行程序或脚本:按需、连续或按计划运行。使用WebJobs不需要额外的成本。”这很棒，免费替代方案是带有作业的Scheduler job Collection，但您只能每小时运行一次。因此，能够将webjob作为webapp的一部分运行，并且以更高的频率运行，这是我们需要的。然而，我真的很难找到任何方法来自动化这个过程。使用Azure门
浏览 12提问于2016-09-09得票数 0
回答已采纳
我使用requests模块在Python中构建了一个web-scraper。它经常读取和写入文本文件。我试着把脚本放在服务器上，让它自动将数据发布到我的网站上。我的理解是，web应用程序每次被访问时都会启动一个新的Python实例，这不是我想要的。我正在尝试运行我的Python脚本的一个实例，然后将数据发布到我的站点上。我研究了Heroku，但我不知道如何自己使用他们的平台。我有一种预感，AWS可以做这样的事情，但我不知道怎么做。这是我尝试在服务器上<
浏览 14提问于2019-01-12得票数 0
我正在尝试学习如何使用Selenium自动化web流程，并希望能够构建健壮的web抓取器和其他东西。所以，我刚刚安装完Pycharm和Selenium，我只是想运行一段简单的代码，在chrome中打开一个网页，并不是太花哨。，我得到了这个异常，我不知道如何解决这个问题，我试着阅读了这个问题的过去的变体，但我似乎没有得到一个有效的解决方案。例外情况如下 File "/Users/Kudz
浏览 31提问于2021-05-18得票数 0
回答已采纳
3回答
所以我尝试让我的服务器每小时执行一次Python脚本。0 * * * * /run/twitterparse/twitter.py > /run/twitterparse
我正在尝试让它每小时执行一次，每小时。13:00:01 localhost CRON[11473]: (CRON) info (No MTA ins
浏览 4提问于2012-08-05得票数 2
回答已采纳
所以我现在有一个，当运行时，给用户一个提示来选择1、2、3或全部。这些选项根据数字刮刮网站/s。我想做一个python，当按下按钮(或复选框)时，它们运行与1、2、3或全部相关的函数！=var2).grid(row=1, sticky=W)Checkbutton(master, text='Scraper 3', variable=var3).grid= 1
scraper = 2
浏览 0提问于2018-10-01得票数 0
回答已采纳
我在我的Raspberry PI上运行Ubuntu Mate。我用Python编写了一个web 刮板，我想每天运行一次。我认为使用sudo crontab -e是一种很好的方法。我遇到的问题是，当cronjob启动我的python脚本时，python脚本抛出一个导入错误而不运行。但是，当我从命令行直接执行python脚本时，它将运行而不会出现问题。如您所见，所有需要运行的文件都具有执行效率。
web_scra
浏览 1提问于2017-03-18得票数 0
回答已采纳
该软件创建了一个类似web-browser工具，不仅允许用户浏览一个网页，还可以执行一些任务，如认证，点击链接，进行搜索，等等.而且还可以跟踪所有这些任务。有谁知道实现这一点的技术吗？谢谢。
浏览 1提问于2009-06-13得票数 3
我每天从命令提示符中运行python脚本一次，但是我想使用任务调度程序来自动执行这个脚本。我只能打开命令提示符，但我必须手动运行python程序。我遗漏了什么？programProgram 新建文件夹myTasks创建基本任务任务名称、触发器、启动一个"C:\Users\Matthew Olive\PycharmProjects\VOLALGO1\scraper.py"Manually脚本/ cmd.exeAdd参数："C:\Us
浏览 0提问于2020-06-06得票数 0
回答已采纳
4回答
自动ssh到服务器的脚本
、、、、
我正在尝试创建一个脚本，让我自动登录到一个有密码保护的服务器上，从ubuntu目录自动上传一个文件。我这样做的目的是为了每小时自动备份一个目录。我已经知道必须添加cron作业来每小时运行我的脚本，但我不知道如何SSH，压缩我的目录，然后上传它。我不太了解bash脚本，实际上我在想使用python脚本可能会更容易一些。
浏览 0提问于2013-06-02得票数 1
1回答
我正在编写一个程序/脚本，它应该每小时检查一次计算机上正在运行的服务。有没有办法每小时自动启动这个程序？我可以手动启动它，但这会违背脚本的目的。对于问题的模棱两可，我很抱歉。我会在收到回复时更新它。如何自动将我的脚本添加到它们中？手动将脚本添加到每个框中将是乏味的。
浏览 2提问于2012-03-08得票数 1
回答已采纳
Tl；博士--我想要能够使用类似angular的http服务，但这些服务都是本地的，所以我不需要让服务器运行才能工作。全文与代码：我目前正在尝试构建一个web应用程序，该应用程序将要求用户输入一部电影，角度控制器接受此查询并将其传递给perl脚本，该脚本将刮除imdb，将可能的电影匹配返回给用户的条目。::Scraper的perl web刮取库。刮取很好，为了简洁起见，我将不包含整个perl脚本。我希望不用一直安装或运行一台服务器来完成这个任务.我想从
浏览 1提问于2018-12-05得票数 1
回答已采纳
2回答
现在，为了持久地运行它，我使用的是虚拟终端屏幕，而且我看到这种方式还远远不够稳定。
我怎么能安排我的机器人脚本永远运行和重新运行，如果它崩溃？以及如何安排其他python脚本每小时运行一次？
浏览 4提问于2020-05-14得票数 1
回答已采纳
所以我写了这个脚本，从亚马逊上的竞争对手那里获取库存水平。我用pycharm编写了脚本，当我在那里运行它时，它运行得很好。但是，我想让搜索过程自动化，以便它每天自动收集几次数据。当我试图在python空闲中运行相同的脚本时，它给我一个错误，模块(这是我保存其他python脚本的目录)找不到(正如之前所述，它在pycharm中运行良好)。from Bolcom.inventoryscraper.Inventory_<e
浏览 0提问于2020-05-11得票数 0
1回答
我创建了一个名为reddit_project的项目和一个名为scraper的应用程序。我正在尝试使用我的models.py中的模型链接，这样我就可以基于我在web_crawler.py中抓取的JSON创建记录。然而，Django一直告诉我，当我试图在我的终端运行web_crawler.py时，这个模块刮板并不存在。如何正确导入链接类，以便在web_crawler.py中使用？scraper/models.py：
from django.db import mo
浏览 0提问于2015-02-26得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
