首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

如何在heroku上让我的django应用程序在后台自动抓取

在Heroku上让Django应用程序在后台自动抓取数据,可以通过以下步骤实现:

  1. 创建一个Heroku账号并登录。
  2. 在Heroku上创建一个新的应用程序。
  3. 将你的Django应用程序部署到Heroku上,可以使用Heroku提供的CLI工具或者通过GitHub等版本控制系统进行部署。
  4. 在Heroku的应用程序设置中,找到"Resources"选项卡。
  5. 在"Add-ons"部分搜索并添加一个定时任务插件,例如Heroku Scheduler。
  6. 配置定时任务插件,设置定时触发的时间间隔和执行的命令。
  7. 在你的Django应用程序中,创建一个后台任务(例如使用Celery),用于执行数据抓取的操作。
  8. 在定时任务的命令中,调用后台任务的执行命令,以触发数据抓取操作。

这样,你的Django应用程序就可以在Heroku上后台自动抓取数据了。

关于Heroku和Django的更多信息,你可以参考以下链接:

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

关于“Python”核心知识点整理大全63

这个文件中输入如下内容: .gitignore ll_env/ __pycache__/ *.sqlite3 我们Git忽略目录ll_env,因为我们随时都可以自动重新创建它。...我们还指定不跟踪目录 __pycache__,这个目录包含Django运行.py文件时自动创建.pyc文件。...接下来,我们执行命令git push heroku master(见3), 它Git将项目的分支master推送到Heroku刚才创建仓库中;Heroku随后使用这些文件在其服务 器创建项目。...3处,Django应用默认迁移以及我们开发“学习笔记” 期间生成迁移。 现在如果你访问这个部署应用程序,将能够像在本地系统一样使用它。...Heroku创建超级用户 我们知道可使用命令heroku run来执行一次性命令,但也可这样执行命令:连接到了Heroku 服务器情况下,使用命令heroku run bash来打开Bash

9210

关于“Python”核心知识点整理大全62

20.2.3 安装必要包 你还需安装很多包,以帮助服务器支持Django项目提供服务。...dj-database-url包帮助 DjangoHeroku使用数据库进行通信,dj-static和static3包帮助Django正确地管理静态文件, 而gunicorn是一个服务器软件,能够在在线环境中支持应用程序提供服务...Heroku部署中,这个目录总是/app。本地部署中,这个目录通常是项目文件夹名称(就项目而言,为learning_log)。...其他设置作用分别如下:支持HTTPS请求(见3);Django能够使用 HerokuURL来提供项目提供服务(见4);设置项目,使其能够Heroku正确地提供静态 文件(见5)。...20.2.9 创建用于存储静态文件目录 HerokuDjango搜集所有的静态文件,并将它们放在一个地方,以便能够高效地管理它 们。我们将创建一个用于存储这些静态文件目录。

13910

7款Python开源框架,选好毛坯房盖高楼!

Django是走大而全方向,它最出名是其全自动管理后台:只需要使用起ORM,做简单对象定义,它就能自动生成数据库结构、以及全功能管理后台。 ?...Scrapy Scrapy是Python开发一个快速、高层次屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。 ?...优点: Web2py最大吸引力在于其内置开发环境。当设置Web2py实例时,将获得一个Web界面,实际是一个在线Python应用程序编辑器,可以在其中配置应用程序组件。...但是,正在开展使Web2py Python3兼容工作,并且撰写本文时它已接近完成。 Weppy Weppy感觉就像Flask简约风格和Django完整性之间中间标记。...除了通常“hello world”应用程序示例之外,它还包含一个很好演练教程,可以你创建一个微博系统作为初学者项目。

1.2K20

Django 部署指南

部署 Django 应用程序涉及将我们应用程序从开发环境部署到生产环境,并确保它可以在生产服务器安全运行和扩展。其实了解几种部署方案,相信你对将来项目更得心应手。...2.7 使用 Ansible 部署 DjangoAnsible 是一个配置管理工具,可以用来自动化部署 Django 应用。这种方法提供了更强大部署选项,但可能需要更多技术知识。...2.9 使用 Chef 部署 DjangoChef 是一个配置管理工具,可以用来自动化部署 Django 应用。这种方法提供了更强大部署选项,但可能需要更多技术知识。...应用示例代码:heroku create example-app​git push heroku main​heroku open以上就是整理一个通用 Django 部署指南,具体步骤和配置可能因项目需求和环境而异...部署过程中,请确保安全性、可靠性和可扩展性,并遵循最佳实践来确保应用程序在生产环境中顺利运行。如有更多问题,欢迎留言讨论。

12210

关于“Python”核心知识点整理大全64

你需 要使用应用程序名称,可以是Heroku提供名称(afternoon-meadow-2775.herokuapp.com), 也可以是你选择名称。...2处,我们将DEBUG设置为False,Django不在错误发生时显示敏感 信息。...2处显示状态表明我们仓库分支master上工作,当前没有任何未提交修改。推送到Heroku之前,必须检查状态并看到刚才所说消息。...404错误通常意味着你Django代码是正确 ,但请求对象不存在。500错误通常意味着你编写代码有问题,views.py中函数有问题。...本地查看错误页面 将项目推送到Heroku之前,如果你要在本地查看错误页面是什么样,首先需要在本地设 置中设置Debug=False,以禁止显示默认Django调试页面。

7910

关于“Python”核心知识点整理大全61

注意,我们从这个模板中删除了{% if form.errors %}代码块,因 为django-bootstrap3会自动管理表单错误。...注意,只修改了影响页面外观元素,对 页面中包含信息Django代码未做任何修改。 图20-3显示了修改后topic页面。...为此,我们将使用Heroku,这是一个基于Web平台,让你能够管理 Web应用程序部署。我们将“学习笔记”Heroku运行。...Windows系统部署过程与Linux和OS X系统稍有不同。如果你使用是Windows, 请阅读各节“注意”,它们指出了Windows系统需要采取不同做法。...注意 Heroku提供免费试用服务存在一些限制,可部署应用程序数量以及用户访问应用 程序频率。但这些限制都很宽松,你完全能够不支付任何费用情况下练习部署 应用程序

13810

关于“Python”核心知识点整理大全65

20.2.20 将项目从 Heroku 删除 一个不错练习是,使用同一个项目或一系列小项目执行部署过程多次,直到对部署过程了 指掌。然而,你需要知道如何删除部署项目。...注意 删除Heroku项目对本地项目没有任何影响。如果没有人使用你部署项目,就尽管 去练习部署过程好了,Heroku删除项目再重新部署完全合情合理。...20.3 小结 本章中,你学习了如何使用Bootstrap库和应用程序django-bootstrap3赋予应用程序简单而专 业外观。...最后,你将DEBUG设置为False, 以确保在线服务器应用程序安全。 至此,开发完了项目“学习笔记”后,你可以自己动手开发项目了。请先让项目尽可能简单, 确定它能正确运行后,再添加复杂功能。...附录 D 使用Git进行版本控制 D.1 安装 Git Git可在所有操作系统运行,但其安装方法因操作系统而异。接下来几节详细说明了如 何在各种操作系统中安装它。

10010

通过Mono Heroku 运行 .NET 应用

英文原文:Running .NET on Heroku 中文原文: Heroku 运行 .NET 应用 自从加入了Heroku之后,就想在这个平台上运行.NET程序。...目标是能够Windows使用Visual Studio创建一个ASP.NET MVC解决方案去创建一个Heroku应用程序。...它能够使用git命令push Heroku,构建Heroku,应用部署Mono和XSP网络服务器。 result主要是基于原先工作同事Brandur。...TestingMono 是一个相当简单MVC网站,有一个后台线程每秒输出一条消息。 为了运行这个后台线程,添加一个 Procfile 来启动命令行线程:mono WorkerTest.exe。...使更多 Visual Studio 模板可以使用。 寻找 XSP 替代品 ( nginx)。 请参考  README中TODO. 欢迎大家参与到这个项目中来。

3.2K60

ButterCMS架构:完成数百万次调用关键任务API

应用,其负责营销网站、编辑工具、API和为客户提供支持后台工具。...Django应用在配备一个Postgres数据库Heroku运行。...对于应用服务器,则使用Heroku监视和自动扩展工具,来确保流量性能不会从峰值降低(如果 Fastly停机了,需要将所有的请求都直接路由到服务器)。...通过谷歌云运行一个服务器和数据库实例作为快速失效备援,来防止极小可能出现Heroku或者AWS(Heroku运行其)中断。...SDK可以提供一些特性,诸如在API请求失效时自动重试,或者为用户提供类似Redis故障迁移缓存。 结论 无意识中,很多人把单点故障引入到堆栈中。

1.6K60

Heroku上部署Node.js

今天,我们将演示如何在Heroku上部署Node.js应用。Heroku官方提供免费帐户使用,在此之上,我们最多可以托管5个应用程序。但如果你有大量需求的话,就需要购买特殊账户。...接下来要用来示范Node.js应用便是在这里(点击访问)创建,请务必认真看看这个链接所指向文档。...只需输入命令heroku login,然后按照要求输入用户名和密码就可以了: 第5步 第5步 Heroku创建一个应用。...您可以为此应用起一个名字,或者可以Heroku自己来决定一个随机名字。 如果你想定义自己应用名字,可以使用命令:heroku create nameofapp。...您可以在上面的屏幕截图中看到,最终部署之后,将看到一个URL(红圈标注),您可以使用它来访问您应用程序。 相关参考资料: Node.js

3.6K80

GitHub 前 CTO:全面微服务是最大架构错误!网友:这不是刚改完 GitHub 吗

整理|褚杏娟 近日,GitHub 前 CTO Jason Warner 推特上表示,“确信过去十年中,最大架构错误之一就是全面使用微服务。”...显然,微服务架构成为当时 GitHub 减轻扩展限制选择之一。微服务潮流曾被 Heroku 大力推动,或许 Heroku 任职经历也 Warner 支持 GitHub 进行微服务改造。...“实际可以坐在那里倾听并真正为整体架构方法做出贡献。”Warner 曾在采访中提到。...有人放弃微服务 微服务正在统治世界,甚至有可能正在成为新默认选项。但这几年,无数中小团队微服务陷入了挣扎,很多公司放弃微服务,其中包括一些大型企业。...2016 年底,Botify 工程团队想工程师和产品经理拥有更多局部所有权,从而可以快速将他们产品和技术栈投入使用。为此,团队决定将他们 Django 应用程序拆分为微服务。

99920

Python 开发者 2017 应该关注 7 个类库

Django 依然是 Python 开发者值得信赖库。然而, 2016 年几个还不太知名库引起了 Python 开发者关注。...在这篇博文中,向大家揭示 7 个 Python 类库,其中不包括像 Django,Flask 等已广为熟知库,这些类库 2017 年可能值得 Python 开发者参考。...该库可以桌面,服务器或移动设备中通过单个 API 使用运行在 GPU 和 CPUs 数据流图能力。...Rich Jones 是 Zappa 主要作者,并且是 Gun.io CTO,他一次采访中说道:“相信无服务架构(这意味着,系统没有任何永久基础设施)是网络应用未来”。... VPS 服务(类似 Linode,PaaS服务 Heroku摆脱依赖库需要花费成百上千美元。简单来说,我们可以说 Zaapa 允许以微服务部署,不会有任何与服务器管理相关麻烦事。

1.6K10

最受欢迎 Top 12 Python 开源框架,你都用过吗?

Django同时是一款在数据库功能、后台功能、末班系统、网址匹配、缓存系统等方面有“先天”优势开源框架。...Twisted附带了一个可以web服务器运行WSGI,它能够为其他Python web应用程序允许开发人员使用服务器定制HTTP服务。...项目地址: http://www.numpy.org/ 08 Scrapy Scrapy是Python开发一个快速、高层次屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化数据。...Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。是一个使用Python编写,轻量级,简单轻巧,并且使用起来非常方便。...项目地址: http://falconframework.org/ 11 Web2py Web2py是 Google web.py 基础二次开发而来,兼容 Google App Engine

91220

这个男人爬虫开发效率提升8倍

现就职于知名云服务提供商 DigitalOcean,曾是云计算平台 Heroku Python 架构师,目前 Github Python 排行榜第一用户。...(star 数超过了包括 google、tensorflow、django 等账号) ? 但他被更多路人所熟知,恐怕还是他从一名技术肥宅逆袭成为文艺高富帅励志故事: ?...看看他个人主页 www.kennethreitz.org 标签: ? 除了程序员,还有摄影师、音乐家、演讲者……不怪在社交媒体被称为“程序员届网红”。...尽管听上去有些自大,但实际它的的确确配得上这个评价,用过都说好。文首搬出它网红作者,其实也仅仅是想吸引下你眼球,然后告诉你,这真的是一个非常值得使用库。...其他同样非常值得推荐东西, PyCharm、Anaconda 等,推荐完之后往往得写上一些教程,并在后续不断解答使用者问题。

44830

2017年Python 开发者应该关注 7 个类库

在这篇博文中,向大家揭示 这7 个 Python 类库,其中不包括像 Django,Flask 等已广为熟知库,这些类库 2017 年受到了众多开发者关注,值得 Python 开发者参考和关注。...该库可以桌面,服务器或移动设备中通过单个 API 使用运行在 GPU 和 CPUs 数据流图能力。...虽然 TensorFlow 机器学习社区中掀起了一些小波澜,但它已经被证明非常适合生产应用程序。 #3 Zappa 最开始时候是由 AWS Lambda 带来了无服务架构。...Rich Jones 是 Zappa 主要作者,并且是 Gun.io CTO,他一次采访中说道:“相信无服务架构(这意味着,系统没有任何永久基础设施)是网络应用未来”。... VPS 服务(类似 Linode,PaaS服务 Heroku摆脱依赖库需要花费成百上千美元。简单来说,我们可以说 Zaapa 允许以微服务部署,不会有任何与服务器管理相关麻烦事。

1.7K90

Python Web 学习资料汇总

而 Web 框架中,Django、Flask、Tornado 无疑是最流行三个框架,今天准备整理一些学习Web开发资源,希望能帮助正在自学你。...错误处理 第八章:粉丝 第九章:分页 第十章:邮件支持 第十一章:美化 第十二章:日期和时间 第十三章:国际化和本地化 第十四章:Ajax 第十五章:优化应用结构 第十六章:全文搜索 第十七章:Linux部署...第十八章:Heroku部署 第十九章:Docker容器部署 第二十章:加点JavaScript魔法 第二十一章:用户通知 第二十二章:后台作业 第二十三章:应用程序编程接口(API) Flask...入门与实践-第22章:基于类视图 Django入门与实践-第23章:分页实现 Django入门与实践-第24章:账户 Django入门与实践-第25章:Markdown支持 Django入门与实践...:视图层view layer 第三章:模版层Template layer 第四章:Django表单 第五章:Admin管理后台 第六章:Django 综合篇 实战一:用户登录与注册系统 实战二:CMDB

1.3K21

Github Python网页框架资源集合,包括Django、Flask、Tornado等

只要提供app名称,Django Baker就可以根据models.py文件中models,自动生成视图、表单、URL、admin页面以及模板。2015年出现十大流行Python库 。...django-webpack-loader - Django webpack loader对webpack-bundle-tracker输出结果进行处理,你可以自己Django应用中使用生成bundles...django-tenants - django-tenantsdjango驱动网站支持多个tenants,这个功能时通过PostgreSQL schemas实现。...deisp - 开源PaaS系统Deis是一个 Django/Celery API 服务器、Python CLI 和一组 Chef cookbooks 合并起来提供一个类似 Heroku 应用平台,用于公有云和私有云...Blog_mini - 基于Flask开发开源博客系统,具有简洁界面和强大后台管理。 lagou-finder - python3flask项目,根据地图展示拉勾网招聘信息项目。

2.3K60

Huginn问答汇总

自己就提供了一个, 详情看 demo .之前看到 Github 上有许多人喜欢 issues 发表文章....uwp Newsflow 也很不错,是 Huginn 部署服务器,然后本地用 Newsflow 看 Rss,如果浏览器插件的话,inoreader 不错 有没有类似 yahoo pipes 分布式任务管理调度后台...huginn 了解一下,heroku 搞个免费 有没有这样工具来解决当今信息泛滥?说下个人情况: 现在基本不看新闻,什么今日头条也不看,朋友圈限制看,手机 App 推送,基本是全关。...Tasker 、 MacroDroid 、 AutomateIt 、 Automate 、 IFTTT 没用过 workflow ,少数派看过一些相关文章,比较认同 4 楼看法 目前自动化搭配如下...比如云端内容,部署 heroku huginn,这种抓取 rss 内容想用 Mac 收到 growl 通知,如何收到呢?

1.4K30

必备DevOps工具链大盘点

构建 Web、桌面和移动应用程序,并将其部署到云端或本地。 通过管道自动化构建和部署,减少具体细节花费时间,把更多时间花在创造性事情。...Puppet 使用了拉取模式,代理节点定时轮询主机,查询特定于站点和特定于节点配置。在这个基础设施中,Puppet 代理应用程序通常作为后台服务运行在托管节点。...Heroku 是一个基于容器云 PaaS。开发人员使用 Heroku 来部署、管理和扩展现代应用程序。这个平台优雅、灵活、易于使用,为开发人员提供了发布应用程序最简单途径。...Datadog 应用程序性能监控 (APM 或跟踪) 帮助用户深入了解应用程序性能——从自动生成仪表盘(监控关键指标,请求量和延迟)到单个请求详细跟踪信息——与日志和基础设施监控信息并列展示。...Prometheus 服务器核心原理是抓取——也就是说,调用各个节点暴露出来指标端点。它定期收集这些指标并将它们存储本地。 Zipkin Zipkin 是一个分布式跟踪系统。

1.8K30

Python爬虫Django项目中数据处理与展示实例

当谈到Python爬虫技术与Django项目结合时,我们面临着一个引人入胜又具有挑战性任务——如何利用爬虫技术从网络抓取数据,并将这些数据进行有效地处理和展示。...本文中,将为您介绍Python爬虫技术Django项目中数据抓取与处理流程。开始之前,我们先明确一下Python爬虫技术基本原理。...爬虫通过模拟浏览器发送HTTP请求,从目标网站抓取数据,然后对数据进行解析和处理。而Django是一个强大Python Web框架,可以用来构建高效Web应用程序。...为了让我们示例项目更具体,让我们设想一个场景:假设我们需要从一个新闻网站上抓取最新新闻标题和链接,并在一个网页展示出来。首先,我们需要编写一个简单Python爬虫程序来抓取这些新闻数据。...我们可以Django项目中创建一个新应用程序,然后编写视图函数来处理爬虫抓取数据。视图函数中,我们可以调用爬虫脚本,并将抓取数据传递给模板进行展示。

15300
领券