开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >使用Django Rest框架将被刮过的HTML数据作为API提供

问使用Django Rest框架将被刮过的HTML数据作为API提供
EN

Stack Overflow用户

提问于 2018-04-06 07:47:26

回答 1查看 1K关注 0票数 0

我试图构建一个面向公众的API，通过抓取HTML收集数据(页面的内容才是最重要的，而不是页面本身)。我选择使用Django-Rest-Framework作为我的后端。我的问题是：如何组织这个项目的结构，以便Django ORM存储被刮过的内容，然后可以使用Django-Rest的API?访问它。

我研究过Scrapy，但这似乎不那么关注内容抓取，而是更多地关注and爬行。此外，它还部署在自己的项目中，这与Django的引导冲突。

我最好的投注是在运行cronjobs吗？这似乎不雅致。

django-rest-framework

EN

回答 1

Stack Overflow用户

发布于 2018-04-06 12:18:36

使用芹菜创建异步和定期任务。

如果您需要一些轻量级的东西来抓取，您可以使用BeautifulSoup。这是教程。

总的来说，这是您需要做的：

启动普通Django项目。
在里面加芹菜。
写些刮擦代码。
调用您的自定义刮代码从芹菜任务。将已抓取的内容保存到数据库中。
使用Django-Rest-Framework创建一个API，该API将服务于数据库中的内容。

票数 1

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/49696558

复制

相关文章

django-rest_framework api框架学习day1

网络安全 api 编程算法文件存储 http

今天开始了django-rest-framework的学习 *** 其实api写起来的话要比前后端一起写要简单很多，因为你不需要关心前端怎么写，主要心思放在后端上面即可，前端的话随便找个模板，然后用vue语法嵌套上去就好了，一样可以做到很好看，实现了前后端的分离，非常的nice，开始学习之路了！加油奥利给 *** 首先需要安装rest-framework *** pip install framework *** 接着在setting-installed-apps中注册 *** INSTALLED_APPS = [ ‘django.contrib.admin’, ‘django.contrib.auth’, ‘django.contrib.contenttypes’, ‘django.contrib.sessions’, ‘django.contrib.messages’, ‘django.contrib.staticfiles’, ‘testAPI.apps.TestapiConfig’, ‘rest_framework’, ‘ajax’, ] *** 注册完成之后路由上的写法也有些不同， URL中 *** from django.urls import path from . import views from .views import Order app_name=’testAPI’ urlpatterns=[ path(”,Order.as_view()),

kirin

2020/05/09

1.3K0

Django API 为 D3 提供数据

在工作中见过有的人即便使用了Django，依然还在采取json或geojson的文件形式为页面提供数据，相当于嵌入数据而非加载。下面是个简单有效的例子：

py3study

2020/01/19

1.4K0

【Django | 开发】 Rest Framework 开放API

官方文档 api 腾讯云开发者社区

🤵‍♂️ 个人主页: @计算机魔术师 👨‍💻 作者简介：CSDN内容合伙人，全栈领域优质创作者。 🌐 推荐一款找工作神器网站: 宝藏网站 |笔试题库|面试经验|实习招聘内推| 该文章收录专栏 ✨—【Django | 项目开发】从入门到上线专栏—✨ Rest API,开放数据接口官方文档我们按照官方文档一步一步安装安装对应依赖添加app到settings 添加路由 path('api-auth/', include('rest_framework.

计算机魔术师

2022/08/19

5620

【Django | 开发】 Rest Framework 开放API

Django Rest Swagger生成api文档

Swagger能成为最受欢迎的REST APIs文档生成工具之一，有以下几个原因：

程序员同行者

2018/08/16

3.1K0

Django Rest Swagger生成api文档

Django REST框架 | 封装 Respose 类

python 腾讯云测试服务

可以发现在给客户端返回数据都有固定的格式，比如 json。我们为了减少重复代码，重写Response 类

白墨石

2021/01/12

1.6K0

django-rest-framework框架学习

python 文件存储 http django 官方文档

现在新一代web应用都开始采用前后端分离的方式来进行，淘汰了以前的服务器端渲染的方式。前后端分离方式有许多好处，比如 1、可以前后端并行开发，提高开发效率 2、页面都在客户端进行渲染，提高了渲染速度，减小了服务器的压力 3、一套api提供给多个客户端使用，而且不限制客户端的类型（web，app均可）

earthchen

2020/09/24

1.3K0

Yarn Rest Api使用

编程算法 http 容器

前言 Yarn Rest Api 返回的数据都是XML格式，需要解析XML。任务查询查询所有任务 http://hadoop02:8088/ws/v1/cluster/apps 字段说明 Item DataType Description id string 应用的application-id user string 提交任务的用户名 name string 应用程序的名称 queue string 应用程序所属消息队列 state string 应用程序当前状态 finalStatus str

码客说

2023/01/08

2.2K0

Django REST 框架的 FBV 与 CBV 选择

python django 面向对象编程编程算法

浏览器通过url传给路由，由as_view 进入ChildView，ChildView通过View的 dispatch 方法来根据不同请求方法执行不同的方法

白墨石

2021/01/12

1.3K0

Golang中使用echo框架、MongoDB、JWT搭建REST API

生命不止，继续go go go !!! 之前介绍过golang中restful api的博客，是使用redis作为持久化，httprouter作为框架： Go实战–通过httprouter和redis框架搭建restful api服务(github.com/julienschmidt/httprouter) 今天，继续echo框架，这次加入mongodb作为持久化存储，使用jwt进行验证，来搭建一套rest api，类似Twitter。其中，很多知识点之前都有介绍过：关于golang中使用mongo

程序员的酒和故事

2018/03/12

2.2K0

Django REST framework初次使用

api python php 数据库 sql

我们将使用 django-rest 创建一个简单的API，以允许管理员用户查看和编辑系统中的user和group。

用户4945346

2020/06/16

7340

Django REST 框架详解 08 | 认证组件

python http 接口测试腾讯云测试服务

APIView 的 dispatch 中使用 initial 方法实现初始化并进行三大认证，第一步就是认证组件

白墨石

2021/01/12

1.2K0

Django REST 框架详解 09 | 权限组件

python 接口测试腾讯云测试服务

APIView 的 dispatch 中使用 initial 方法实现初始化并进行三大认证，第二步进行权限组件调用

白墨石

2021/01/12

1.2K0

使用MySQL作为Django数据库后端

云数据库 SQL Server django python sqlite 数据库

写在开始之前 Django默认使用SQLite作为默认数据库。如果不熟悉数据库或仅是为了测试，这是最简单的选择，并且Python内置了SQLite，但是，对于准备开始1个真正的项目而言，应该使用1个更具扩展性的数据库。例如：MySQL/PostgreSQL，毕竟中途切换数据库是个令人头疼的问题；除了DB API驱动程序之外，Django还需要一个适配器来从其ORM访问数据库驱动程序。Django为mysqlclient提供了一个适配器，因此你可以不用关心这一点；使用SQLite以外的数据库，必须事先创建

用户1456517

2019/03/05

1.4K0

使用MySQL作为Django数据库后端

快用Django REST framework写写API吧

django php json api https

Django默认是前后端绑定的，提供了Template和Form，现在流行前后端分离项目，Python大佬坐不住了，于是便有了Django REST framework：https://github.com/tomchristie

dongfanger

2020/12/18

1.1K0

快用Django REST framework写写API吧

Django REST 框架详解 01 | 安装与数据库配置

django sqlite android ide

Django Rest Framework （DRF）是基于 Django 框架，用于构建 Web API 的工具集。

白墨石

2021/01/13

1.2K0

Django REST 框架详解 01 | 安装与数据库配置

使用 %REST.API 类创建 REST 服务

api 网站 openapi java

创建 REST 服务的推荐方法是从 REST 服务的 OpenAPI 2.0 规范开始，并使用它来生成 REST 服务类。要使用 %REST.API 类执行此操作：

用户7741497

2022/08/05

1.6K0

使用 Burp 枚举 REST API

api 编程算法腾讯云测试服务

Burp 可以测试任何 REST API 端点，前提是您可以为该端点使用普通客户端来生成正常流量。流程是通过 Burp 代理客户端的流量，然后用正常的方式进行测试。

Khan安全团队

2022/01/14

1.2K0

点击加载更多

相似问题

使用django rest框架的api

21

Django rest框架api

37

Django API Rest框架

10

使用Django rest框架作为rest客户端

12

使用API Django Rest框架创建用户

19

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例