专栏首页麒思妙想基于REST的数据处理流程v0.1

基于REST的数据处理流程v0.1

一直很欣赏pandas对数据的理解,以及其灵活优雅的数据处理方式。一直在考虑是否可以做一套基于REST的API来进行数据处理。今天突然灵感来了,画了一下时序图(如下图),准备后续做一些简单实现来趟趟路。

首先需要创建会话,这是为了日后共享数据,以及自己在数据处理的过程当中,保留状态。

会话创建完成以后,就可以加载数据了。目前数据分成两个部分,源数据和内存数据,这里的事源数据而不是元数据,是因为这里指的是,基础的数据,可以是从数据库或是其他途径现抓取进入内存的,然后创建一个内存模型,后续的执行全部需要依赖内存数据。

基于内存数据可以进行行列转换,索引,数据整理等操作,然后可以获取数据。

这只是一个简单模型,实在在大脑里乱撞的想法在梳理的过程,目前我也不知道这条路是否正确。

未完待续.......

本文分享自微信公众号 - 麒思妙想(qicai1612),作者:dafei1288

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-01-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 如何成为一个成功的首席数据官

    首席数据官(Chief Data Officer,CDO)为组织内的数据“带盐”,并将其表示为战略性企业资产(strategic enterprise asse...

    麒思妙想
  • 我也能写数据库 —— 单表查询

    在翻译关系代数这篇文档的时候,总有一种惴惴不安的感觉伴随着我,其实还是对之前概览的一知半解,而DEMO项目Calcite-example-CSV为了介绍特性,添...

    麒思妙想
  • 零基础学Flink:状态与容错

    在上一篇《零基础学Flink:实时热销榜Top5(案例)》文档中我们介绍了如何计算实时热销榜。在案例的最后TopNHot类中,我们使用了状态类。

    麒思妙想
  • 投稿 | 云端数据简报: 大数据向云端过渡

    <数据猿导读> 大数据时代,人们对于“云”的概念已经很熟悉了,人们使用 Tableau 来连接和分析自己的数据。这些数据有多种不同的存储位置,例如单个数据库、云...

    数据猿
  • 大数据时代的特征和思维

    大数据文摘
  • 「数据战略」结果驱动的企业数据策略:数据生命周期过程

    企业数据战略系列的一部分,探讨了领导力和责任感在指导与业务成果相关的总体数据战略方面的重要性。

    首席架构师智库
  • 企业传输业务数据的几种方式

    企业数字化转型的进程加快,使得企业越来越重视业务数据的传输。除了实现最基本的传输功能之外,企业还提出了更多期望,如安全性,实时性等。本文主要介绍企业传输业务数据...

    知行软件EDI
  • 特别专题 | 传统企业大数据应用案例【五】

    导读:本期“谁是数据英雄?传统企业大数据应用案例”给大家介绍《 兴业银行:信用卡背后的数据生命线》。兴业银行作为首批试水大数据的商业银行之一,借助大数据的关键...

    钱塘数据
  • 【中国IDC产业年度大典】运营商大数据,困难中前行

    2016年1月7日,中国电信灯塔大数据受邀参加了《第十届中国IDC产业年度大典》2015大数据应用与安全技术论坛,论坛中,中国电信灯塔大数据负责人杨明川博士做...

    灯塔大数据
  • 马蜂窝数据仓库的架构、模型与应用实践

    最近几年,数据中台概念的热度一直不减。2018 年起,马蜂窝也开始了自己的数据中台探索之路。

    Spark学习技巧

扫码关注云+社区

领取腾讯云代金券