前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >[Python实战] 功能简单的数据查询及可视化系统

[Python实战] 功能简单的数据查询及可视化系统

作者头像
叁金
发布2019-03-15 14:27:47
1.2K0
发布2019-03-15 14:27:47
举报
文章被收录于专栏:叁金大数据叁金大数据

前言

数据时代,数据的多源集成和快速检索查询是第一步,配上数据分析及可视化才能算窥得大数据一角。 创建这个项目的主要目的一是对前期工作的一些总结,二是提升自己。 这里简单介绍一下sqlpro这个项目的核心功能。

本项目基于python的flask web框架。提供简单的页面(起初准备用vue写前端,奈何自身能力所限,遂放弃。依然基于flask+jinja2的mvt模式)。

对于数据查询引擎部分,因为需要支持多数据源,所以选用了presto。presto是一个优秀的支持多种数据源联合查询的数据查询引擎。

可视化部分选用了pyecharts进行集成。方便完成多种数据图表的展示,由于前端能力薄弱,只开放了一些通用设置,还需继续完善。

功能特性

  1. 动态添加数据源,支持多数据源联合查询
  2. 数据处理统一使用pandas库,方便二次开发
  3. 基于pyecharts的可视化模块,图表类型齐全
  4. dashboard构建及链接分享
  5. data wrangling功能(后续支持)
  6. 在线数据录入及数据下载(后续支持)

当前版本主要实现了基本的数据源管理,数据查询,数据可视化及数据仪表板等功能。在后面的迭代过程中会以data wrangling作为主要功能,方便数据的清洗和预处理。

项目展示

先上图,没图说个鸡儿。 数据源管理及查询

数据可视化-添加图例

数据可视化-图例列表

数据仪表盘及链接分享

git仓库地址:https://github.com/Ji3jin/sqlpro

总结

本文没有过多的讨论该项目的实现原理,感兴趣的可以看看源码,比较简单。有兴趣的话可以参与进来一起哦。 同时,该项目也会持续更新,希望未来可以加入更多实用的功能。

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2019-03-09 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 前言
  • 功能特性
  • 项目展示
  • 总结
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档