数据分析要会写代码

最近工作任务有些忙,主要是各个部门的数据分析需求再加上APP后端性能优化挤到一块儿去了。

之前的数据相关工作主要是被动式的,各个部门把数据分析的需求给出来,然后一个人从ES或者Hadoop中对数据进行分析,最终用tableau画图,然后通过Keynote导出成pdf,通过邮件反馈回去。

近期通过了一个提案,就是开发一个内部使用的大数据开放平台,在Web上输入某个关键字,就可以返回相关的信息和分析结果。将自己从很多的手工分析中解放出来。

任务比较急,从零到上线只给一个月时间,而且只有我一个开发人员,还不能耽误平时的正常工作。

所以权衡下来,初步选择基于tableau server提供的Restful API,将后台预先生成的图返回到Web前端。同时会从Redis中获取一个实时计算的数据以及Mysql中获取一些文本类的信息展示。

Nginx主要是用来做安全控制,只允许公司内网使用,这样就不需要账号登录模块了。

总的架构如图所示:

今天升级了一下tableau server到最新版本,可以基于Http Restful API来下载视图的高清图片了。幸好今天升级了,还有不到一个月维护的License就到期了,到时候就无法升级了。而低版本的tableau server提供的API比较弱,完全没法满足初步的需求。

前端会提供一个简单的搜索框,然后搜索的内容和图片会显示在下面,第一版本暂时不会提供数据的导出功能。

目前是基于Python快速搭建一个Demo出来,等到Demo搭建的差不多了,打算使用Golang来做为后台,主要的考虑是顺便捡起遗失已久的Golang。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏一个会写诗的程序员的博客

函数式编程与面向对象编程[5]:编程的本质函数式编程与面向对象编程[5]:编程的本质编程的本质

函数式程序员在洞察问题方面会遵循一个奇特的路线。他们首先会问一些似有禅机的问题。例如,在设计一个交互式程序时,他们会问:什么是交互?在实现 基于元胞自动机的生命...

14920
来自专栏Golang语言社区

Node.js真的无所不能?那些不适用的应用领域分析

Node.js是一个服务器端JavaScript解释器,底层采用的还是libevent;它的目标是帮助程序员构建高度可伸缩的应用程序,目前对Node.js 的采...

387100
来自专栏SDNLAB

OpenDaylight碳版本如何增强稳定性、安全性和网络可编程性?

OpenDaylight的终端用户现在可以放心的是,OpenDaylight早起版本中的数以千计的功能支持不足的现象一去不复返了。OpenDaylight最新的...

41160
来自专栏开源优测

[大数据测试]ETL测试或数据仓库测试入门

概述 在我们学习ETL测试之前,先了解下business intelligence(即BI)和数据仓库。 什么是BI? BI(Business Intelli...

33150
来自专栏开源优测

[大数据测试]ETL测试或数据仓库测试入门

概述 在我们学习ETL测试之前,先了解下business intelligence(即BI)和数据仓库。 什么是BI? BI(Business Intell...

45460
来自专栏大数据和云计算技术

对象存储入门

10.5.3 对象接口 对象存储系统(Object-BasedStorage System)是综合了NAS和SAN的优点,同时具有SAN的高速直接访问和NAS...

88140
来自专栏一枝花算不算浪漫

订单的处理原理及代码实现.

1.1K110
来自专栏程序人生

数据:逍遥游

对程序员来说,数据是我们时刻都在打交道的东西。我们的代码如同一台机器,把进入的数据转换或者映射成出来的数据。数学上,不过是:y = f(x) 而已。数据就像庄子...

17640
来自专栏狮乐园

RPC vs REST vs GraphQL

最近2周的时间由于工作不忙,一直在看有关GraphQL的东西,前后端均有涉及,由于我之前做过后端开发,当时实现的接口的大体是符合RPC风格的接口。后来转做了前端...

35520
来自专栏微信公众号:Java团长

如何阅读Java源码?

假如你从来都没有学过Java,也没有其它编程语言的基础,上来就啃《Core Java》,那样是很难有收获的,尤其是《深入Java虚拟机》这类书,或许别人觉得好,...

70420

扫码关注云+社区

领取腾讯云代金券