专栏首页Python in AI-IOTPython开发物联网数据分析平台---介绍
原创

Python开发物联网数据分析平台---介绍

数据转换任务

1. 数据提取

每天连接数据库,从数据库中抽取昨天的数据

2. 数据清洗

将数据中报警和异常字段的字符串类型转换为数字型

3. 数据压缩

将数据以序列化对象直接存储,相比通常的Excel,Csv格式文件大小减少了三分之一。

并且读取转换成内存对象的速度更加快。

内存型数据查询

  • 伴随Web程序启动,将数据同时加载到Web程序的内存中,查询速度比传统的磁盘IO快100-1000倍
  • 每个数据接口会检查是否有最新文件,如果有最新数据文件生成,调用接口时会自动将其追加到数据内存中,而不是重新加载所有数据。从而保持运行一次,无需重启,数据更新
  • 支持千万级别数据的即席查询分析

核心分析方法

  • 超过200个数据处理流程。
  • 两种算法:15分钟数据插值算法,以及掉线统计算法
  • 多种分析维度:可以按照日期,时间汇总数据。
  • 在均值汇总上增加中值汇总,中值汇总可以避免因为过高或过低异常值对整个数据集统计结果的影响。

web交互体验

  • 全局设备搜索栏,每个功能模块都可以根据它来选择将要对一个设备或多个设备进行分析。
  • 自适应Bootstrap响应式布局,可适应平板友好体验。
  • 伸缩式菜单,可以在较大空间内将图表展现。
  • 多主题切换,可以切换不同风格的颜色主题。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 高质量编码-小区用水量专题地图

    JS 代码如下,对应鼠标移至对应区间图例上地图相应小区高亮显示以及点击生成专题图:

    MiaoGIS
  • 高质量编码-轨迹管理平台(CSS样式)

    样式仿照百度地图鹰眼轨迹服务早期版本的web端轨迹管理台,地图和UI都使用了夜色风格。

    MiaoGIS
  • 高质量编码-小区今日实时累积用水

    由wanderGIS这个大牛的兼容Arcgis JS API编写的EchartsLayer做的百度迁徙可视化启发,我们可以在地图上实现一个小区今日实时累积用水的...

    MiaoGIS
  • 【数据】数据预处理

    小编邀请您,先思考: 1 数据预处理包括哪些内容? 2 如何有效完成数据预处理? 数据的质量和包含的有用信息量是决定一个机器学习算法能够学多好的关键因素。因此,...

    陆勤_数据人网
  • 遭遇成长烦恼 2017 IT行业回顾之AI大数据

    第312期 遭遇成长烦恼 2017 IT行业回顾之AI大数据 文 | 贾凯强 责任编辑 | 巫山 审核 | 张齐 策划 | 刘克丽 人工智能和大数据在20...

    企鹅号小编
  • 美国国防部数据战略(全文)

    美国国防部数据战略通过提供将国防部转变为以数据为中心的企业所必需的总体愿景,重点领域,指导原则,基本能力和目标来支持国防战略和数字化现代化。不能认为成功是理所当...

    肉眼品世界
  • 如何填报大数据相关专业? | Alfred数据室

    高考出分了,又是一年一度各位考生和家长手忙脚乱开始填报志愿的时候了。很多考生和家长纷纷咨询Alfred:大数据现在不是很火吗?大数据专业怎么样呀?应该填选择哪个...

    Alfred数据室
  • 【数据科学】数据科学的整合与细分

    自从大数据这个词出来以后,数据已经成为一个非常明确的科学领域。在这当中很少有人详细地探讨数据科学的结构和它面临的问题,包括我们行业面临的问题。 数据科学有三个非...

    陆勤_数据人网
  • 从“大数据”到“智能数据”

    大部分专家都相信可以从巨量的数据中找到宝石和金子。英国牛津大学曾对全球各行业工作者做过一份调查问卷,2/3受访者认为,使用数据和分析软件可以使他们保持竞争优势。...

    华章科技
  • 【中国IDC产业年度大典】运营商大数据,困难中前行

    2016年1月7日,中国电信灯塔大数据受邀参加了《第十届中国IDC产业年度大典》2015大数据应用与安全技术论坛,论坛中,中国电信灯塔大数据负责人杨明川博士做...

    灯塔大数据

扫码关注云+社区

领取腾讯云代金券