前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >助力工业物联网,工业大数据之油站事实指标需求分析【十九】

助力工业物联网,工业大数据之油站事实指标需求分析【十九】

作者头像
Maynor
发布2023-07-31 12:40:34
1290
发布2023-07-31 12:40:34
举报

01:油站事实指标需求分析

目标掌握DWB层油站事实指标表的需求分析

路径

  • step1:目标需求
  • step2:数据来源

实施

目标需求:基于油站信息及设备数据构建油站主题事实的油站个数、停用个数、新增个数、设备个数等

image-20211003144602187
image-20211003144602187

油站数量:1个油站就是一条数据,这个值默认就为1

已停用油站数量:停用状态,判断油站的状态是什么状态

有效油站数量:使用状态,判断油站的状态是什么状态

当日新增油站:判断之前有没有这个油站

历史记录表:oil_history:记录了当前所有油站的信息

  • id、name

今日新数据:oil_current:记录了今天所有油站的信息

  • id、name

left join

代码语言:javascript
复制
oil_current a  left join oil_history b on  a.id = b.id
where b.id is null

当日停用油站:判断当日状态

油站设备数量:得到这个油站的所有设备信息,按照油站id分组统计设备个数

数据来源

ciss_base_oilstation:油站信息表

代码语言:javascript
复制
select
   id os_id					--油站id
   , name os_name				--油站名称
   , code os_code				--油站编码
   , province province_id		--油站省份
   , city city_id				--油站城市
   , region county_id			--油站区域
   , status status_id			--油站状态
   , customer_classify cstm_type_id		--客户分类id
   , 1 os_num							--油站数量:默认为1
   , case when status = 2 then 1 else 0 end invalid_os_num		--停用油站数量:1-停用,0-启用
   , case when status = 1 then 1 else 0 end valid_os_num		--有效油站数量:1-有效,0-无效
from ciss_base_oilstation;

ciss_base_oilstation_history:油站历史记录表

模拟油站历史记录

代码语言:javascript
复制
create table if not exists one_make_dwd.ciss_base_oilstation_history
stored as orc
as select * from one_make_dwd.ciss_base_oilstation
where dt < '20210102';

查询历史油站信息

代码语言:javascript
复制
--获取当前的油站是否是一个新增油站
select
    oil.id
    , case when oil.id = his.id then 0 else 1 end current_new_os_num
--今日油站数据表
from one_make_dwd.ciss_base_oilstation oil
--历史油站数据表
left outer join one_make_dwd.ciss_base_oilstation_history his
on oil.id = his.id where oil.dt = '20210101';

ciss_base_device_detail:油站设备信息表

代码语言:javascript
复制
-- 设备信息表中按照油站id分组聚合设备id:每个油站的设备个数
select
    oil.id, count(dev.id) device_num 
from one_make_dwd.ciss_base_oilstation oil
left join one_make_dwd.ciss_base_device_detail dev on oil.id = dev.oilstation_id
where oil.dt = '20210101'
group by oil.id;

小结

  • 掌握DWB层油站事实指标表的需求分析

02:油站事实指标构建

目标实现DWB层油站事实指标表的构建

实施

建表

代码语言:javascript
复制
-- 创建油站事实表
drop table if exists one_make_dwb.fact_oil_station;
create table if not exists one_make_dwb.fact_oil_station(
    os_id string comment '油站id'
    , os_name string comment '油站名称'
    , os_code string comment '油站编码'
    , province_id string comment '省份id'
    , city_id string comment '城市id'
    , county_id string comment '县id'
    , status_id int comment '状态id'
    , cstm_type_id int comment '客户分类id'
    , os_num int comment '油站数量 默认为1'
    , invalid_os_num int comment '已停用油站数量(状态为已停用为1,否则为0)'
    , valid_os_num int comment '有效油站数量(状态为启用为1,否则为0)'
    , current_new_os_num int comment '当日新增油站(新增油站为1,老油站为0)'
    , current_invalid_os_num int comment '当日停用油站(当天停用的油站数量)'
    , device_num int comment '油站设备数量' 
)
comment "油站事实表"
partitioned by (dt string)
stored as orc
location '/data/dw/dwb/one_make/fact_oil_station';

抽取

代码语言:javascript
复制
insert overwrite table one_make_dwb.fact_oil_station partition(dt = '20210101')
select
   oil.id os_id					--油站id
   , name os_name				--油站名称
   , code os_code				--油站编码
   , province province_id		--油站省份
   , city city_id				--油站城市
   , region county_id			--油站区域
   , status status_id			--油站状态
   , customer_classify cstm_type_id		--客户分类id
   , 1 os_num							--油站数量:默认为1
   , case when status = 2 then 1 else 0 end invalid_os_num		--停用油站数量:1-停用,0-启用
   , case when status = 1 then 1 else 0 end valid_os_num		--有效油站数量:1-有效,0-无效
   , current_new_os_num					--当日新增油站数量,1-新增,0-老油站
   , case when current_invalid_os_num is null then 0 else current_invalid_os_num end current_invalid_os_num --当日停用油站数量
   , device_num							--油站设备数量
   --油站信息表
from one_make_dwd.ciss_base_oilstation oil
     left join (
	     --关联历史油站表,判断是否为新增油站
         select 
		     oil.id
			 , case when oil.id = his.id then 0 else 1 end current_new_os_num 
		 from one_make_dwd.ciss_base_oilstation oil
         left outer join one_make_dwd.ciss_base_oilstation_history his 
		 on oil.id = his.id where oil.dt = '20210101'
     ) oilnewhis on oil.id = oilnewhis.id
     left join (  
         --关联停用油站数据,统计今日停用油站个数 
         select 
		     oil.id, count(oil.id) current_invalid_os_num 
		 from one_make_dwd.ciss_base_oilstation oil 
		 where oil.dt = '20210101' and oil.status = 2 group by oil.id
     ) invalidos on oil.id = invalidos.id
     left join (
		 --关联油站设备信息表,统计油站设备个数
         select 
		     oil.id, count(dev.id) device_num from one_make_dwd.ciss_base_oilstation oil
         left join one_make_dwd.ciss_base_device_detail dev on oil.id = dev.oilstation_id
         where oil.dt = '20210101'
         group by oil.id
     ) devinfo on oil.id = devinfo.id;

小结

  • 实现DWB层油站事实指标表的构建
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2023-07-27,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 01:油站事实指标需求分析
    • 02:油站事实指标构建
    相关产品与服务
    大数据
    全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
    领券
    问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档