首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

自助取数平台探索与实践

一、概述 政采云自助取数平台历时一年左右的时间开发,从 0 到 1,基于取数流程长、取数成本高、取数效率低、数据安全不可控等痛点,经历数次大的版本迭代,目前平台功能已能覆盖内部员工日常取数的大部分场景。...本文将对自助取数平台的功能模块和系统设计做简略的介绍。 二、功能模块 平台主要包含自助取数、数据推送、资源管理、操作审计几个大的功能模块。...4、资源管理 自助取数导出的文件都会出现在资源管理列表,可以多次下载已导出的文件。作为一个通用资源管理模块,也支持用户自主上传文件,以便后续进行推送等操作。...5、数据推送 资源管理列表中的文件,可推送到第三方平台;目前已对接智能外呼和云平台。 . 云平台推送 ....2、易用性 1、自助取数在最初的设计中,对取数任务使用的是列表管理的方式,但是当取数任务变多后,需要根据业务场景对取数任务进行管理,基于此场景,加入了文件夹管理

21210

从0到1搭建自助分析平台

一、什么是自助分析平台 自助分析平台是构建在大数据平台之上的,依托于大数据平台的数据研发能力,通过统一的数据服务,实现对数据查询、分析的统一管理,为企业业务分析提供高效的数据决策支持,同时也避免数据工程师陷入繁杂的提数需求中...自助分析平台是有计算机基础的业务人员能够快速上手的前端产品,既要有大数据的处理性能,有需要有简单好用的可视化分析能力,只有让业务人员能够快速掌握使用方法,和公司的业务结合起来,自助分析平台才有价值。...其实,一直以来,各大公司的数据分析平台都只有一个目标——干掉Excel。 二、自助分析平台该有哪些模块 ?...支持多数据源接入 自助分析平台要能够支持多种数据源、不同数据类型文件的接入,能够让数据工程师和业务人员快速的把数据导入到自助分析平台中。...最后,还是要提醒一下,自助分析平台的目的是“干掉Excel”,让所有的分析结果存储在线上,千万不要让其沦为数据下载平台

1.2K20
您找到你想要的搜索结果了吗?
是的
没有找到

自动自助训练模型平台的架构设计

只不过场景不同,持续收集数据的成本差异可能是巨大的,例如对于广告平台点击率预测,样本数据本身就是现成的,需要做的就是收集,可能还需要区分作弊数据;而对于像舆情系统的文本分类,要想持续收集数据,那就得有人持续的进行标注...模型目标 一个舆情系统分类模型的自动自助训练的模型平台应该是这样的: 1. 模型应该是可以增量训练的; 2. 模型的增量训练数据可以来自上传,或者从第三方系统推送过来; 3....模型平台:实现模型的管理,日志管理,数据集管理,预测节点信息管理等。数据都存储到数据库中。 2....任务调度:模型平台只是管理模型的基本信息,如模型的训练计划,上线条件等,但是训练任务的调度等等都是在任务调度系统实现的。另外如果训练任务比较多,这里可能也会使用多个服务器。训练好的模型存储到s3上。...预测节点会把心跳,日志等信息发送给模型平台,在模型模型平台统一进行管理。模型平台也会把新模型的上线通知下发给节点服务器。 几点说明: 1.

69510

如何选择域名交易平台域名如何注册

有不少的人在创建网站的时候都要先申请域名,而现在网络上的域名交易平台非常的多,但是域名交易平台有好有差,我们在选择的时候一定要慎重,关于如何选择域名交易平台域名如何注册,我们将在下面为大家介绍。...image.png 如何选择域名交易平台 如果要选择域名交易平台,我们首先是需要了解一下这个交易平台是否是正规的,因为在正规的域名交易平台上,它的价格才会比较公正合理,收费也会比较透明。...而且在正规的交易平台上,对于设立域名也会比较可靠,它们会尽可能根据用户的需要设计。此外,我们也可以选择比较大的或者是有多年经验的域名交易平台。...域名如何注册 如果想要让别人访问到自己,那就必须要进行域名注册了,首先我们是可以在浏览器上直接搜索域名注册,就会出现很多的域名注册平台,在这些注册平台上,我们就可以进行域名注册了,但是有些注册平台是需要收费的...域名交易平台是非常多的,在这儿我们可以实现域名的交易,出售等等,但是我们一定要选择正规的域名交易平台,这对于我们进行域名操作的时候会比较有保障。

7.7K10

PageAdmin自助建站系统之站点的添加和管理

PageAdmin Cms支持多站点,很适合制作大型站群网站,在站点管理中可以对每个站点进行管理,站点绑定域名,访问目录,站点模板等操作都在此界面进行操作,下面小编介绍一下PageAdmin建站系统站点的添加和管理...1、打开站点管理,如下图 2、如果需要添加新站点,点击左上角菜单中有一个添加按钮,出现如下界面 下面说一下几个重要参数: 2.1、访问目录:必填项,如果没有绑定域名,则网站用:http://系统主域名...2.2、绑定域名:如果填写了此项,则网站用http://my.domain.cn来访问域名,需要注意是,你的服务器站点需要先绑定http://my.domain.cn域名 如果后期网站域名更改了,站点会出现打不开的情况...,只需要进入当前管理界面,修改一下绑定域名即可。...3、如果添加了多个站点,如何在多个站点之间切换管理比如站点栏目,网站信息数据呢?点击后台右上角,账户中心,网站切换,如下图 4·、弹出站点选择界面,选择中管理的站点,然后点击按钮即可,如下图:

2.7K10

数据库自动化运维平台自助DML

为了使DBA的工作轻松,有效率很多年前各大公司就开始自动化运维平台建设,在这方面我们属于比较晚的了。 今天介绍下最近开发的一个平台自助DML。什么是DML,就是平常执行的增删改查数据库操作。...有人有疑问这不是程序访问的操作,为什么还要做一个平台操作这些呢,其实这种操作主要是开发需要线下修复数据的一种操作,不只是增删改,还有建表,建索引,添加字段等,这些操作开发一般会提给DBA协助操作数据库。...虽说现在的公司实例少点,但每天的工作量还是很大,关键这种工比较重复,枯燥,没有技术含量,所以迫切需要一个自助的服务平台开放出去来提高工作效率,解放DBA。...: 1) 提交任务需要满足两个条件:(1) 元数据平台(请参考之前的元数据平台博客)集群归属部门信息不能为空 (2)提交任务的人所在部门要跟集群归属部门一致 2) 根据流程检查权限后,就会对提交的...10) 这个页面是DBA后台操作页面, 目前只有DML,其他平台正在开发中。 总结: 此系统目前已经开放给RD使用,目前日处理需求量50+,对工作效率,安全性,RD体验等方面有了显著的提升。

3.2K20

MySQL权限管理的一些自助化服务思路

我想了想这里折射出几个问题: 1)业务侧对于权限的管理很多都是粗放型的,很多密码都是明文,基于excel等方式管理,可能会有小范围的文件方式分发 2)服务配置或权限发生变更,这些信息在业务侧没有统一的配置平台去解决...,在本地的配置管理中也难以统一更新 3)对于业务侧来说,权限使用也是两级化,要么是清一色共享账号的习惯,要么是个人化账户,其中个人化账户随着人员流动很多权限管理难以追溯。...4)业务侧对于数据库的权限体系了解较少,沟通交流中会有代沟 5)因为密码是加密模式而且不可逆,很多DBA也没有统一的平台维护现有环境的账号密码信息,简单来说,他们很可能也不知道明文密码是什么 6)权限边界不清晰...这里就是建设密码管理模块的重中之重了,密码管理模块是一个相对独立的模块,可以对于密码加解密使用独立的算法逻辑,也就加密串和数据库层面的加密串可以没有关系,但是这两个加密串却可以无缝的衔接起来,可以通过密码管理中的加解密...按照这种思路,我们就可以提供一系列的服务可以来支持业务的这几类大问题,而且可以直接对标自助化服务。

71530

域名注册和域名NS管理的区别和联系

注册域名之后就涉及到域名解析、域名加速、域名NS记录等等很多操作,接触的新手越多,魏艾斯博客越是觉得要普及一下域名注册和域名管理之间的联系和区别。...2、域名管理权 注册完后域名管理权在namesilo了,这里说的域名管理权也就是域名NS记录,也叫NameServer、域名NS、NS管理,下面截图有三条地址,一般使用两条就够了。...域名管理权操作也就是域名解析,也就是添加修改删除A记录、Cname记录、MX记录等等。 ? 举例说需要转移域名管理权到siteground。...也就是说你把NS记录放到谁家,域名管理权就在谁那里。和你在哪里注册付费购买域名是无关的,不发生关系的。你可以在A家买域名,B家管理域名解析。...提示:注意有的主机商提供了域名管理功能,比如国内的阿里云、腾讯云,国外的Siteground(使用的cpanel是国内外普及率极高的一款主机管理面板,自带域名管理功能)、Linode、Bluehost等

8.3K20

域名命名规则及交易平台

通过浏览器输入域名访问网页的实质是通过DNS(域名解析系统)访问该网站的IP地址。...负责管理全球域名的机构是ICANN(因特网域名与地址管理机构)。由于在因特网上的各级域名是分别由不同机构管理的,所以各个机构管理域名的方式和域名命名规则也有所不同。...域名命名的规则有: 1、域名中包含的字符 1) 26个英文字母 2) 10个阿拉伯数字 3) “-”(英文中的连字符) 2、在域名中不区分大小写,例如: ithomer.net 和 ITHomer.net...等) 2、”-“不能用作开头和结尾  3、域名最长可达67个字节(包括后缀.com、.net、.org等) 国际域名和国内域名区别 国际域名是用户可注册的通用顶级域名的俗称。...domainstr=ithomer.net Godaddy https://www.godaddy.com 域名交易平台 优米: http://www.00.net 抢米: http://www.qiangmi.com

9.5K50

如何出售域名 有多少个能出售域名平台

在大家注册的机构商也有着出售域名的服务功能,只是只在一个平台出售,那能卖掉的几率是很小的,大家可以多平台挂号出售。比如一些域名出售中心平台,也类型一种电商平台,在里面发布自己域名的相关信息。...如果在这个平台购买成功,那这个平台还需要抽取一小佣金,抽取多少佣金就需要大家在提交域名的时候事前搞清楚。...有多少个能出售域名平台 出售域名平台有很多,多些发布,多点展现就早些卖出,给大家推荐几个能出售域名平台: 1、域名交易平台:类似电商平台,开一家自己的商店,上架域名信息,等到用户的购买。...2、域名经纪平台:这个与中介相似,就是将自己的域名信息挂在别人的网站上,一旦卖出成功后,就要给一点钱这个中介。 3、域名拍卖:将自己的域名提交到域名网上拍卖。...以上就是关于如何出售域名的教程,希望能对大家有所帮助。出售域名的方式有很多种,每一种都尝试也没什么坏处。只是要问清楚平台的抽佣金额是多少,如果太高那就不值得出售了。

3.8K20

管理平台优势

Gitee 上,项目源码和核心插件源码放在 https://gitee.com/xiaomagenb/dlvm优势零代码开发是指开发简单功能模块时可一键生成无须代码,如果开发复杂模块只需学习 DM 平台的插件功能...在表单设计、视图设计、审批流程等方面 DM 平台采用可视化操作,所见即所得;平台采用 NetCore 框架开发,支持前后端分离,具有可运行在国外 \ 国内系统的跨平台性;平台支持多语言、多币种,可以后台直接配置即可...;DM 平台可以开发多个子系统并独立运行,每个子系统的各功能模块可快速生成并具备增、删、改、查、审批流、相关报表等基本功能,开发人员可以在此功能基础上添加自己的业务逻辑完成项目的开发。...好处DM 平台发布以来已被广大爱好者用到了企业、政府、医疗、金融、互联网等各个领域中,架构精良、易于扩展、可配置性强、操作可视化的设计模式、工匠精神打磨每一个细节,深入开发者的内心,并荣获开源中国《最受欢迎中国开源软件...DM 平台是作者和自己的开发团队结合了多年开发经验,以及各方面的应用案例,把多个开源框架的优势和特殊功能集中进行优中选优,进行了二次开发后,完成了一次全部重构,也纳入很多新的思想。

1.2K30

如何从0到1搭建自助取数平台(二):规划篇

建立全公司的数据标准体系,规范数据管理和应用体系 指标规则配置化:各类业务统计指标,可通过指标管理平台配置化生产,实现指标口径灵活调整,同时支持多版本管理 指标消费便捷化:建立公司级指标库,实现业务指标的灵活...、自助消费,包括对接下游系统(BI报表平台、即席查询),缩短数据消费链路,提高响应速度 指标影响快速分析:指标的异常变动,可通过血缘追溯至上游指标的变动;针对基础指标的修改变动,可以展示对下游衍生指标的影响...可以打通BI报表平台、指标取数、API管理平台对外提供服务。...1.平台提供统一的指标、维度规范2.支持多重指标定义(原子、派生、计算指标)。3.支持指标分层和权限管理 业务痛点:业务指标口径无平台可维护产品目标:指标配置自动化。...业务痛点:业务指标口径无平台可查产品目标:指标管理集中化、指标口径可视化 V3.0 业务目标:打通更多下游应用(指标取数、BI报表平台、薪酬业绩核算)1.指标数据质量监控2.指标血缘、维度血缘3.强大通用的

81721

如何从0到1搭建自助取数平台(三):实践篇

本文将分享笔者搭建自助取数工作的实践。...前面2篇介绍了自助取数 >>>竞品调研:如何从0到1搭建自助取数平台(一):调研篇 >>>产品规划:如何从0到1搭建自助取数平台(二):规划篇 本文主要介绍如何实践搭建自助取数平台。...实战过程,自助取数将采用前后台分离的方式。其中后台进行必要的指标业务含义管理、指标规范管理等。前台以简单、快速、准确、安全进行指标取数查询。...二、如何搭建指标取数平台 2.1 指标建设方法论 整体上指标建设要做到指标业务口径统一规范、形成知识传播利器、同时可以高效服务下游应用,避免重复造轮子。...2.2 指标管理后台-指标字典 确保每个指标拥有一个精确且唯一的定义。通过指标字典可以快速且规范地查询,开发和使用指标。 (1) 查找指标:支持对指标进行快速查找及筛选查找。

96411

如何从0到1搭建自助取数平台(一):调研篇

本文将分享笔者调研网易有数、阿里云QuickBI、联通、SmartBI四款产品里自助取数的结果,并总结后期在实战搭建自助取数产品的重难点。...数据开发、业务人员 模型库、配置取数、保存查询、生成分析报告 QuickBI-自助取数 帮助业务人员实现便捷化取数,降低BI支撑业务取数的工作压力 BI、业务人员 数据集、配置取数、管理取数、管理下载任务...业务人员 数据导航、自助分析、数据答疑、应用商店、个性门户 联通自助取数 帮助业务人员实时、自主提取各类明细数据,提高业务支撑能力,加快业务响应速度 业务人员、 模板定制、模板审批、模板取数、模板任务管理...数据安全 (导出数据+ 订阅) 3.2 quick BI-自助取数 a.自助取数列表页: b.自助取数新增或编辑页面: c. 总结 1.涉及角色:BI分析师、业务人员。...数据安全性:权限管控 五、后续预告 在接下来的文章,笔者会介绍如何实战搭建自助取数平台,欢迎大家分享转发!

3.3K40

中国免费域名注册平台值得信赖吗 域名注册准备什么资料

众所周知,域名较低的价格只需要十几元就可以购买到,但是行业内部分平台会推出免费域名注册,那么中国免费域名注册平台值得信赖吗?...image.png 中国免费域名注册平台值得信赖吗 在注册域名的时候会看到部分平台有免费的域名,不过人们可以看到免费域名的名字不是特别的好。...中国免费域名注册平台要选择有资质的平台,提供的域名基本上没有出现过负面影响。...在域名注册平台上查询到域名点击购买后,需要实名认证,个人域名注册实名需要提供本人的身份证复印件,而企业实名需要提供营业执照以及身份证,身份证用手机拍照后就可以上传到平台平台审核通过后,域名就完成了认证...以上就是关于中国免费域名注册平台的相关介绍,在注册域名时只要选择正规的注册平台就不用担心被骗的情况。不过在注册域名的时候需要提供个人的基本信息,建议选择域名时要谨慎,防止个人信息被违法使用。

12.6K20
领券