一、概述 政采云自助取数平台历时一年左右的时间开发，从 0 到 1，基于取数流程长、取数成本高、取数效率低、数据安全不可控等痛点，经历数次大的版本迭代，目前平台功能已能覆盖内部员工日常取数的大部分场景。...本文将对自助取数平台的功能模块和系统设计做简略的介绍。 二、功能模块 平台主要包含自助取数、数据推送、资源管理、操作审计几个大的功能模块。...4、资源管理 自助取数导出的文件都会出现在资源管理列表，可以多次下载已导出的文件。作为一个通用资源管理模块，也支持用户自主上传文件，以便后续进行推送等操作。...5、数据推送 资源管理列表中的文件，可推送到第三方平台；目前已对接智能外呼和云平台。 . 云平台推送 ....2、易用性 1、自助取数在最初的设计中，对取数任务使用的是列表管理的方式，但是当取数任务变多后，需要根据业务场景对取数任务进行管理，基于此场景，加入了文件夹管理。
一、什么是自助分析平台 自助分析平台是构建在大数据平台之上的，依托于大数据平台的数据研发能力，通过统一的数据服务，实现对数据查询、分析的统一管理，为企业业务分析提供高效的数据决策支持，同时也避免数据工程师陷入繁杂的提数需求中...自助分析平台是有计算机基础的业务人员能够快速上手的前端产品，既要有大数据的处理性能，有需要有简单好用的可视化分析能力，只有让业务人员能够快速掌握使用方法，和公司的业务结合起来，自助分析平台才有价值。...其实，一直以来，各大公司的数据分析平台都只有一个目标——干掉Excel。 二、自助分析平台该有哪些模块 ?...支持多数据源接入 自助分析平台要能够支持多种数据源、不同数据类型文件的接入，能够让数据工程师和业务人员快速的把数据导入到自助分析平台中。...最后，还是要提醒一下，自助分析平台的目的是“干掉Excel”，让所有的分析结果存储在线上，千万不要让其沦为数据下载平台。
FTP服务配置与管理 一、 ftp服务器 1、ftp服务器是一种文件传输协议，主要的作用是客户端与服务器之间的文件传输功能实现 2、vsftpd是目前在Linux/unix领域应用十分广泛的一款ftp...ftp、telnet、http----明文传输，不安全 vsftpd服务的名称来源于“very secure ftp daemon”，该软件针对安全性方面做了大量的设计。...o+w k) 本地访问：/home/用户名称 5、 验证服务 a) 从win主机访问ftp服务器 开启浏览器 url：ftp：//linux的ftp服务器ip地址 b) 从Linux...主机访问ftp服务器 开启浏览器 url链接：ftp：//linux的ftp服务器ip地址 iii．创建挂载点、挂载光驱、 改变路径、安装ftp软件：rpm -ivh ftp？？？...ftp IP地址 输入anonymous 密码：回车 文件传输： win2003、2008作为Linux客户端访问Linux服务器 三、 ftp服务器管理操作 1、 本机登录ftp（白名单
六大平台中仅有应用宝上，交通出行类App总下载量低于景点攻略类App。 ?
只不过场景不同，持续收集数据的成本差异可能是巨大的，例如对于广告平台点击率预测，样本数据本身就是现成的，需要做的就是收集，可能还需要区分作弊数据；而对于像舆情系统的文本分类，要想持续收集数据，那就得有人持续的进行标注...模型目标 一个舆情系统分类模型的自动自助训练的模型平台应该是这样的： 1. 模型应该是可以增量训练的； 2. 模型的增量训练数据可以来自上传，或者从第三方系统推送过来； 3....模型平台：实现模型的管理，日志管理，数据集管理，预测节点信息管理等。数据都存储到数据库中。 2....任务调度：模型平台只是管理模型的基本信息，如模型的训练计划，上线条件等，但是训练任务的调度等等都是在任务调度系统实现的。另外如果训练任务比较多，这里可能也会使用多个服务器。训练好的模型存储到s3上。...预测节点会把心跳，日志等信息发送给模型平台，在模型模型平台统一进行管理。模型平台也会把新模型的上线通知下发给节点服务器。 几点说明： 1.
六大平台中仅有应用宝上，交通出行类App总下载量低于景点攻略类App。
联系方式； 游客可以查询景点信息及旅游线路信息，且游客可以自定义筛选查找相应的旅游线路信息； 游客可以在线预约旅游线路服务； 旅游公司能够查询游客预约服务信息； 最近，我在做个旅游自助系统练习...系统有对管理员角色进行划分 ? 系统实现了文本编辑的功能，采用UEditor框架 ? 旅游公司可以接收游客预定的旅游服务 ? 这篇博客是系统设计的，技术分享的请看我的其它博客哈!
PageAdmin Cms支持多站点，很适合制作大型站群网站，在站点管理中可以对每个站点进行管理，站点绑定域名，访问目录，站点模板等操作都在此界面进行操作，下面小编介绍一下PageAdmin建站系统站点的添加和管理...1、打开站点管理，如下图 2、如果需要添加新站点，点击左上角菜单中有一个添加按钮，出现如下界面 下面说一下几个重要参数： 2.1、访问目录：必填项，如果没有绑定域名，则网站用：http://系统主域名...则网站用http://my.domain.cn来访问域名，需要注意是，你的服务器站点需要先绑定http://my.domain.cn域名 如果后期网站域名更改了，站点会出现打不开的情况，只需要进入当前管理界面...3、如果添加了多个站点，如何在多个站点之间切换管理比如站点栏目，网站信息数据呢？点击后台右上角，账户中心，网站切换，如下图 4·、弹出站点选择界面，选择中管理的站点，然后点击按钮即可，如下图：
使用commons-pool管理FTP连接 背景 在封装一个FTP工具类文章，已经完成一版对FTP连接的管理，设计了模板方法，为工具类上传和下载文件方法的提供获取对象和释放对象支持。...；重新审视模板方法的使用，在不引入模板的方法，设计封装对象池管理功能，以更自然的方式获取对象和释放对象。...然而，与javax.sql.DataSource和java.sql.Connection不同的是，JDK中并没有支持FTP协议的类似的框架；另一个问题则是，项目中已经使用commons-net来建立FTP...如果以上断言都成立，证明对象的获取和释放使用到了对象池管理而且能够正常运行。 总结 至此，使用commons-pool管理FTP连接的功能算基本完成了。...与封装一个FTP工具类文章中的FTP工具相比还缺少上传下载等功能的封装，而这些功能将会交给另外的工程来完成。 项目地址：https://github.com/Honwhy/ftpcp
一、 实验环境 操作系统：Windows系统 实验设备：PC机二、 实验内容 任务 1：FTP服务器的安装 任务 2：创建FTP站点 任务 3：配置客户端访问FTP站点 任务 4：FTP访问配置 三、...FTP服务器的安装 i. 打开【服务器管理器】，单击【添加角色和功能】按钮，进入【添加角色和功能向导】。 ii....创建FTP站点 i. 打开【服务器管理器】，单击【工具】，选择【Internet信息服务（IIS）管理器】。 ii. 右键单击【网站】，选择【添加FTP站点】。...4.2 身份验证 打开FTP身份验证 匿名身份验证开启可直接访问FTP,基本身份验证开启需要输入管理员用户名和密码 实际工作中一般不会使用管理账号来访问FTP,因此我们需要添加一些专门用于FTP...访问的账号，打开计算机管理在本地用户和组中新建用户 设置用户名和密码 设置新建用户所在组对FTP的访问权限 在客户端输入新建的用户的信息就可以正常访问FTP了 4.3 授权规则 打开FTP授权规则
net2ftp -免费文件上传管理在线FTP客户端 作者：matrix 被围观: 1,470 次 发布时间：2011-10-03 分类：兼容并蓄 | 无评论 » 这是一个创建于 3985 天前的主题...net2ftp是很著名的免费在线FTP客户端服务，有包括简体中文版在内的多语言版本，你可以用net2ftp网站连接你的FTP，进行文件上传管理，支持上传压缩文件(zip、tar、tgz、gz)自动解压缩...适合仅有FTP支持而没有Web文件管理功能的空间，或Web文件管理不支持上传压缩文件自动解压缩的。..."] = "admin";（默认的管理员名称，可以修改）net2ftp_settings["max_upload_filesize"] ; ;= "2000000"; ; ;（文件最大上传大小，...1.登陆FTP 填写FTP server（服务器地址），Username（用户名），PASSWORD（密码），点击login进入你的ftp服务器 2.主界面.大家可以简要的看一下，跟FTP软件有什么区别
为了使DBA的工作轻松，有效率很多年前各大公司就开始自动化运维平台建设，在这方面我们属于比较晚的了。 今天介绍下最近开发的一个平台，自助DML。什么是DML，就是平常执行的增删改查数据库操作。...有人有疑问这不是程序访问的操作，为什么还要做一个平台操作这些呢，其实这种操作主要是开发需要线下修复数据的一种操作，不只是增删改，还有建表，建索引，添加字段等，这些操作开发一般会提给DBA协助操作数据库。...虽说现在的公司实例少点，但每天的工作量还是很大，关键这种工比较重复，枯燥，没有技术含量，所以迫切需要一个自助的服务平台开放出去来提高工作效率，解放DBA。...： 1) 提交任务需要满足两个条件：(1) 元数据平台(请参考之前的元数据平台博客)集群归属部门信息不能为空 (2)提交任务的人所在部门要跟集群归属部门一致 2) 根据流程检查权限后，就会对提交的...10) 这个页面是DBA后台操作页面, 目前只有DML，其他平台正在开发中。 总结： 此系统目前已经开放给RD使用，目前日处理需求量50+，对工作效率，安全性，RD体验等方面有了显著的提升。
我想了想这里折射出几个问题： 1）业务侧对于权限的管理很多都是粗放型的，很多密码都是明文，基于excel等方式管理，可能会有小范围的文件方式分发 2）服务配置或权限发生变更，这些信息在业务侧没有统一的配置平台去解决...，在本地的配置管理中也难以统一更新 3）对于业务侧来说，权限使用也是两级化，要么是清一色共享账号的习惯，要么是个人化账户，其中个人化账户随着人员流动很多权限管理难以追溯。...4）业务侧对于数据库的权限体系了解较少，沟通交流中会有代沟 5）因为密码是加密模式而且不可逆，很多DBA也没有统一的平台维护现有环境的账号密码信息，简单来说，他们很可能也不知道明文密码是什么 6)权限边界不清晰...这里就是建设密码管理模块的重中之重了，密码管理模块是一个相对独立的模块，可以对于密码加解密使用独立的算法逻辑，也就加密串和数据库层面的加密串可以没有关系，但是这两个加密串却可以无缝的衔接起来，可以通过密码管理中的加解密...按照这种思路，我们就可以提供一系列的服务可以来支持业务的这几类大问题，而且可以直接对标自助化服务。
为配合网站测试，一直在频繁的添加虚拟主机，然后就是cp、修改配置、重启服务！ 所幸就写一个Nginx添加虚拟主机的脚本，添加起来方便，再把Nginx的启动关闭添...
Gitee 上，项目源码和核心插件源码放在 https://gitee.com/xiaomagenb/dlvm优势零代码开发是指开发简单功能模块时可一键生成无须代码，如果开发复杂模块只需学习 DM 平台的插件功能...在表单设计、视图设计、审批流程等方面 DM 平台采用可视化操作，所见即所得；平台采用 NetCore 框架开发，支持前后端分离，具有可运行在国外 \ 国内系统的跨平台性；平台支持多语言、多币种，可以后台直接配置即可...；DM 平台可以开发多个子系统并独立运行，每个子系统的各功能模块可快速生成并具备增、删、改、查、审批流、相关报表等基本功能，开发人员可以在此功能基础上添加自己的业务逻辑完成项目的开发。...好处DM 平台发布以来已被广大爱好者用到了企业、政府、医疗、金融、互联网等各个领域中，架构精良、易于扩展、可配置性强、操作可视化的设计模式、工匠精神打磨每一个细节，深入开发者的内心，并荣获开源中国《最受欢迎中国开源软件...DM 平台是作者和自己的开发团队结合了多年开发经验，以及各方面的应用案例，把多个开源框架的优势和特殊功能集中进行优中选优，进行了二次开发后，完成了一次全部重构，也纳入很多新的思想。
netcore 搭建后台管理界面模版（PC 端）运行环境配置及包下载支持 windows、Linux、CentOS要求 dotnet-sdk-3 或以上，数据库 sqlServer2014 或以上Visual
建立全公司的数据标准体系，规范数据管理和应用体系 指标规则配置化：各类业务统计指标，可通过指标管理平台配置化生产，实现指标口径灵活调整，同时支持多版本管理 指标消费便捷化：建立公司级指标库，实现业务指标的灵活...、自助消费，包括对接下游系统（BI报表平台、即席查询），缩短数据消费链路，提高响应速度 指标影响快速分析：指标的异常变动，可通过血缘追溯至上游指标的变动；针对基础指标的修改变动，可以展示对下游衍生指标的影响...可以打通BI报表平台、指标取数、API管理平台对外提供服务。...1.平台提供统一的指标、维度规范2.支持多重指标定义（原子、派生、计算指标）。3.支持指标分层和权限管理 业务痛点：业务指标口径无平台可维护产品目标：指标配置自动化。...业务痛点：业务指标口径无平台可查产品目标：指标管理集中化、指标口径可视化 V3.0 业务目标：打通更多下游应用（指标取数、BI报表平台、薪酬业绩核算）1.指标数据质量监控2.指标血缘、维度血缘3.强大通用的
今晚的会二组长去毕业典礼了，所以显得有点冷清啊。 还是先来盘点一下各位的日报。（第五工作日）
本文将分享笔者搭建自助取数工作的实践。...前面2篇介绍了自助取数 >>>竞品调研：如何从0到1搭建自助取数平台(一)：调研篇 >>>产品规划：如何从0到1搭建自助取数平台(二)：规划篇 本文主要介绍如何实践搭建自助取数平台。...实战过程，自助取数将采用前后台分离的方式。其中后台进行必要的指标业务含义管理、指标规范管理等。前台以简单、快速、准确、安全进行指标取数查询。...二、如何搭建指标取数平台 2.1 指标建设方法论 整体上指标建设要做到指标业务口径统一规范、形成知识传播利器、同时可以高效服务下游应用，避免重复造轮子。...2.2 指标管理后台-指标字典 确保每个指标拥有一个精确且唯一的定义。通过指标字典可以快速且规范地查询，开发和使用指标。 (1) 查找指标:支持对指标进行快速查找及筛选查找。
本文将分享笔者调研网易有数、阿里云QuickBI、联通、SmartBI四款产品里自助取数的结果，并总结后期在实战搭建自助取数产品的重难点。...数据开发、业务人员 模型库、配置取数、保存查询、生成分析报告 QuickBI-自助取数 帮助业务人员实现便捷化取数，降低BI支撑业务取数的工作压力 BI、业务人员 数据集、配置取数、管理取数、管理下载任务...业务人员 数据导航、自助分析、数据答疑、应用商店、个性门户 联通自助取数 帮助业务人员实时、自主提取各类明细数据，提高业务支撑能力，加快业务响应速度 业务人员、 模板定制、模板审批、模板取数、模板任务管理...数据安全 （导出数据+ 订阅） 3.2 quick BI-自助取数 a.自助取数列表页： b.自助取数新增或编辑页面： c. 总结 1.涉及角色：BI分析师、业务人员。...数据安全性：权限管控 五、后续预告 在接下来的文章，笔者会介绍如何实战搭建自助取数平台，欢迎大家分享转发！
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
