1.传统双控存储连线 ?...连线方式一：扩柜子容易，直接加入和连线即可，简单；但是柜子01和02任意一个掉电后，存储的链路中断了 连线方式二：扩柜子需要动原来的线，容易出问题；但是柜子01和02任意一个掉电后，存储的链路不断 此时主机上的每个...2.当下分布式存储连线图 ? 传统存储只有两个控制器，互联网络简单，直接内部PCIE互联即可。到了分布式存储时代，控制器数量很多，只能通过外部高速网络连接，如IB或者10G以太网，见上图IB。...3.存储最佳实施规范 1）交付设备清单列表(配置及维保信息和保修信息) 2）交付机柜布局图 3）交付物理连线图 4）交付配置文档和信息 5）反馈客户推荐配置和最优配置 做不到以上的厂家或者代理商，其实都是不合格的...举例吧，明明底层存储架构支持在线热扩容和热更换；但是扩容和更换前，厂家工程师给了一个checklist各种检查，发现上层系统和应用参数与多路径和存储没有做优化适配，最后不得不停机操作。
在HTML5 中定义了两种本地存储的，Web Storage 和本地数据库 SQL Database . ...是基于域的，在该域的任何网页都可以访问，在不同设备上存储的是不同的。 ...在本地存储一个字符串类型的数据 key/value setItem localStorage.setItem("name","非一般的黑客") 通过getItem 方法读取key...userData 数据。 ...，存储的数据的生命周期只保存在存储的当前窗口或由当前窗口 新建的新窗口，直到想关联的标签页关闭。
一.命名规范库名、表名、字段名必须使用小写字母，并采用下划线分割库名、表名、字段名禁止超过32个字符，须见名之意，建议使用名词不是动词库名、表名、字段名禁止使用MySQL保留字临时库、表名必须以tmp为前缀...，并以日期为后缀二.基础规范使用INNODB存储引擎表字符集使用UTF8所有表都需要添加注释单表数据量建议控制在5000W以内禁止在数据库中使用VARBINARY、BLOB存储图片、文件等存储精确浮点数必须使用...建议字段定义为NOT NULL三.索引规范1.索引必须按照“idx_表名_字段名称”进行命名2.索引中的字段数建议不超过5个3.单张表的索引数量控制在5个以内4.对字符串使用前缀索引，前缀索引长度不超过...(只能点击上一页、下一页)14.使用EXPLAIN诊断，避免生成临时表15.禁止单条SQL语句同时更新多个表五.行为规范1.禁止在线上从库执行后台管理和统计类查询2.禁止有super权限的应用程序账号存在...因为ORDER BY rand()会将数据从磁盘中读取，进行排序，会消耗大量的IO和CPU，可以在程序中获取一个rand值，然后通过在从数据库中获取对应的值。9.如何减少与数据库的交互次数？
指标说明 指标说明是对指标统计口径、具体算法的抽象，防止统计口径，计算逻辑不一致导致的数据结果问题，同时指标的明确规范也可以减少业务沟通，提升研发效率。指标分为原子指标和派生指标。...指标说明规范 指标规范通常涵盖指标中英文名称，指标描述，指标计算方式或者加工逻辑，指标的值说明等内容，对应规范文档如下： 指标说明 英文名称 中文名称 指标描述 计算逻辑 值说明 指标调度周期
1 概述 本文档制定了XX数据仓库中数据库对象的命名规范（用户、表、视图、存储过程、函数、表分区、主键、索引、序列等）、数据库编程规范，JAVA编程规范为系统设计和开发工作提供统一的命名标准，提高系统的规整性和代码的可读性...4 DIM 统一服务于数据中心的参数表； 5 APP 应用层，用于生成报表 6 XX XX 数据层级按照自己数据仓库规划的命名即可~ 2.2 表、视图、存储过程、函数命名规范 <_模型层次...可以参考企业现有业务数据库的数据字典命名。 2.5 常用单位规范 约定数据仓库中字段的默认单位，比如车速默认单位是KM/h。...4 数据保存周期规范 周期类型 模型层次 保留周期(HIVE) 备注 日 ODS 365 …… 5 数据库编程规范 5.1 参数和变量命名规范 5.1.1 对象变量 对象变量命名规则如下...5.2 书写规范 5.2.1 代码大小写规范 所有数据代码统一使用小写字母书写，以方便不同数据库之间的移植，同时也避免程序调用问题。参数和局部变量，全局变量用大写。
FileOutputStream os = openFileOutput("file.txt", Context.MODE_PRIVATE); String text = "写数据到文件...data/data//files目录下 openFileOutput和openFileInput方法可以获得操作文件的OutputStream以及InputStream对象，而且可以通过流对象处理任何文件的数据...totalBlocks = stat.getBlockCount(); return totalBlocks * blockSize; } /** * 获取手机内置存储剩余存储空间...stat.getAvailableBlocks(); return availableBlocks * blockSize; } /** * 获取手机内置存储总的存储空间...byte[] buffer = new byte[8192]; int count = 0; // 写入数据
数据缓存 通过《网络数据采集和解析》一文，我们已经知道了如何从指定的页面中抓取数据，以及如何保存抓取的结果，但是我们没有考虑过这么一种情况，就是我们可能需要从已经抓取过的页面中提取出更多的数据，重新去下载这些页面对于规模不大的网站倒是问题也不大...使用NoSQL Redis简介 Redis是REmote DIctionary Server的缩写，它是一个用ANSI C编写的高性能的key-value存储系统，与其他的key-value存储系统相比...Redis支持数据的持久化（RDB和AOF两种方式），可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。...Redis不仅仅支持简单的key-value类型的数据，同时还提供hash、list、set，zset、hyperloglog、geo等数据类型。...配置底层有多少个数据库。 配置Redis的持久化机制 - RDB。 配置Redis的持久化机制 - AOF。 配置访问Redis服务器的验证口令。
SharedPreferences作为android的存储方式有以下特点： 1.只能存放key-value模式的键值。 2.本质就是就是以xml文件在应用程序所在包中存放数据。...用户不需要去 xml文件的生成和解析 4.由于 SharedPreferences 只能存放key-value 简单的数据结构，通过用来做软件配置参数，用来配置用户对软件的自定义或设置参数。...如果要存在复杂的数据，可以使用文件，如果还需要方便的增删改查 的话，就只能用Sqlite数据库来完成 下面是该使用的代码： 所用的字符串 <?...this.getApplicationContext()); pref.save(name, ID, phone); Toast.makeText(this.getApplicationContext(), "写入数据成功...用户只需要创建一实体，然后想里面添加数据和取出数据，即可 结果如下：
◆ NoSQL数据存储 传统的架构方法是在服务之间共享一个数据库，而微服务却与之相反，每个微服务都拥有独立、自主、专门的数据存储。...选择理想的数据存储的第一步是确定微服务数据的性质，可以根据数据的特点将数据大致做如下划分。 全局共享数据：缓存服务器是存储短暂数据很好的例子。...K-V存储：解决关系数据库无法存储数据结构的问题，主要适合对全局数据进行快速查找的低延时、高性能场景，以Redis为代表。...◆ K-V存储 K-V存储指按照键值（Key-Value）进行的数据存储，其中Key是数据的标识，和关系数据库中的主键含义一样；Value是具体的数据。...◆ 列式数据库 顾名思义，列式数据库就是按照列来存储数据的数据库，与之对应的传统关系数据库被称为“行式数据库”，关系数据库就是按照行来存储数据的。
MapReduce 编程规范 MapReduce 的开发一共有八个步骤, 其中 Map 阶段分为 2 个步骤，Shuffle 阶段 4 个步骤，Reduce 阶段分为 2 个步骤 Map 阶段 2...个步骤 设置 InputFormat 类, 将数据切分为 Key-Value(K1和V1) 对, 输入到第二步 自定义 Map 逻辑, 将第一步的结果转换成另外的 Key-Value（K2和V2） 对..., 输出结果 Shuffle 阶段 4 个步骤 对输出的 Key-Value 对进行分区 对不同分区的数据按照相同的 Key 排序 (可选) 对分组过的数据初步规约, 降低数据的网络拷贝 对数据进行分组...函数实现自己的逻辑, 对输 入的 Key-Value 进行处理, 转为新的 Key-Value（K3和V3）输出 设置 OutputFormat 处理并保存 Reduce 输出的 Key-Value 数据
先说说总体的成果，SQL开发规范我是打算拆分为5个部分，包括数据库命名规范，对象结构设计规范，SQL优化设计规范、高并发设计规范和开发规范落地指南，这是循序渐进，从基础到进阶落地的内容组织形式。...对这五个部分的定位和标签是： 1）数据库命名规范：规范始于命名 2）对象结构设计：结构设计是基石 3）SQL优化设计规范：SQL性能无小事 4）高并发设计规范：并发高阶必备技...5）开发规范落地指南：快速稳落地 我先列出一部分的内容，比如数据类型设计规范，是属于对象结构设计章节的。...； 6）使用无符号整型（UNSIGNED）存储非负整数； 7）在存储IP地址时，不建议存储成字符型数据，建议使用INT UNSIGNED,建议从应用层面控制IP地址的格式转换； 字符类型 注： 1）对于可变长字符串...、BLOB类型，这类大对象在数据库存储和使用时，比较容易产生存储和性能问题； 4）数据库中不允许存储大文件，或者照片，可以将大对象放到其他存储上，数据库中存储它的路径。
脚本编写规范开始部分口径开始部分已注明口径的相关信息，具体包括口径编码、口径名称、口径功能、口径实现时间、编写人。变更口径内容是，必须注明变更人、变更时间、变更信息。口径编码必须大写。...中间过程1）临时表取数据过程中只能用临时表，不能使用结果表。只能在口径末尾更新结果表，防止在口径执行过程中，结果表的数据重复变化。...4）大小写规范关键词大写，如SELECT、FROM 、WHERE 、GROUP BY 、ORDER BY 等。5）业务注释1 每一段sql都必须有简洁明了的业务注解。2 每个表字段必须要求有注释。...6）索引每个结果表的关键字段都应该有索引，提高模块查询数据的速度。结束部分在口径结束部分，必须把当前口径的临时表全部删除。表命名规范1、首字母小写，驼峰命名（小驼峰命名）。
一、数据库命名规范 采用26个英文字母(区分大小写)和0-9的自然数(经常不需要)加上下划线'_'组成，命名简洁明确，多个单词用下划线'_'分隔，一个项目一个数据库，多个项目慎用同一个数据库 二、数据库表命名规范...2.1数据表命名规范 （1）采用26个英文字母(区分大小写)和0-9的自然数(经常不需要)加上下划线'_'组成，命名简洁明确，多个单词用下划线'_'分隔 （2）全部小写命名，禁止出现大写 （3）禁止使用数据库关键字...数值型的默认值为数值0，逻辑型的默认值为数值0 （2）系统中所有逻辑型中数值0表示为“假”，数值1表示为“真”，datetime、smalldatetime类型的字段没有默认值，必须为NULL （3）用尽量少的存储空间来存储一个字段的数据...（3）在定义变量时用到的数据类型必须小写 4.2注释 注释可以包含在批处理中，在触发器、存储过程中包含描述性注释将大大增加文本的可读性和可维护性，本规范建议： （1）注释以英文为主，实际应用中，发现以中文注释的...注释前有两个连字符（--）对变量、条件子句可以采用该类注释 多行注释：符号之间的内容为注释内容，对某项完整的操作建议使用该类注释 （4）注释简洁，同时应描述清晰 （5）函数注释： 编写函数文本--如触发器、存储过程以及其他数据对象
导读：在数据分析中，无论数据收集过程有多么科学、数据处理多么先进、分析方法多么高深，如果不能将它们有效地组织和展示出来，并与决策者进行沟通与交流，就无法体现数据和分析的价值。...今天，我们来一探究竟常见数据分析及报告规范。 作者：吴迪「趣店数据分析师」 01 结构规范及写作 报告常用结构： 1....上面讲了报告的写作原则，举个例子，参考艾瑞网，《留存与未来-疫情背后的互联网发展趋势报告》： Tips：尝试站在读者的角度去写分析报告，内容通俗易懂，用语规范谨慎。...如果汇报对象不是该领域的专家，就要避免使用太多晦涩难懂的词句，同时报告中使用的名词术语一定要规范，要与既定的标准（如公司指标规范）以及业内公认的术语一致。...02 数据使用及图表 数据分析往往是80%的数据处理，20%的分析。
大家好，今天我们来聊一聊MySQL数据库规范，MySQL是一个广泛使用的开源关系型数据库管理系统，良好的规范可以提高数据库的性能、可靠性和可维护性。...下面是一些MySQL数据库规范的重要指南，还附了一些索引失效的常见情况和关键字列表，希望对大家有所帮助。...一、数据库规范 所有规范会按照【高危】、【强制】、【建议】三个级别进行标注，遵守优先级从高到低。...1 设计规范 1.1 建库规范 【强制】：库的名称必须控制在32个字符以内 【建议】：库的名称格式：业务系统名称_子系统(模块)名 【建议】：一般分库名称命名格式是 库通配名_编号或 库通配名_时间 【...建议】：创建数据库时可显式指定字符集，只能使用 utf8 或 utf8mb4 格式，数据库默认字符集为 utf8 1.2 建表规范 1.2.1 整体结构限制 【强制】：表名称必须控制在32个字符以内，
1、数组概念 数组就是存储数据长度固定的容器，保证多个数据的数据类型要一致。 软件的基本功能是处理数据，而在处理数据时，必须先进行数据持有，将数据持有之后，再对数据进行处理。...我们将程序中可以临时存储数据的部分叫做容器。 Java当中具有持有数据功能的容器中，数组是最基本的，也是运算速度最快的。...2.1、格式一 2.1.1、数组定义格式 数组存储的数据类型 [] 数组名字 = new 数组存储的数据类型[长度]; 2.1.2、格式说明 **数组存储的数据类型：**创建的数组容器可以存储什么数据类型...**数组名字：**为定义的数组起个变量名，满足标识符规范，可以使用名字操作数组。 **new：**关键字，创建数组使用的关键字。 数组存储的数据类型： 创建的数组容器可以存储什么数据类型。...2.1.4、案例 需求：定义可以存储3个整数的数组容器 int arr[]= new int[3]; 2.2、格式二 2.2.1、数组定义格式 数据类型[] 数组名 = new 数据类型[]{元素1,元素
在数据详细设计阶段设计宽表冗余维度属性时，应该遵循以下几个建议准则： 1.冗余字段与表中其它字段高频率（大于3个下游应用SQL）同时访问。 2.冗余字段的引入不应造成其本身的更新完成时间过多延迟。...3.公共层数据不允许字段重复率大于60%的相同粒度数据表冗余，可以选择原表基础上拓宽或者下游应用通过JOIN方式实现。
一、背景 在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。...数据研发规范旨在为广大数据研发者、管理者提供规范化的研发流程指导方法，目的是简化、规范日常工作流程，提高工作效率，减少无效与冗余工作，赋能企业、政府更强大的数据掌控力来应对海量增长的业务数据，从而释放更多人力与财力专注于业务创新...设计阶段：数据产品经理、数据开发者应如何综合性能、成本、效率、质量等因素，更好地组织与存储数据。 开发阶段：数据研发者如何高效、规范地进行编码工作。...五、数据监控与告警 背景 监控系统的一般套路：采集－>存储－>展示－>告警。...常见的监控系统以Grafana为基础，主要功能是将收集存储的数据按照不同维度、不同应用、不同用户进行配置化的展示；为了保证数据安全，每个团队只能看到自己的应用数据。
命名规范 表命名规范表命名规则： {层次}{源系统表名}{保留位/delta与否}。 增量数据：ods_{库名}_{表名}_{id}。 全量数据：ods_{库名}_{表名}。...ps：如果库名可能重复，可使用编码来代替库名 字段命名规范 字段默认使用源系统的字段名。 字段名与关键字冲突时，在源字段名后加上col，即源字段名col。...同步任务命名规范 任务名：和表名保持一致。 数据存储及生命周期管理规范 数据表类型 存储方式 最长存储保留策略 ODS流水型全量表 按天分区 不可再生情况下，永久保存。...日志（数据量非常大，例如一天数据量大于100 GB）数据保留24个月。 自主设置是否保留历史月初数据。 自主设置是否保留特殊日期数据。...DBSync非去重数据 按天分区 由应用通过中间层保留历史数据，默认ODS层不保留历史数据。 数据质量规范 每个ODS全量表必须配置唯一性字段标识。 每个ODS全量表必须有注释。
命名规范 通常的命名方式是：ODS_应用系统名(或缩写)_数据库类型_(数据库名称可省略)_数据表名_加载方式（增量还是全量），表名不能太长，一般不超过30字。...数据源和dws的对应 三. 加工脚本命名和调度 通常加工脚本，调度任务名称名称和表名称相同。 06DIM层规范 一....维表设计字段冗余，为了使用时字段的全表扫描，采用列存储方式； 1. 针对缓慢变化维，保留历史数据和版本TTL为30天, 方便数据追踪，后续统一使用新的维表。 三....07层次调用规范 一. 背景说明 完成数据仓库的分层后，针对各层次的数据之间的调用关系作出约定。 二. 调用规范 ①....如果DWD和DWS层没有沉淀的ODS层数据，则通过ODS层创建视图的方式访问。命名规范遵从DWD或者DWS的命名规范，视图必须使用调度程序进行封装，保持视图的可维护性与可管理性。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
