首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

exceljson操作

工作中需要用到将从数据库中下载的excel每行数据转成json文件,用于规则回溯,参考网上资料,通过以下代码可实现mark记录一下。...数据列名: 代码: import pandas as pd import numpy as np import json import datetime # 导入数据 # 由于phone2有缺失,...如果不加converters ={'phone2':str},导致读入会变成float形式,导致有的手机号码后会加点0,如13812341234.0 data= pd.read_excel(r'C:\...""空字符,即使nanjson程序不会报错,但是把好的json放在json格式校正中,会提示错误,所以都填充空字符串。...拆分数据 # 由于导出的数据带有连续人信息,每个联系人一行,如果提供多个连续人,会导致同一进件多条记录,需要将数据做区分 # 将数据分成两部分 联系人人及非联系人 # 第一步:非联系人部分去重,写唯一

84220

聚集索引和非聚集索引

一  索引简介 索引是关系型数据库中给数据库表中一列或多列的排序后的存储结构,SQL的主流索引结构有B+树以及Hash结构,聚集索引以及非聚集索引用的是B+树索引。...SQL Sever索引类型有:唯一索引,主键索引,聚集索引,非聚集索引。 MySQL 索引类型有:唯一索引,主键(聚集)索引,非聚集索引,全文索引。...二  聚集索引 聚集(clustered)索引,也叫聚簇索引。 定义:数据行的物理顺序与列(一般是主键的那一列)的逻辑顺序相同,一个表中只能拥有一个聚集索引。...结合上面的表格就可以理解这句话了吧:数据行的物理顺序与列的顺序相同,如果我们查询id比较靠后的数据,那么这行数据的地址在磁盘中的物理地址也会比较靠后。...其实按照定义,除了聚集索引以外的索引都是非聚集索引,只是人们想细分一下非聚集索引,分成普通索引,唯一索引,全文索引

92410

ExcelJson方法

Excel表格JSON格式在实际工作中,我们常常使用Excel记录各种数据,但在各种应用系统传输数据却使用JSON格式,这就需要把Excel转为JSON。如果能把数据转换传输过程自动化就更完美了。...XX公司生产日报表为例,生产工人用Excel记录数据如下表。...读取Excel数据,打开木头浏览器的项目管理窗口,创建填写内容步骤,添加填写内容时,获取页面的body元素,意思是把excel内容显示在整个网页上。...选择填写Excel表格内容,设置Excel文档路径,读取Excel文档的第一个工作表,Excel字段设置为空,表示读取整个表格,自动转换为JSON格式后存放在浏览器变量中,供后续步骤调用。...var str="{Excel内容}";var objs=JSON.parse(str);JSON.stringify(objs);网页显示JSON数据,保存项目文件名为“ExcelJSON.mot”

1.4K30

选择普通索引还是唯一索引?(

选择普通索引还是唯一索引?...对于查询过程来说: a、普通索引,查到满足条件的第一个记录后,继续查找下一个记录,知道第一个不满足条件的记录 b、唯一索引,由于索引唯一性,查到第一个满足条件的记录后,停止检索 但是,两者的性能差距微乎其微...change buffer中的操作应用到原数据页上,得到最新结果的过程,成为purge 访问这个数据页会触发purge,系统有后台线程定期purge,在数据库正常关闭的过程中,也会执行purge 唯一索引的更新不能使用...索引的选择和实践: 尽可能使用普通索引。 redo log主要节省的是随机写磁盘的IO消耗(转成顺序写),而change buffer主要节省的则是随机读磁盘的IO消耗。

47420

MySQL理解索引、添加索引的原则

索引用于快速找出在某个列中有一特定的行。不使用索引,MySQL必须从第1条记录开始然后读完整个表直到找出相关的行,还需要考虑每次读入数据页的IO开销。...只是空间列类型的索引使用R-树,并且MEMORY表还支持hash索引。B树是平衡多叉树,每个节点存放多少个取决于所占的空间,这与每一张数据页存放多少条记录与记录信息量有关同理。...节点中的是以非降序进行排列的,节点中的总是小于等于指向它的结点中的。 MySQL使用B树构造索引的情况下,是由叶子指向具体的页和记录的。并且一个叶子有一个指针指向下一个叶子。... 索引的字段类型问题 text类型,也可建索引(需指定长度) myisam存储引擎索引键长度综合不能超过1000字节 用来筛选的尽量保持和索引列同样的数据类型 索引分四类: index ----普通的索引...一次查询只能用到一个索引,所以 首先枪毙 a,b各建索引方案 a还是b? 谁的区分度更高(同的最少),建谁!

1.7K31

】MySQL松散索引扫描与紧凑索引扫描

MySQ有两种索引扫描方式完成group by操作,就是上面提到的松散索引扫描和紧凑索引扫描。在松散索引扫描方式下,分组操作和范围预测(如果有的话)一起执行完成的。...* 5)索引中的列必须索引整个数据列的(full column values must be indexed),而不是一个前缀索引。...)** 紧凑索引扫描可能是全索引扫描或者范围索引扫描,取决于查询条件。...当松散索引扫描条件没有满足的时候,group by仍然有可能避免创建临时表。如果在where条件有范围扫描,那么紧凑索引扫描仅读取满足这些条件的keys(索引元组),否则执行全索引扫描。...来自于相等条件的常量能够填充搜索keys中的gaps,因而可以构成一个索引的完整前缀。索引前缀能够用于索引查找。

2K30

NULL 索引(二)

在NULL索引(一)中讲述了null索引的一些基本情况。...其主要的内容为,基于允许存在null索引列,其索引不会被存储;其次 是由于这个特性导致了我们在使用is null时索引失效的情形;最后则是描述的通过为null列添加not null约束来使得is...,即11620 + null = 11621 -->使用伪列创建的索引依然属于函数索引,其耗用的叶节点块数最多,因为多出了一个(-1)来存储 -->尽管使用NVL创建的函数占用的磁盘空间小于使用伪列创建的索引...三、NULL索引衍生特性 -->由前面的种种事例再次说明NULL不会被存储到索引中,因此基于这个特性可以使用decode函数来压缩索引列。...-->注意此处decode的使用,当obj_id非0时,其被赋予为null,由于该null不会存储到索引,因此大部分obj_id列为1的不会被索引 scott@ORCL> create index

1.4K20
领券